juooo1117

Data Pipeline 데이터 수집에서 워크플로우 관리까지 차례대로 전달해 나가는 데이터로 구성된 시스템 [데이터 파이프라인의 기본형] 데이터 웨어하우스: 대량의 데이터를 장기 보전하는 것에 최적화 되어있음 정리된 데이터를 한 번에 전송하는 것은 뛰어나지만, 소량의 데이터를 자주 쓰고 읽는 데는 부적합 ETL Process) Data source(RDB나 로그등을 저장하는 파일 서버) → raw data를 추출 및 가공 → 데이터 웨어하우스에 저장 데이터 레이크: 빅데이터가 되면서 ETL Process 자체가 너무 복잡해지고, 그대로 데이터 웨어하우스에 넣을 수 없는 데이터가 존재함 모든 데이터를 원래 형태로 축적해두고 나중에 필요에 따라 가공하는 구조 사용 → 데이터의 축적장소를 Data Lake 라..