Data Platform Engineering

Data warehouse & Data mart 무슨 차이가 있을까?

ERE 2022. 8. 23. 05:16

데이터 웨어하우스 정의

비즈니스 인텔리전스 (BI) 활동, 특히 분석을 활성화 및 지원하기 위해 설계된 데이터 관리 시스템의 한 유형이다.

데이터를 액섹스하고 분석하는 엔진 

데이터필드 또는 문자열과 같은 레이아웃 및 유형들을 설명하는 스키마로 구성 

 

의사결정에 도움을 주기 위해 

분석가능한 형태로 변환한 데이터들이 저장되어 있는 중앙저장소. 

 

Read Only 

 

Data -> ETL -> DW -> OLAP server -> Frontend 

이러한 순서로 생각하면 된다. 

 

장점

 - 정보에 기반한 의사결정가능

 - 여러소스로부터 데이터통합

 - 데이터의 높은품질 (일관성, 정확성)

 - 인텔리전스 기록

 - 분석처리 프로세스와 트랜잭션 데이터베이스의 성능향상

 

 

 

ETL : Extract, Transform, Load

 

ETL란 ? 

데이터 웨어하우스 구축 시 데이터를 운영 시스템에서 추출하여 가공(변환, 정제)한 후 데이터 웨어하우스(DW)에 적재하는 모든 과정을 말한다. 일반적으로 발생하는 데이터 변환에는 필터링, 정렬, 집계, 데이터 조인, 데이터 정리, 중복 제거 및 데이터 유효성 검사 등의 다양한 작업이 포함된다.

 

 

그렇다면 데이터 마트는 무엇일까? 

 

Data Mart 정의 

특정 사업 단위의 요구를 충족시키는 데이터 웨어하우스이다.

규모가 더 작고, 집중적이며 사용자 커뮤니티에 가장 잘 맞는 데이터 요약을 포함할 수 있다. 

데이터 마트는 데이터 웨어하우스의 일부일 수도 있다.