데이터 웨어하우스 정의
비즈니스 인텔리전스 (BI) 활동, 특히 분석을 활성화 및 지원하기 위해 설계된 데이터 관리 시스템의 한 유형이다.
데이터를 액섹스하고 분석하는 엔진
데이터필드 또는 문자열과 같은 레이아웃 및 유형들을 설명하는 스키마로 구성
의사결정에 도움을 주기 위해
분석가능한 형태로 변환한 데이터들이 저장되어 있는 중앙저장소.
Read Only
Data -> ETL -> DW -> OLAP server -> Frontend
이러한 순서로 생각하면 된다.
장점
- 정보에 기반한 의사결정가능
- 여러소스로부터 데이터통합
- 데이터의 높은품질 (일관성, 정확성)
- 인텔리전스 기록
- 분석처리 프로세스와 트랜잭션 데이터베이스의 성능향상
ETL : Extract, Transform, Load
ETL란 ?
데이터 웨어하우스 구축 시 데이터를 운영 시스템에서 추출하여 가공(변환, 정제)한 후 데이터 웨어하우스(DW)에 적재하는 모든 과정을 말한다. 일반적으로 발생하는 데이터 변환에는 필터링, 정렬, 집계, 데이터 조인, 데이터 정리, 중복 제거 및 데이터 유효성 검사 등의 다양한 작업이 포함된다.
그렇다면 데이터 마트는 무엇일까?
Data Mart 정의
특정 사업 단위의 요구를 충족시키는 데이터 웨어하우스이다.
규모가 더 작고, 집중적이며 사용자 커뮤니티에 가장 잘 맞는 데이터 요약을 포함할 수 있다.
데이터 마트는 데이터 웨어하우스의 일부일 수도 있다.
'Data Platform Engineering' 카테고리의 다른 글
[HBase] 3. HBase Architecture / 읽기, 쓰기 경로 (1) | 2022.10.11 |
---|---|
[HBase] 2. META 테이블 / Region Sever Components (0) | 2022.10.11 |
[HBase] 1. Intro / region / Hmaster (0) | 2022.10.05 |