dbt: EP2 - Data Lake vs Data Warehouse – 현업에서는 어떻게 다를까?

데이터 레이크의 기본 개념

데이터 레이크를 처음 들으시는 분들을 위해 쉽게 설명드릴게요. 데이터 레이크는 말 그대로 '호수'처럼 원시 데이터를 그대로 모아두는 저장소예요. 가공되지 않은 데이터를 스토리지에 쌓아두는 거라, 구조화된 데이터뿐만 아니라 반구조화나 비구조화 데이터도 다 받아들여요. 쉽게 말하면, 로그 파일이나 이미지, 비디오 같은 잡다한 데이터를 섞어 저장하는 거예요.

이게 왜 생겼을까요? 빅데이터 시대에 들어서면서 데이터 양이 폭발적으로 늘었어요. 2023년 기준으로 글로벌 데이터 생성량이 하루 2.5쿼드릴리온 바이트(2.5 quintillion bytes)에 달하죠. 전통적인 데이터베이스로는 감당이 안 돼서, 데이터 레이크가 등장한 거예요. 예를 들어, 아마존 웹 서비스(AWS)의 S3나 구글 클라우드 스토리지를 데이터 레이크로 활용해요. 여기서 데이터를 저장할 때는 스키마(데이터 구조)를 미리 정의하지 않아요. '스키마 온 리드'라고 해요. 즉, 데이터를 읽을 때야 구조를 확인하고, 맞지 않으면 에러가 나요. 이 덕분에 저장은 자유롭지만, 나중에 분석할 때 주의가 필요해요.

현업에서 데이터 레이크를 어떻게 쓰는지 보죠. 주로 데이터 사이언티스트나 ML 엔지니어가 써요. 예를 들어, 넷플릭스처럼 사용자 클릭 로그(JSON 형식)나 비디오 메타데이터를 쌓아두고, 머신러닝 모델 훈련에 활용해요. 구체적 예시로, CSV 파일 1TB를 업로드할 때 데이터 레이크는 압축 없이 그대로 저장해요. 비용도 저렴해요 – AWS S3 표준 저장은 GB당 월 0.023달러예요. 반대로, 데이터베이스라면 변환부터 해야 하니 시간과 비용이 들어요.

초보자 팁으로, 데이터 레이크를 시작하려면 Apache Hadoop이나 AWS Lake Formation 같은 도구를 써보세요. 단계별로 해보는 법: 1) 클라우드 계정 만들기. 2) 버킷(폴더) 생성. 3) 데이터를 업로드 – 파이썬 boto3 라이브러리로 스크립트 짜서 자동화하세요. 코드 예: import boto3; s3 = boto3.client('s3'); s3.upload_file('local_file.csv', 'my-lake-bucket', 'data/raw.csv'). 이렇게 하면 바로 실행할 수 있어요. 하지만 주의할 점은 '데이터 사일로'가 되지 않게 메타데이터를 별도로 관리하세요. 왜냐하면 원시 데이터가 쌓이면 나중에 찾기 힘들어지거든요. 데이터 레이크는 탐색적 분석(exploratory data analysis)에 최적화됐어요. 예를 들어, 주식 앱에서 실시간 트레이딩 로그를 쌓아 패턴 찾기 좋아요. 이 개념을 알면 dbt처럼 변환 도구를 쓸 때 기반이 튼튼해져요.

데이터 웨어하우스의 특징과 차이점

이제 데이터 웨어하우스로 넘어가 볼게요. 데이터 웨어하우스는 이미 가공되고 정리된 데이터를 저장하는 곳이에요. '창고'처럼 깨끗하고 구조화된 데이터로 분석과 리포팅을 쉽게 하도록 최적화됐어요. 데이터 레이크가 '원시 재료 창고'라면, 데이터 웨어하우스는 '요리된 음식 저장소'예요. 현업에서 이 차이를 모르면 BI 도구로 대시보드 만들 때 골치 아파요.

주요 차이점을 비교해 보죠. 데이터 레이크는 스키마 온 리드(읽을 때 구조 적용)지만, 데이터 웨어하우스는 스키마 온 라이트(저장 전에 구조 적용)예요. 왜 그럴까요? 웨어하우스는 대량 쿼리를 빠르게 처리해야 하니까요. 예를 들어, 스노우플레이크나 빅쿼리 같은 클라우드 웨어하우스는 SQL 쿼리 속도가 10배 이상 빨라요 – 벤치마크 테스트에서 1TB 데이터 스캔이 5분 vs 30분이에요. 저장 데이터는 대부분 구조화돼 있어요. 변환된 클린 데이터만 들어가요.

현업 유스케이스를 보니, 비즈니스 유저나 BI 툴(예: Tableau)이 주 사용자예요. 예를 들어, 이커머스 회사에서 매출 리포트를 만들 때 데이터 웨어하우스를 써요. 일일 매출 합계나 KPI(주요 성과 지표)를 바로 쿼리할 수 있어요. 구체적 예: 세일즈 팩트 테이블에 숫자 데이터(매출액 1,000,000원)를 넣고, 고객 디멘션으로 필터링해 '서울 지역 매출' 분석. 데이터 레이크라면 이걸 먼저 변환해야 하지만, 웨어하우스는 이미 준비됐어요.

초보자 실전 팁: 데이터 웨어하우스를 도입할 때 ETL(Extract, Transform, Load) 프로세스를 자동화하세요. dbt가 딱이에요 – SQL로 변환 모델을 정의해요. 단계: 1) 소스 데이터 연결(예: PostgreSQL). 2) dbt 프로젝트 생성: dbt init my_warehouse. 3) 모델 파일 작성: SELECT SUM(sales) FROM raw_sales GROUP BY date. 4) dbt run 실행. 비용 비교로, AWS Redshift는 쿼리당 과금이지만, 데이터 레이크(S3)보다 분석 속도가 100배 빨라요. 주의사항은 데이터 중복 피하기 – 웨어하우스에 로드 전에 클린징하세요. 대안으로, 온프레미스 대신 클라우드 웨어하우스를 추천해요. 왜냐하면 스케일링이 쉽거든요. 예: 스타트업에서 10명 팀이 공유 대시보드 만들 때, Google BigQuery로 하루 1TB 분석 무료 티어 활용. 이렇게 하면 데이터 레이크에서 웨어하우스로 마이그레이션도 수월해져요. 현업에서 데이터 웨어하우스는 의사결정 속도를 높여 매출 20% 증가 효과를 볼 수 있어요.

팩트 테이블과 디멘션 테이블 이해하기

데이터 웨어하우스의 핵심 구조를 파헤쳐 볼게요. 팩트 테이블과 디멘션 테이블은 스타 스키마(star schema)의 기본이에요. 이걸 모르면 SQL 조인으로 분석할 때 헤매요. 현업에서 이 구조를 알면 리포팅이 훨씬 직관적이에요. dbt 강의에서 자주 나오는 부분이니, 초보자분들께 자세히 설명드릴게요.

먼저 팩트 테이블이에요. 이건 숫자 중심의 사실 데이터예요. 비즈니스 프로세스에서 생성된 측정 가능한 값들이 들어가요. 예를 들어, 온라인 쇼핑몰의 세일즈 팩트 테이블에 '주문 ID, 날짜, 매출액, 수량'이 들어가요. 크기가 아주 커요 – 수억 행이 될 수 있어요. 왜냐하면 매 거래마다 로우가 쌓이거든요. 키 특징은 외래 키(foreign key)로 디멘션 테이블을 참조해요. 쉽게 말하면, '얼마나 팔았나' 같은 숫자만 모아둔 테이블이에요.

반대로 디멘션 테이블은 맥락을 주는 메타데이터예요. 텍스트나 카테고리 데이터로, 상대적으로 작아요. 예: 고객 디멘션에 '고객 ID, 이름, 이메일, 주소'가 있어요. 팩트의 숫자를 '누가, 어디서'로 설명해줘요. 변화가 느려요 – 고객 정보는 가입 후 거의 안 변하죠. 공통 디멘션으로는 제품, 위치, 시간 등이 있어요.

비교 분석: 팩트는 대용량(GB~TB) 숫자 vs 디멘션은 소용량(MB) 텍스트. 쿼리 시 조인으로 사용해요 – SELECT f.sales, d.customer_name FROM fact_sales f JOIN dim_customer d ON f.customer_id = d.id. 이게 스타 스키마예요. 수치로, 조인 없이 분석하면 50% 성능 저하가 나요. 현업 예: 아마존에서 팩트(판매량)와 디멘션(제품 카테고리)으로 '전자제품 매출 추이' 대시보드 만듦.

실전 팁: dbt로 이 구조 구현하세요. 1) 소스 테이블 정의: sources.yml에 팩트/디멘션 경로. 2) 모델 생성: 팩트 모델 – dbt run --select fact_sales. 3) 테스트 추가: dbt test – unique 키 확인. 주의사항: 슬로우리 체인지 디멘션(SCD) 처리 – 고객 주소 변경 시 타입 2(히스토리 추적)로 업데이트하세요. 대안으로, 스노우플레이크 스키마(정규화된 버전) 써보세요 – 조인이 적지만 복잡해요. 초보자라면 스타 스키마부터: ERD 도구(예: Lucidchart)로 다이어그램 그려보세요. 코드 스니펫: WITH fact AS (SELECT * FROM {{ ref('fact_sales') }}), dim AS (SELECT * FROM {{ ref('dim_customer') }}) SELECT * FROM fact JOIN dim. 이렇게 실행하면 바로 쿼리 결과 봐요. 이 구조 알면 KPI 트래킹이나 ad-hoc SQL 분석이 쉬워져요. 더 깊게 공부하려면 '모르면 승진 안 되는 데이터 아키텍처' 강의 추천해요.