LLM 바닥부터 만들기 (대형언어모델) 1시간 핵심 정리! - #1 사전학습 [홍정모 연구소]

훈련 데이터 준비와 토큰화

해리포터 책 한 권을 예시로 사용하면 가장 간단하게 시작할 수 있어요. 캐글에서 이미 정리된 txt 파일을 내려받아 주피터 노트북과 같은 폴더에 넣기만 하면 준비 끝이죠.

줄바꿈과 연속 공백을 정규식으로 정리하는 간단한 전처리만 거치면 전체 책이 하나의 긴 문자열이 돼요. 실제로 48만 글자 정도 나오는 데, 이 정도 규모가 개인 PC에서 테스트하기에 적당한 크기예요.

토큰화 단계에서는 tiktoken 라이브러리의 GPT-2 토크나이저를 그대로 가져다 씁니다. 문자열을 숫자 ID로 바꾸는 과정인데, 영어는 단어 단위로 깔끔하게 잘려 나가죠. 예를 들어 “Harry Potter was a wizard”는 6개의 토큰으로 변환돼요.

한글·한자가 섞인 데이터라면 LG AI의 EXAONE 토크나이저를 추천해요. tiktoken보다 한국어 처리 품질이 안정적이에요. 글자 단위 토큰화도 가능하지만 실제 사전학습에서는 단어 단위가 훨씬 효율적이라는 점도 실험으로 확인할 수 있어요.

데이터 로더와 다음 단어 예측

PyTorch Dataset을 상속받아 간단히 구현하면 돼요. 책 전체를 토큰 ID로 변환한 뒤, 입력(input_ids)과 타깃(target_ids)을 한 칸씩 밀어서 쌍으로 만들어주는 게 핵심이에요.

“Harry Potter was a wizard”를 예로 들면, 입력에 “Harry”가 들어오면 타깃은 “Potter”가 되고, 입력에 “Harry Potter”가 들어오면 타깃은 “was”가 되는 식이죠. 이 한 칸 밀기 구조가 사전학습의 본질이에요.

DataLoader에서 shuffle=True로 설정하면 매 에폭마다 책의 다른 부분을 랜덤하게 뽑아 학습하므로 과적합을 어느 정도 막을 수 있어요. 배치 크기는 GPU 메모리에 따라 4~16 정도로 조절하면 안정적으로 돌아갑니다.

모델 훈련과 텍스트 생성 결과

트랜스포머 블록 하나만 쌓은 간단한 GPT 구조를 사용해요. 멀티헤드 셀프 어텐션에 마스크를 씌워 미래 토큰을 보지 못하게 하는 causal masking이 핵심이에요.

에폭 10~20회만 돌려도 loss가 눈에 띄게 떨어지고, “Dobby is” 다음에 “free”나 “used” 같은 단어가 높은 확률로 나오는 걸 확인할 수 있어요. Temperature 값을 0.1로 낮추면 거의 같은 문장만 반복하고, 1.0 이상으로 올리면 다양한 표현이 나오지만 가끔 문법이 어긋나기도 하죠.

한국어 무협지 데이터로도 동일한 코드를 돌려보면 “묵향이” 다음에 “녀석”이나 “별칭” 같은 단어가 자연스럽게 이어지는 걸 볼 수 있어요. 이 결과를 바탕으로 실제 서비스에 적용할 때는 RAG나 파인튜닝을 추가로 붙이는 전략을 세우는 게 현실적이에요.