바닥부터 LLM 굽기. pretrain해서 베이스모델 만드는 법. LLM DeepDive 1편

LLM의 기초: 프리트레이닝이란?

LLM의 발전 과정에서 가장 중요한 단계는 프리트레이닝입니다. 이 단계에서는 모델이 무작정 데이터를 읽고 학습하는 과정인데요, 마치 아기가 세상을 배우듯이 방대한 양의 텍스트 데이터를 통해 언어의 구조와 의미를 익히는 겁니다. 예를 들어, GPT 모델은 다양한 문서와 책을 읽어 자연어 처리의 기초를 다집니다.

프리트레이닝의 목표는 모델이 다음 단어를 예측할 수 있도록 하는 것인데, 이 과정에서 모델은 언어의 패턴과 문맥을 이해하게 됩니다. 이때 사용되는 데이터는 대개 웹에서 수집된 방대한 양의 텍스트입니다. 이러한 프리트레이닝 과정은 LLM의 성능에 직접적인 영향을 미치기 때문에, 데이터의 질이 매우 중요하죠.

[[]

데이터의 중요성: 어떻게 수집하고 필터링하나?

프리트레이닝을 위한 데이터는 어디에서 얻을 수 있을까요? 요즘 LLM 모델은 대부분 웹 크롤링을 통해 데이터를 수집하는데, 이 과정에서 중요한 것은 데이터의 질과 양입니다. 예를 들어, Hugging Face와 같은 플랫폼에서는 이미 다양한 데이터를 크롤링해 제공하고 있습니다. 그 중에서도 'Common Crawl'이라는 비영리 재단이 2007년부터 모든 웹 데이터를 크롤링하고 있다는 점이 흥미로운데요, 이 데이터는 누구나 사용할 수 있습니다.

하지만 크롤링한 데이터는 필터링이 필수적입니다. 예를 들어, 품질이 낮은 사이트나 스팸성 콘텐츠는 제외하고, 유용한 정보를 담고 있는 데이터만을 추려야 합니다. 이렇게 필터링된 데이터는 모델 학습 과정에서 더 나은 성과를 가져올 수 있도록 도와줍니다. 필터링 과정에는 여러 기법이 사용되며, 개인 정보 제거와 같은 세부적인 작업도 포함됩니다.

[[]

베이스 모델과 파인튜닝: 실전 팁

프리트레이닝이 끝난 후에는 베이스 모델을 만들게 되는데요, 이 모델은 특정한 작업을 수행하기 위해 추가적인 학습이 필요한 상태입니다. 베이스 모델은 기본적인 언어 이해 능력을 갖추고 있지만, 특정 도메인에 대한 지식이 부족할 수 있습니다.

이때 파인튜닝이 필요합니다. 파인튜닝은 모델이 특정 작업을 잘 수행할 수 있도록 추가 데이터를 통해 학습시키는 과정입니다. 예를 들어, 이미 학습된 베이스 모델에 한국어 데이터를 추가로 학습시킨다면, 해당 모델은 한국어에 대한 이해도가 높아질 것입니다. 하지만 주의할 점은, 이미 학습된 모델에 새로운 지식을 추가하는 것이 어려울 수 있다는 것입니다. 이럴 경우 '컨티뉴어스 프리트레이닝' 방식이 도움을 줄 수 있습니다.

마지막으로, 모델을 사용할 때는 항상 데이터의 질과 양을 고려해야 합니다. 데이터가 많다고 무조건 좋은 결과를 내는 것은 아니니까요. 따라서, 필요한 경우 적절한 데이터셋을 찾아서 활용하는 것이 중요합니다.