🤖 E02. #AutoRAG - RAG 평가 데이터 생성 by Markr.AI 김동규

AutoRAG와 평가 데이터셋의 중요성

AutoRAG는 AI 모델의 성능을 평가하고 최적화하는 데 필수적인 도구예요. 하지만 이 도구를 효과적으로 활용하려면 무엇보다도 좋은 평가 데이터셋이 필요합니다. 평가 데이터셋이란, 모델의 성능을 평가하는 데 사용되는 데이터의 모음인데요, 이 데이터가 얼마나 정확하고 신뢰성 있는가에 따라 모델의 성능 평가 결과가 달라질 수 있어요.

예를 들어, 만약 평가 데이터셋이 부정확한 정보로 구성되어 있다면, 모델이 실제로는 잘 작동하더라도 잘못된 평가를 받을 수 있죠. 따라서 좋은 평가 데이터셋을 만드는 것이 매우 중요합니다. 이 과정에서 여러분이 신경 써야 할 점은 데이터의 품질과 양이에요. 통계적으로 90% 이상의 시간을 좋은 평가 데이터셋을 구성하는 데 쏟는 것이 일반적이니, 이 부분에 충분한 노력을 기울여야 해요.

평가 데이터셋 생성하기

이제 본격적으로 평가 데이터셋을 생성하는 방법을 알아볼게요. 먼저, 필요한 자료를 준비해야 하는데, 저는 이번에 뉴진스 관련 기사 3개를 PDF 파일 형태로 준비했어요. 이렇게 준비한 PDF 파일들은 나중에 데이터셋을 만드는 데 사용될 거예요.

이제 Python을 활용해 데이터를 파싱하고 청킹하는 과정을 진행할 차례에요. 먼저, 라마 인덱스라는 도구를 사용해 파싱을 시작할 거예요. 이 도구는 다양한 파일 형식을 지원하며, 지정한 폴더 내의 PDF, 엑셀, 워드, PPT 파일들을 자동으로 파싱해요. 이때, 심플 디렉토리 리더를 사용해 파일 경로를 지정해주면, 자동으로 알맞은 파서와 연결되어 데이터를 추출해줍니다.

파싱이 완료되면, 토큰 텍스트 스플리터를 사용해 데이터를 청킹해야 해요. 이 과정에서 각 청크의 크기와 오버랩을 설정할 수 있는데, 저는 256개의 토큰을 기준으로 하고, 양쪽으로 64개의 토큰이 겹치도록 설정했어요. 이렇게 청킹한 데이터는 라마 텍스트 노드로 변환될 수 있어요. 이 모든 과정은 간단한 코드로 실행할 수 있으니, 여러분도 쉽게 따라 해볼 수 있을 거예요.

최적의 프롬프트 작성법

이제 평가 데이터셋을 통해 질문과 답변을 생성하는 방법을 알아보겠습니다. 평가 데이터셋을 이용해 질문을 만들려면, 적절한 프롬프트 작성이 필수적이에요. 예를 들어, "뉴진스의 첫곡은 무엇인가요?"라는 질문에 대한 답변을 생성할 수 있도록 데이터를 준비하는 것이죠.

프롬프트를 작성할 때는 텍스트와 중괄호를 포함한 텍스트를 반드시 포함해야 해요. 이렇게 구성된 프롬프트가 모델에 입력될 때, AI가 올바른 질문과 답변을 생성하는 데 큰 도움이 됩니다. 또한, 뉴스와 관련 없는 질문은 필터링하는 코드를 추가해 놓으면, 더욱 정확한 데이터셋을 만들 수 있어요.

마지막으로, 생성된 데이터셋은 파켓 파일로 저장하고, 이를 통해 후속 작업을 진행할 수 있어요. 질문의 질을 높이기 위해서는 반복적으로 프롬프트를 수정하고 개선하는 과정이 필요하답니다. 좋은 프롬프트를 만드는 데 시간을 투자하면, 훨씬 더 품질 높은 질문과 답변을 얻을 수 있을 거예요.