요즘 우리 팀에서 특정 도메인용 LLM 파인튜닝을 진행하고 있는데 문제가 생겼어요. 데이터셋이 꽤 길어서 토큰 길이 제한에 계속 걸리더라고요. GPT-4나 Claude 같은 큰 모델은 컨텍스트 윈도우가 크지만, 로컬에서 돌릴 수 있는 경량 모델들은 보통 4k 정도라서...
일단 텍스트를 청킹해서 쪼개는 방법도 시도했는데 그러면 문맥이 끊겨서 학습 품질이 떨어지는 느낌이에요. 단순히 글자 수로 자르기만 해서 그런 걸까요? Sliding window 방식으로 오버래핑을 주면 좀 나을까 싶긴 한데...
혹시 이 문제를 어떻게 해결하는 게 일반적인지 궁금합니다. 긴 문서를 파인튜닝할 때 실제로 어떤 전략을 쓰시나요? 토큰 길이를 늘릴 수 있게 모델을 재훈련하는 건 너무 비용이 크기도 하고...
그리고 혹시 Llama 2 같은 4k 제한 있는 모델도 충분히 실용적인지도 궁금하네요. 아니면 차라리 처음부터 더 긴 컨텍스트를 지원하는 모델로 시작하는 게 낫나 싶고요. 의견 부탁드려요.