요즘 자사 데이터로 모델을 파인튜닝하려고 하는데 문제가 생겼네요. 학습 데이터 중에 컨텍스트가 긴 문서들이 꽤 많거든요. 보통 4K 토큰 제한이 있는 모델 기준으로 초과하는 부분을 어떻게 처리하는지 궁금합니다.
지금까진 단순히 잘라내거나 요약하는 방식을 생각했는데 정보 손실이 많을 것 같아서요. 슬라이딩 윈도우 방식으로 여러 개 샘플로 나누는 게 나을까요? 아니면 애초에 더 큰 컨텍스트 윈도우 모델을 쓰는 게 낫나 싶기도 하고요.
실제로 장문 데이터로 파인튜닝해본 분들은 어떤 방식을 쓰셨는지 궁금합니다. 특히 성능 차이가 있었는지 궁금하네요.
추천 9 비추천 0