요즘 특정 도메인용 LLM을 파인튜닝하려고 하는데, 학습 데이터 중에 긴 문서들이 많더라고요. 모델의 컨텍스트 윈도우가 4K인데 실제 문서는 8K~15K 정도 나가는 경우가 많아서 어떻게 처리할지 고민이 됩니다.
지금 생각해본 방법이 크게 나눠서 슬라이딩 윈도우로 자르기, 또는 요약 후 학습하는 방식인데 둘 다 뭔가 정보 손실이 있을 것 같아요. 혹시 다들 어떻게 처리하시나요? 아니면 그냥 모델 크기를 줄여서 라마 같은 걸 쓰는 게 나을까요?
추천 0 비추천 0