요즘 오픈소스 LLM으로 특정 도메인 파인튜닝을 하고 있는데 맨날 토큰 길이 때문에 막혀요. 기본 모델이 4K 컨텍스트 윈도우인데 우리 데이터셋에는 5K~8K 길이의 문서들이 많거든요.
그냥 긴 문서를 자르는 건 너무 손실이 크고, 그렇다고 컨텍스트 윈도우를 늘리려니까 하이퍼파라미터 튜닝이 복잡해져요. 혹시 이 과정에서 뭔가 팁 같은 게 있을까요? RoPE 스케일링 같은 걸 시도해본 분 계신가요? 실제로 효과가 있었는지 궁금합니다.
지금 생각해본 방법들이 있긴 한데, 첫 번째는 토큰 길이를 8K까지 늘리되 원래 가중치는 유지하면서 인터폴레이션으로 새로운 위치 임베딩을 만드는 거고, 두 번째는 그냥 문서를 요약해서 길이를 줄이되 핵심은 보존하는 방식이에요. 근데 전자는 학습 리소스가 상당하게 필요할 것 같고 후자는 정보 손실이 걱정돼요.
혹시 비슷한 문제 겪어본 분들 어떻게 해결했는지 궁금합니다. 사실 요즘 Llama2나 Mistral 같은 모델들도 처음부터 더 긴 컨텍스트로 학습되긴 했지만, 우리는 기존 모델 기반으로 가야 하는 상황이라서요. 팀 내에서도 의견이 갈리고 있어서 실제 경험담이 정말 도움이 될 것 같습니다.