LLM 파인튜닝할 때 토큰 길이 제한 어떻게 하시나요?

요즘 특정 도메인 데이터로 오픈소스 모델 파인튜닝 작업을 진행 중인데, 토큰 길이 처리 문제가 자꾸 걸려요. 모델의 컨텍스트 윈도우가 4K인데 학습 데이터 중에 5K 이상 길이의 샘플들이 꽤 많거든요.

지금은 그냥 max_length를 4096으로 설정해서 자르고 있는데, 이게 최선인지 모르겠어요. 뒤쪽 토큰이 버려지는 거라 정보 손실이 있을 것 같은데 실제로 성능에 얼마나 영향을 미치는지 헷갈립니다. 혹시 더 좋은 방법이 있을까요?

어떤 분들은 sliding window 방식으로 오버래핑된 청크들을 만들어서 학습한다고 했는데, 그렇게 하면 학습 데이터가 3배 이상 늘어나잖아요. 수렴 시간도 오래 걸리고 메모리도 훨씬 더 먹을 것 같고요.

혹은 처음부터 긴 컨텍스트를 지원하는 모델(Llama2 70B 같은)로 갈아타는 게 나을까요? 근데 그럼 리소스 문제가 정말 심각할 것 같아서 고민이 됩니다. 실무에서 이런 상황 어떻게 처리하시는지 궁금해요.