LLM 파인튜닝 할 때 토큰 길이 제한 어떻게 설정하세요?

요즘 자사 데이터로 LLM을 파인튜닝하는 작업을 진행 중인데, 토큰 길이 제한을 어느 정도로 잡아야 할지 고민이 생겼어요. 보통 기본값인 2048이나 4096으로 설정하는데, 실제로 프로덕션에서는 더 길게 가져가는 분들이 많다는 얘기를 들어서요.

데이터 특성상 문서가 꽤 길거든요. 평균 800토큰 정도인데 일부는 3000을 넘어가요. 그래서 최대 길이를 8192로 늘려볼 생각도 했는데, 메모리 문제와 학습 속도가 걱정이 돼요. 특히 배치 사이즈를 어떻게 맞춰야 할지 난감합니다.

지금 A100 2개로 학습 중인데 토큰 길이를 늘리면 배치 사이즈를 줄여야 할 텐데, 그러면 또 수렴이 느려질 것 같아요. 혹시 이런 트레이드오프를 경험하신 분 계신가요? 실제로 더 긴 토큰으로 파인튜닝했을 때 성능 개선이 있었는지 궁금합니다.

그리고 혹시 gradient accumulation으로 이 문제를 해결하신 분도 있나요? 이론상으로는 도움이 될 것 같은데 실제로 얼마나 효과적인지 모르겠네요. 비용도 비용인데 최적화를 잘못하면 시간만 낭비할 것 같아서요.

참고로 모델은 Llama 2를 베이스로 하고 있고, transformers 라이브러리로 진행 중입니다. 혹시 다른 라이브러리나 방법론이 더 효율적이라면 그것도 알려주시면 감사하겠습니다.