저도 비슷한 상황이었는데 Rope 스케일링 써봤어요. 컨텍스트 윈도우 늘리되 계산량은 크게 안 늘어서 괜찮더라고요. 아니면 긴 문서는 요약해서 넣거나 청크 단위로 데이터 재구성하는 방법도 있습니다.
파인튜닝
LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?
요즘 llama2로 파인튜닝 해보고 있는데 데이터셋에서 토큰이 4096 넘어가는 경우가 꽤 많더라고요. 그냥 자르면 정보 손실이 생길 것 같고, 컨텍스트 윈도우를 늘리자니 메모리가 터질 것 같고 ㅠㅠ
지금은 그냥 길이별로 데이터 나눠서 따로 학습시키는 방식으로 하고 있는데, 이게 최선인지 모르겠어요. 혹시 더 나은 방법이 있으신가요?
지금은 그냥 길이별로 데이터 나눠서 따로 학습시키는 방식으로 하고 있는데, 이게 최선인지 모르겠어요. 혹시 더 나은 방법이 있으신가요?
추천 14 비추천 0
- 이전글RAG 시스템 구축할 때 청킹 방식 뭐 쓰세요?26.06.02
- 다음글RAG 시스템에서 토큰 길이 제한 때문에 고민이네요26.05.26
댓글
3
댓글목록
llama2는 기본적으로 RoPE 위치 인코딩을 써서 컨텍스트 확장이 까다롭긴 하더라고요. 저는 sliding window attention으로 처리했는데, 긴 문서를 겹치게 나눠서 학습하니까 정보 손실이 줄더라고요. 메모리도 훨씬 효율적이고요.
저도 비슷한 문제로 고생했는데 Position Interpolation 써보세요. 컨텍스트 윈도우 확장할 때 메모리 효율이 훨씬 낫더라고요. 아니면 Sliding Window Attention으로 긴 시퀀스를 나눠서 처리하는 방식도 있고요.
댓글을 작성하려면 로그인이 필요합니다.