전 보통 긴 문맥은 sliding window로 겹쳐서 청킹하더라고요. 정보 손실을 줄일 수 있거든요. 다만 VRAM이 24GB면 context length를 늘리기보다는 batch size 줄여서 4096 정도로 유지하는 게 낫지 않을까 싶아요. RoPE 스케일링도 고려해볼 만하고요. 실제로 Llama 2를 8192까지 파인튜닝한 결과들 보면 perplexity 차이가 크지 않더라고요.
API연동
LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?
요즘 자체 데이터로 LLM 파인튜닝을 시도하고 있는데, 학습 데이터 중에 토큰 길이가 4096을 넘는 샘플들이 꽤 많아요. 단순히 자르기만 하면 정보 손실이 심할 것 같은데 다들 어떻게 처리하시나요?
지금 생각하는 방법은 긴 문맥을 청킹해서 별도로 처리하거나, 아니면 그냥 max_length 설정해서 자르는 건데, 둘 다 좀 찝찝하네요. 혹시 더 좋은 방법이 있으면 알려주세요.
참고로 Llama 2 기반으로 작업 중이고 가용 VRAM이 24GB 정도입니다.
지금 생각하는 방법은 긴 문맥을 청킹해서 별도로 처리하거나, 아니면 그냥 max_length 설정해서 자르는 건데, 둘 다 좀 찝찝하네요. 혹시 더 좋은 방법이 있으면 알려주세요.
참고로 Llama 2 기반으로 작업 중이고 가용 VRAM이 24GB 정도입니다.
추천 12 비추천 0
- 이전글RAG 시스템에서 임베딩 모델 선택하는 기준이 뭘까요?26.07.02
- 다음글LLM이 코드 리뷰 해주는 거 얼마나 믿을만한가요?26.06.30