저도 비슷한 문제 겪었는데 결국 두 가지 조합으로 가더라고요. 짧은 문서들은 그냥 자르고, 긴 문서는 Llama 2 Long으로 따로 파인튜닝했어요. 롱컨텍스트로 전부 가면 vram도 많이 먹고 학습도 오래 걸려서요. 데이터 특성에 따라 전략을 나누는 게 비용 대비 효율이 더 좋았습니다.
API연동
LLM 파인튜닝할 때 토큰 길이 제한 어떻게 해결하세요?
요즘 자사 데이터로 LLM을 파인튜닝하려고 하는데 문제가 생겼네요. 학습 데이터 중에 컨텍스트가 꽤 긴 문서들이 많거든요. 근데 모델의 토큰 제한(대부분 4K~8K)에 걸려서 데이터를 자르거나 버려야 하는 상황이 계속 생기더라고요.
혹시 이런 경우 어떻게 대처하시나요? 그냥 자르고 학습하는 게 베스트인지, 아니면 롱컨텍스트 모델(Llama 2 Long 같은)로 갈아타는 게 낫는지 고민 중입니다. 비용도 고려해야 되고 학습 시간도 늘어날 것 같아서요.
혹시 이 과정에서 데이터 손실 없이 처리하신 경험 있으신 분 있으면 팁 공유 부탁드려요.
혹시 이런 경우 어떻게 대처하시나요? 그냥 자르고 학습하는 게 베스트인지, 아니면 롱컨텍스트 모델(Llama 2 Long 같은)로 갈아타는 게 낫는지 고민 중입니다. 비용도 고려해야 되고 학습 시간도 늘어날 것 같아서요.
혹시 이 과정에서 데이터 손실 없이 처리하신 경험 있으신 분 있으면 팁 공유 부탁드려요.
추천 8 비추천 0
- 이전글RAG 시스템에서 Context Window 크기 늘렸는데 응답 품질이 오히려 떨어지네요26.10.02
- 다음글최근에 LLM 파인튜닝 비용이 좀 이상한데 이게 맞나요?26.09.24