저도 같은 고민이었는데 결국 LoRA로 시작했어요. 리소스 제약이 있으면 LoRA가 현실적이더라고요. 물론 품질 차이는 좀 있지만 튜닝 파라미터 늘려가면서 조정하면 충분하더라고요.
API연동
LLM 파인튜닝할 때 LoRA vs full fine-tuning 뭐가 나을까요?
요즘 작은 모델들로 특정 도메인 작업 해보려고 하는데 LoRA로 할지 풀 파인튜닝으로 할지 고민이네요. 회사 GPU 리소스가 그리 많지 않아서 LoRA가 맞는 것 같기도 하고... 근데 정확도는 풀 파인튜닝이 좀 더 낫지 않나 싶거든요.
실제로 프로덕션 환경에서 둘을 다 써본 분들은 체감상 어떤 차이를 느끼셨나요? 특히 토큰 생성 속도나 품질 면에서요. 아니면 요즘은 LoRA도 충분히 좋아져서 굳이 풀 파인튜닝까지 갈 필요 없는 상황이 많은 건가요? 경험담 있으면 공유 부탁드립니다.
실제로 프로덕션 환경에서 둘을 다 써본 분들은 체감상 어떤 차이를 느끼셨나요? 특히 토큰 생성 속도나 품질 면에서요. 아니면 요즘은 LoRA도 충분히 좋아져서 굳이 풀 파인튜닝까지 갈 필요 없는 상황이 많은 건가요? 경험담 있으면 공유 부탁드립니다.
추천 14 비추천 0
- 이전글RAG 구현할 때 chunk size 어떻게 정하시나요?26.06.21
- 다음글RAG 시스템에서 retrieval 성능 개선하려면 뭐가 제일 효과적이던가요?26.06.19