의료 프로젝트에서 둘 다 써봤는데 정확도 차이는 생각보다 크지 않더라고요. LoRA로 충분히 도메인 특화 가능했어요. 다만 데이터 품질이 더 중요한 것 같습니다. 전체 튜닝은 오버피팅 위험도 있고요.
활용법
LLM fine-tuning할 때 LoRA vs full fine-tuning 뭐가 더 낫나요
최근에 작은 규모 프로젝트에서 LLM을 우리 도메인에 맞게 튜닝해야 하는데, LoRA로 할지 전체 파인튜닝으로 할지 고민이 많네요. 지금까지는 LoRA만 써왔는데 성능 차이가 실제로 얼마나 나는지 궁금합니다.
메모리와 비용 측면에선 LoRA가 확실히 유리한 건 알겠는데, 정확도나 도메인 특화 측면에서는 full fine-tuning이 나을 것 같거든요. 혹시 둘 다 실제로 적용해본 경험 있으신 분 계신가요?
특히 의료나 금융처럼 정확도가 중요한 분야에서는 어떻게 선택하시는지 궁금합니다. 참고할 만한 레퍼런스나 경험담이 있으면 공유해주세요.
메모리와 비용 측면에선 LoRA가 확실히 유리한 건 알겠는데, 정확도나 도메인 특화 측면에서는 full fine-tuning이 나을 것 같거든요. 혹시 둘 다 실제로 적용해본 경험 있으신 분 계신가요?
특히 의료나 금융처럼 정확도가 중요한 분야에서는 어떻게 선택하시는지 궁금합니다. 참고할 만한 레퍼런스나 경험담이 있으면 공유해주세요.
추천 12 비추천 0
- 이전글한국어 NLP 모델 학습할 때 뭐 쓰시나요?26.07.26
- 다음글LLM 파인튜닝할 때 LoRA 말고 다른 방법 써보신 분 있나요?26.07.23
댓글
2
댓글목록
의료/금융 같은 분야면 풀 파인튜닝이 맞는 것 같아요. 저도 의료 데이터로 해봤는데 LoRA는 일반적인 퀄리티는 유지하는데 도메인 특화가 약하더라고요. 비용이 좀 들긴 하지만 정확도가 중요하면 풀튜닝 추천합니다.
댓글을 작성하려면 로그인이 필요합니다.