요즘 회사에서 특정 도메인용 LLM을 만들어야 하는데, LoRA로 갈지 full fine-tuning으로 갈지 고민이 많네요. 둘 다 해본 분들 의견이 궁금합니다.
일단 LoRA가 트렌드긴 한데, 실제로 성능 차이가 얼마나 나는지 확실하지 않거든요. 메모리도 훨씬 적게 쓰고, 학습 속도도 빠르다는 건 알겠는데... 결국 파라미터 수가 훨씬 적잖아요. 그럼 당연히 표현력에 제약이 있지 않을까 싶고요.
우리 같은 경우 데이터는 충분한 편입니다. 특정 산업 도메인 데이터를 꽤 확보했거든요. 이 경우엔 full fine-tuning이 더 나을 수도 있지 않을까 생각해요. 성능이 조금 더 나온다면 메모리와 시간 투자는 감수할 수 있을 것 같은데.
다만 현업에서는 LoRA 쓰는 게 대부분인 것 같아서요. 혹시 제가 놓친 부분이 있나요? LoRA로도 충분히 좋은 성능을 낼 수 있다면 그게 더 효율적이니까 당연히 LoRA로 가야겠지만, 실제 프로젝트에서 어떻게 했는지 궁금합니다. 특히 성능 비교 경험이 있으신 분 있으면 알려주세요.