요즘 회사에서 자체 데이터로 LLM을 파인튜닝해야 하는 프로젝트를 진행 중인데, LoRA만 계속 써왔거든요. 확실히 파라미터 수도 적고 학습도 빠르긴 한데, 정확도 측면에서 조금 아쉬운 부분들이 있더라고요.
최근에 QLoRA나 DoRA 같은 변형들도 나왔고, 더 공격적으로 가면 full fine-tuning도 있는데 실제 프로덕션 환경에서 쓸 만한 건 뭐가 있을까 싶어요. 특히 메모리 제약이 있을 때 LoRA보다 성능이 나으면서도 합리적인 리소스에서 돌릴 수 있는 방법이 있으면 궁금합니다.
지금 쓰고 있는 모델은 Llama 2 70B인데, A100 2개 정도의 환경에서 작업 중이에요. 데이터셋은 도메인 특화 데이터 약 50만 개 정도고요. LoRA로는 rank 64, alpha 128로 설정해서 돌렸을 때 loss는 충분히 내려갔는데, eval 지표로 봤을 때는 기대만큼 개선이 안 됐던 거 같아요.
혹시 비슷한 스케일에서 LoRA 대신 다른 방식으로 좋은 결과 얻으신 분 계신가요? 그리고 프로덕션 배포할 때 여러 파인튜닝된 모델을 관리하는 방식도 알려주면 정말 감사하겠습니다.