LLM 파인튜닝 할 때 어떤 프레임워크 쓰세요? > 기술 Q&A

댓글목록

딥러너

26-07-12 19:27

저도 비슷한 상황이었는데 QLoRA 추천해요. V100 한두 개라면 충분히 감당 가능하고 메모리 효율이 정말 좋더라고요. 50만 토큰 정도면 full fine-tuning보다는 파라미터 효율적 방식이 확실히 낫습니다.
저는 peft 라이브러리로 QLoRA 구성해서 돌렸는데, 속도도 생각보다 괜찮았어요. 다만 inference 할 때 가중치 merge하는 과정이 조금 번거로운 편이긴 합니다. unsloth 써보셨나요? 요즘 그게 속도 면에서 꽤 좋다고 하더라고요.
도메인 데이터가 50만 토큰이면 사실 작은 편이라 LoRA만으로도 충분할 것 같은데, 메모리 여유를 생각하면 QLo

코드리뷰어

26-08-03 12:58

저도 비슷한 상황에서 QLoRA 써봤는데, V100 한두 개면 충분히 돌아가더라고요. LoRA보다 메모리 효율이 훨씬 좋아서 배치 사이즈도 크게 잡을 수 있었어요. 50만 토큰이면 QLoRA로도 충분할 것 같습니다.
다만 풀 파인튜닝이랑 비교하면 수렴 속도는 조금 느릴 수 있으니까, 데이터 품질이 정말 중요하더라고요. 전처리 잘해야 결과가 나옵니다.
peft 라이브러리 써보세요. Hugging Face에서 지원하니까 Transformers랑 호환도 잘 되고, 세팅 간단해요.

궁금하면

26-08-06 20:45

저도 비슷한 상황이었는데 LoRA 강력 추천합니다. V100 한두 개면 QLoRA는 좀 오버킬인 것 같고, 풀 파인튜닝은 메모리가 버거워요. LoRA로 충분히 좋은 결과 나왔거든요. PEFT 라이브러리 쓰면 Transformers랑 호환도 잘 되고요.

오늘도살자

26-08-14 07:55

저도 비슷한 상황에서 QLoRA 써봤는데 V100 한두 개면 충분히 돌아가더라고요. 풀 파인튜닝은 메모리가 바닥나서 포기했고요.
50만 토큰이면 LoRA만 해도 괜찮을 것 같은데, QLoRA는 정말 메모리 효율이 좋아서 더 큰 모델도 돌릴 수 있다는 게 장점이네요. 다만 속도는 좀 느린 편이긴 해요.
peft 라이브러리랑 Hugging Face Transformers 조합이 제일 편했습니다. 따로 학습하는 것도 간단하고요.