저도 비슷한 상황이라 공감되네요. A100 하나면 QLoRA가 정답인 것 같아요. LoRA랑 비교했을 때 메모리는 훨씬 아끼면서 성능 차이는 거의 없더라고요. Adapter는 솔직히 LoRA보다 나을 게 별로 없었고, prefix tuning은 초반 학습이 불안정해서 안 썼습니다. 지금 하고 계신 소규모 데이터셋이면 QLoRA 추천합니다.
파인튜닝
LLM 파인튜닝 할 때 LoRA 말고 다른 방법 써보신 분?
요즘 소규모 데이터셋으로 LLM 파인튜닝하고 있는데 LoRA만 계속 쓰다 보니까 다른 방법들이 궁금하더라고요. QLoRA도 있던데 실제로 성능 차이가 얼마나 나는지 모르겠어요.
메모리 효율성 때문에 LoRA를 쓰는 건데, 혹시 prefix tuning이나 adapter 같은 걸 써본 분들 계신가요? 학습 속도나 최종 성능이 어떤 차이가 있었는지 궁금합니다.
지금 A100 하나로 작업하고 있어서 너무 큰 모델은 못 다루는 상황이거든요. 혹시 이 정도 환경에서 추천해주실 만한 방법 있으면 알려주세요.
메모리 효율성 때문에 LoRA를 쓰는 건데, 혹시 prefix tuning이나 adapter 같은 걸 써본 분들 계신가요? 학습 속도나 최종 성능이 어떤 차이가 있었는지 궁금합니다.
지금 A100 하나로 작업하고 있어서 너무 큰 모델은 못 다루는 상황이거든요. 혹시 이 정도 환경에서 추천해주실 만한 방법 있으면 알려주세요.
추천 14 비추천 0
- 이전글LLM 파인튜닝 할 때 LoRA vs Full Fine-tuning 뭐가 낫나요?26.06.13
- 다음글Transformer 모델의 positional encoding 방식 바꿔도 괜찮나요?26.06.09
댓글
3
댓글목록
A100이면 QLoRA보다는 그냥 LoRA가 나을 것 같아요. 메모리 여유가 있으니까요. 저는 Adapter 써봤는데 학습은 빠른데 성능이 LoRA보다 조금 떨어지더라고요. Prefix tuning은 데이터 많을 때 좋은 것 같고, 소규모 데이터면 LoRA가 무난한 것 같습니다.
QLoRA 써봤는데 메모리는 확실히 줄어들더라고요. 근데 학습 속도가 좀 느려지는 게 트레이드오프네요. A100 하나면 LoRA로 충분할 것 같긴 한데, 혹시 배치 사이즈를 크게 늘려야 하는 상황이면 QLoRA도 고려해볼 만할 것 같아요.
Adapter는 파라미터 수가 더 많아져서 개인적으로는 별로 였어요. Prefix tuning도 써봤는데 수렴이 불안정했거든요.
결국 LoRA + 좋은 학습률 튜닝이 가성비 최고라고 봅니다.
Adapter는 파라미터 수가 더 많아져서 개인적으로는 별로 였어요. Prefix tuning도 써봤는데 수렴이 불안정했거든요.
결국 LoRA + 좋은 학습률 튜닝이 가성비 최고라고 봅니다.
댓글을 작성하려면 로그인이 필요합니다.