저도 비슷한 상황이었는데 QLoRA 추천해요. V100 한두 개라면 충분히 감당 가능하고 메모리 효율이 정말 좋더라고요. 50만 토큰 정도면 full fine-tuning보다는 파라미터 효율적 방식이 확실히 낫습니다.
저는 peft 라이브러리로 QLoRA 구성해서 돌렸는데, 속도도 생각보다 괜찮았어요. 다만 inference 할 때 가중치 merge하는 과정이 조금 번거로운 편이긴 합니다. unsloth 써보셨나요? 요즘 그게 속도 면에서 꽤 좋다고 하더라고요.
도메인 데이터가 50만 토큰이면 사실 작은 편이라 LoRA만으로도 충분할 것 같은데, 메모리 여유를 생각하면 QLo
저는 peft 라이브러리로 QLoRA 구성해서 돌렸는데, 속도도 생각보다 괜찮았어요. 다만 inference 할 때 가중치 merge하는 과정이 조금 번거로운 편이긴 합니다. unsloth 써보셨나요? 요즘 그게 속도 면에서 꽤 좋다고 하더라고요.
도메인 데이터가 50만 토큰이면 사실 작은 편이라 LoRA만으로도 충분할 것 같은데, 메모리 여유를 생각하면 QLo