4090이면 LoRA로도 충분할 것 같은데, QLoRA는 양자화 때문에 정확도 손실이 좀 있더라고요. 10만 개 데이터셋이면 메모리도 크게 문제 안 될 것 같으니 그냥 LoRA로 가시는 게 나을 듯합니다. 속도도 더 빠르고요. 다만 배치 사이즈를 줄이면서 학습률 조정이 필요하니까 그 부분만 신경 쓰시면 될 거 같네요.
API연동
LLM 파인튜닝할 때 LoRA랑 QLoRA 어떤 걸 써야 하나요?
최근에 오픈소스 모델로 도메인 특화 파인튜닝을 해보려고 하는데, LoRA랑 QLoRA 중에 뭘 선택해야 할지 고민이 많네요. 둘 다 파라미터 효율적이긴 한데 정확히 어떤 차이가 있는지 명확하지 않거든요.
제 상황은 RTX 4090 한 장으로 돌려야 하고, 데이터셋 크기는 약 10만 개 정도입니다. 속도도 중요한데 정확도도 어느 정도는 챙겨야 해요. LoRA가 QLoRA보다 빠르긴 한데, 메모리는 더 많이 먹는다고 들었는데 4090이면 충분할까요?
혹시 실제로 둘 다 써보신 분들 계신가요? 벤치마크 결과나 경험담 있으시면 공유 부탁드립니다.
제 상황은 RTX 4090 한 장으로 돌려야 하고, 데이터셋 크기는 약 10만 개 정도입니다. 속도도 중요한데 정확도도 어느 정도는 챙겨야 해요. LoRA가 QLoRA보다 빠르긴 한데, 메모리는 더 많이 먹는다고 들었는데 4090이면 충분할까요?
혹시 실제로 둘 다 써보신 분들 계신가요? 벤치마크 결과나 경험담 있으시면 공유 부탁드립니다.
추천 9 비추천 0
- 이전글LLM 파인튜닝할 때 토큰 길이 제한 때문에 고민이에요26.10.13
- 다음글RAG 시스템에서 Context Window 크기 늘렸는데 응답 품질이 오히려 떨어지네요26.10.02