최근에 오픈소스 모델로 도메인 특화 파인튜닝을 해보려고 하는데, LoRA랑 QLoRA 중에 뭘 선택해야 할지 고민이 많네요. 둘 다 파라미터 효율적이긴 한데 정확히 어떤 차이가 있는지 명확하지 않거든요.
제 상황은 RTX 4090 한 장으로 돌려야 하고, 데이터셋 크기는 약 10만 개 정도입니다. 속도도 중요한데 정확도도 어느 정도는 챙겨야 해요. LoRA가 QLoRA보다 빠르긴 한데, 메모리는 더 많이 먹는다고 들었는데 4090이면 충분할까요?
혹시 실제로 둘 다 써보신 분들 계신가요? 벤치마크 결과나 경험담 있으시면 공유 부탁드립니다.
추천 0 비추천 0