저도 4-bit 해봤는데 한국어 성능 저하 진짜 심하더라고요. 결국 8-bit로 돌아갔어요. GPTQ도 비슷한 수준이었고 속도 개선보다는 품질이 더 중요하면 8-bit이 현실적인 것 같습니다.
오류해결
최근에 LLM 양자화 해보신 분들 있어요?
요즘 프로젝트에서 로컬 환경에 모델 굴려야 해서 4-bit 양자화 시도해봤는데 생각보다 품질 손실이 커서 놀랐어요. 이론상으로는 괜찮을 줄 알았는데 실제로 추론 결과 보니까 꽤 차이 나네요.
특히 한국어 관련 태스크에서 성능 저하가 두드러졌어요. 아무래도 학습 데이터 분포 문제 때문일 것 같긴 한데, 혹시 비슷한 경험 있으신 분들은 어떻게 대처하셨나 궁금합니다. GPTQ 쓰는 게 나을까요, 아니면 그냥 8-bit으로 가는 게 현실적일까요?
메모리랑 속도는 확실히 좋아진 거 있는데 품질 트레이드오프가 조금 애매한 상태라서요.
특히 한국어 관련 태스크에서 성능 저하가 두드러졌어요. 아무래도 학습 데이터 분포 문제 때문일 것 같긴 한데, 혹시 비슷한 경험 있으신 분들은 어떻게 대처하셨나 궁금합니다. GPTQ 쓰는 게 나을까요, 아니면 그냥 8-bit으로 가는 게 현실적일까요?
메모리랑 속도는 확실히 좋아진 거 있는데 품질 트레이드오프가 조금 애매한 상태라서요.
추천 7 비추천 0
- 이전글LLM 토큰 길이 제한 걸릴 때 어떻게 처리하세요?26.07.16
- 다음글LLM의 컨텍스트 윈도우 늘리는 게 정말 성능 향상일까요?26.07.15