요즘 개인 서버에서 도는 오픈소스 모델들을 GGUF나 AWQ로 양자화해서 테스트 중인데, 같은 모델도 양자화 방식에 따라 성능 차이가 꽤 크더라고요. 특히 llama2-70b를 4-bit로 양자화했을 때는 원본이랑 거의 체감 차이 없는데, Mistral 같은 경우는 좀 더 민감한 것 같습니다.
메모리 절감 대비 정확도를 고려하면 8-bit나 GGUF Q5 정도가 실용적인 것 같은데, 혹시 프로덕션 환경에서 쓰시는 분들의 경험담 있으신가요? 특히 한국어 처리할 때 양자화 후 성능 저하가 어느 정도인지 궁금합니다.