팀에서 오픈소스 LLM을 자체 서버에 배포하려고 하는데, 요즘 다들 양자화를 기본으로 깔고 가는 것 같더라고요. INT8이나 GGUF 같은 포맷들 말이에요.
근데 우리는 H100이 충분히 있는 상황이라 원본 모델 그대로 배포해도 충분할 것 같은데, 양자화를 굳이 적용해야 할까요? 레이턴시 개선이 눈에 띄는 수준인가요, 아니면 비용 절감용인가요.
실제로 프로덕션에서 쓰시는 분들이 어떤 기준으로 판단하시는지 궁금합니다. 양자화하면서 성능 저하를 얼마나 감수하시는지도 궁금하네요.
추천 0 비추천 0