회사 프로젝트에서 클로드 API 쓰다가 비용 문제로 로컬 모델 테스트를 시작했어요. Llama2랑 Mistral 돌려봤는데 확실히 응답 품질이 떨어지더라고요. 특히 한국어 처리할 때 문제가 심하고요.
그래도 프라이빗한 데이터 다룰 때는 로컬이 필수긴 한데, 정확도 손실을 어떻게 커버할지 고민이에요. 양자화는 속도가 늘어나지만 성능 저하가 또 신경 쓰이고요.
혹시 프로덕션에 로컬 LLM 도입하신 분 계신가요? 어떤 방식으로 해결하셨는지 궁금합니다.
추천 0 비추천 0