저도 비슷한 상황이라 공감이 많이 되네요. 저는 llama2로 테스트 중인데 mistral이 코드 쪽에선 좀 더 낫다는 평가들이 많더라고요. 동의하는 부분은 토큰 수 증가에 따른 지연인데, 이게 배치 처리로 어느 정도 보완은 되지만 실시간성이 필요한 곳엔 한계가 있더라고요. 프로덕션에 쓰려면 결국 캐싱이나 프롬프트 최적화가 필수인 것 같습니다. 혹시 quant 버전 테스트해보셨어요? Q4나 Q5로 내려가면 속도는 좀 나은데 정확도 트레이드오프가 생기거든요.