저도 비슷한 상황인데 Phi-2 써보니까 괜찮더라고요. 파라미터가 적어서 노트북에서도 돌아가고 한국어 이해도 생각보다 나쁘지 않았어요. 다만 정확도는 Mistral이 조금 더 낫긴 한데 속도가 느려요.
양자화는 Q4_K_M으로 해놓으면 속도랑 품질 사이에 좋은 균형이 잡혀요. 한국어는 영어보다 약한 게 맞으니까 중요한 건 영어로 프롬프트 던지고 답변만 번역하는 방식도 생각해볼 만합니다.
정확도 중심이시라면 Mistral 7B 정도 해보세요. 조금 느릴 수 있지만 업무 자동화 수준에선 충분할 거예요.
양자화는 Q4_K_M으로 해놓으면 속도랑 품질 사이에 좋은 균형이 잡혀요. 한국어는 영어보다 약한 게 맞으니까 중요한 건 영어로 프롬프트 던지고 답변만 번역하는 방식도 생각해볼 만합니다.
정확도 중심이시라면 Mistral 7B 정도 해보세요. 조금 느릴 수 있지만 업무 자동화 수준에선 충분할 거예요.