회사 보안 때문에 클라우드 기반 AI 모델은 못 쓰는 상황이라서 로컬에서 돌릴 수 있는 LLM을 찾고 있는데 선택지가 너무 많더라고요. Ollama로 라마2 돌려봤는데 응답 속도가 생각보다 좋지 않았습니다. 회사 노트북이 별로 좋은 사양도 아니라서 그런 것 같기도 하고요.
요즘 따라 LLaMA 2, Mistral, Phi 같은 오픈소스 모델들이 계속 나오고 있는데 실제로 코딩이나 기술 문제 해결할 때 어떤 모델이 가장 실용적인지 궁금합니다. 파라미터 크기도 다 다르고 양자화 레벨도 다양해서 뭘 선택해야 할지 모르겠어요.
특히 한국어 지원 문제도 걱정이네요. 한국어로 프롬프트 입력했을 때 제대로 이해하고 답변하는 모델이 있는지, 아니면 영어로만 써야 하는지도 확인하고 싶습니다. 혹시 로컬 환경에서 써본 경험이 있으신 분들 계신가요? 실제 사용했을 때 느낀 점이나 추천하는 조합이 있으면 알려주세요.
참고로 저희 조직은 개발팀이 아니라 업무 자동화 목적으로 쓸 예정이라서 생성 속도보다는 정확도가 더 중요합니다. 혹시 로컬 환경 구축 팁이나 피해야 할 실수들도 있으면 공유 부탁드립니다.