회사에서 민감한 데이터를 클라우드 API로 보낼 수 없어서 Ollama로 로컬 LLM 구축해봤어요. 처음엔 응답 속도 때문에 걱정했는데 생각보다 쓸만하더라고요.
Mistral 7B 기반으로 세팅했는데 GPU 없이도 CPU로 돌아가고, 간단한 문서 분류나 요약 작업은 GPT-4 수준은 아니지만 충분히 괜찮은 결과물이 나옵니다. 물론 파인튜닝 없이는 도메인 특화 작업은 한계가 있긴 해요.
다만 초기 세팅하고 각 작업별로 프롬프트 튜닝하는 데 생각보다 시간이 걸렸어요. 프라이빗 환경에서 돌려야 한다면 고려해볼 가치가 있다고 봅니다. 같은 상황에 있으신 분들 어떻게 하고 계신가요?
추천 6 비추천 0