요즘 Ollama로 Llama2 돌려보고 있는데 생각보다 쓸만하더라고요. 물론 클로드나 GPT-4 같은 건 아니지만, 간단한 코드 작성이나 문서 요약 같은 건 충분히 잘해요.
가장 좋은 점은 인터넷 연결이 없어도 되고 프롬프트가 서버에 저장 안 된다는 거예요. 회사에서 민감한 코드 분석할 때 정말 편하거든요. 다만 GPU 메모리를 꽤 잡아먹어서 처음엔 좀 답답했는데, 양자화 모델 깔고나니 괜찮아졌어요.
혹시 로컬 LLM 쓰시는 분 계신가요? 어떤 모델 쓰시고 실제로 업무에 도움 되세요?
추천 4 비추천 0