저도 Ollama로 Mistral 돌리고 있는데 양자화 정말 중요하더라고요. Q4_K_M으로 깔면 성능 손실 거의 없으면서 메모리는 확 줄어들어서 좋아요. 코드 리뷰나 문서화 작업할 때 오프라인이라 마음 놓고 쓸 수 있다는 게 최대 장점인 것 같습니다.
오류해결
로컬 LLM 써보신 분 있나요? 성능이 생각보다 괜찮네요
요즘 Ollama로 Llama2 돌려보고 있는데 생각보다 쓸만하더라고요. 물론 클로드나 GPT-4 같은 건 아니지만, 간단한 코드 작성이나 문서 요약 같은 건 충분히 잘해요.
가장 좋은 점은 인터넷 연결이 없어도 되고 프롬프트가 서버에 저장 안 된다는 거예요. 회사에서 민감한 코드 분석할 때 정말 편하거든요. 다만 GPU 메모리를 꽤 잡아먹어서 처음엔 좀 답답했는데, 양자화 모델 깔고나니 괜찮아졌어요.
혹시 로컬 LLM 쓰시는 분 계신가요? 어떤 모델 쓰시고 실제로 업무에 도움 되세요?
가장 좋은 점은 인터넷 연결이 없어도 되고 프롬프트가 서버에 저장 안 된다는 거예요. 회사에서 민감한 코드 분석할 때 정말 편하거든요. 다만 GPU 메모리를 꽤 잡아먹어서 처음엔 좀 답답했는데, 양자화 모델 깔고나니 괜찮아졌어요.
혹시 로컬 LLM 쓰시는 분 계신가요? 어떤 모델 쓰시고 실제로 업무에 도움 되세요?
추천 12 비추천 0
- 이전글최근 LLM들 Context Window 늘어났는데 실제로 효과 있나요?26.05.01
- 다음글LLM 컨텍스트 윈도우 늘어나는데 실제로 의미 있나요?26.04.26
댓글
3
댓글목록
저도 Ollama 써봤는데 정말 그래요. 양자화 모델 깔면 확실히 달라지더라고요. 회사 보안 때문에 로컬이 필수라 저도 요즘 Llama2 위주로 쓰고 있어요. 다만 응답 속도가 조금 아쉬울 때도 있긴 하네요.
저도 최근에 Mistral 7B로 비슷한 거 해봤는데 정말 쓸만하더라고요. 특히 보안이 중요한 부분에서는 진짜 강점이 맞아요. 다만 저도 처음엔 메모리 문제로 좀 헤맸었거든요.
양자화 모델 추천 감사합니다. GGUF 포맷 깔려고 했는데 어떤 거 쓰세요? 그리고 응답 속도는 어느 정도 나오나요? 제 경우 CPU로 돌리다 보니 답답했는데 양자화로 개선되는지 궁금하네요.
양자화 모델 추천 감사합니다. GGUF 포맷 깔려고 했는데 어떤 거 쓰세요? 그리고 응답 속도는 어느 정도 나오나요? 제 경우 CPU로 돌리다 보니 답답했는데 양자화로 개선되는지 궁금하네요.
댓글을 작성하려면 로그인이 필요합니다.