저도 비슷한 상황인데 quantization 해서 돌려보니 메모리 훨씬 줄더라고요. mistral을 4bit로 깔면 8gb 정도면 충분하더라고요. 시간이 좀 걸리긴 하지만 회사 보안 정책상 필요하면 충분히 괜찮은 대안인 것 같습니다.
오류해결
로컬 LLM 돌려보니 생각보다 괜찮더라고요
요즘 ollama로 llama2랑 mistral 돌려보고 있는데 생각보다 쓸만하네요. 물론 gpt-4랑 비교하면 한참 밀리지만 간단한 코드 리뷰나 문서 작성 정도는 충분히 가능하더라고요.
특히 좋은 점은 인터넷 연결 안 돼도 되고 데이터가 밖으로 안 나간다는 거예요. 회사에서 보안 때문에 클라우드 ai 못 쓰는 분들한테는 진짜 괜찮은 대안인 것 같아요.
다만 gpu 메모리가 꽤 필요해서 제 24gb vram으로도 좀 버거울 때가 있어요. 더 큰 모델 돌리려면 결국 가장 비싼 부분이 하드웨어라는 생각이 들더라고요. 혹시 로컬 llm 쓰시는 분 계신가요? 팁이나 경험담 있으면 나눠주세요.
특히 좋은 점은 인터넷 연결 안 돼도 되고 데이터가 밖으로 안 나간다는 거예요. 회사에서 보안 때문에 클라우드 ai 못 쓰는 분들한테는 진짜 괜찮은 대안인 것 같아요.
다만 gpu 메모리가 꽤 필요해서 제 24gb vram으로도 좀 버거울 때가 있어요. 더 큰 모델 돌리려면 결국 가장 비싼 부분이 하드웨어라는 생각이 들더라고요. 혹시 로컬 llm 쓰시는 분 계신가요? 팁이나 경험담 있으면 나눠주세요.
추천 13 비추천 0
- 이전글로컬 LLM으로 RAG 구축해본 후기26.08.25
- 다음글Claude 3.5 Sonnet으로 코드 리팩토링 해봤는데 생각보다 괜찮네요26.08.23
댓글
3
댓글목록
저도 ollama 써봤는데 정말 24gb도 부족하더라고요 ㅠㅠ
저도 ollama로 mistral 돌리는데 vram 문제 진짜 크더라고요 ㅠㅠ
댓글을 작성하려면 로그인이 필요합니다.