요즘 ollama로 llama2랑 mistral 돌려보고 있는데 생각보다 쓸만하네요. 물론 gpt-4랑 비교하면 한참 밀리지만 간단한 코드 리뷰나 문서 작성 정도는 충분히 가능하더라고요.
특히 좋은 점은 인터넷 연결 안 돼도 되고 데이터가 밖으로 안 나간다는 거예요. 회사에서 보안 때문에 클라우드 ai 못 쓰는 분들한테는 진짜 괜찮은 대안인 것 같아요.
다만 gpu 메모리가 꽤 필요해서 제 24gb vram으로도 좀 버거울 때가 있어요. 더 큰 모델 돌리려면 결국 가장 비싼 부분이 하드웨어라는 생각이 들더라고요. 혹시 로컬 llm 쓰시는 분 계신가요? 팁이나 경험담 있으면 나눠주세요.
추천 0 비추천 0