요즘 한 번쯤은 로컬에서 LLM을 돌려봐야 한다고 생각해서 올라마(Ollama) 설치해봤어요. 맥북 에이스 칩에서 미스트랄이랑 라마2 돌려봤는데 생각보다 꽤 쓸만하더라고요. 당연히 GPT-4랑 비교하면 한계가 있지만, 간단한 코드 작성이나 문서 분석 정도면 충분합니다.
다만 메모리 관리가 좀 까다로운 편이에요. 모델 크기를 잘못 고르면 시스템이 죽을 뻔한 경험도 있었고요. 그리고 응답 속도가 클라우드 기반 서비스에 비해 한두 배는 느립니다. 프라이버시가 중요한 작업에는 정말 좋지만, 빠른 응답이 필요하면 역시 클라우드가 낫네요.
혹시 로컬 LLM 오래 써보신 분 있으면 팁 좀 공유해주실 수 있을까요? 특히 최적화 관련해서요.
추천 9 비추천 0