요즘 클라우드 기반 API 쓰다가 처음으로 로컬에서 LLM 돌려봤거든요. 맥북 프로 M3에 Ollama 깔고 Llama 2 돌렸는데 신기하더라고요.
당연히 GPT-4 수준은 아니지만 간단한 코드 리뷰나 문서 작성 수준이면 충분히 쓸 만했어요. 특히 좋은 점은 응답이 정말 빠르다는 거예요. API 호출할 때처럼 네트워크 레이턴시가 없으니까 체감상 훨씬 매끄럽다는 느낌이 들었습니다.
그런데 아직도 헷갈리는 부분들이 많네요. 메모리 관리는 어떻게 하는 게 최적일까, 양자화는 뭐가 다를까 이런 것들이요. 그래프 구조부터 attention mechanism까지 이해하려니 복잡하더라고요. 공식 문서는 너무 기술적이라 초보자한테는 힘들고...
혹시 로컬 LLM으로 실제 프로젝트를 진행 중이신 분 계신가요? 성능 최적화할 때 어떤 팁이 있을까 궁금합니다. 특히 토큰 길이 제한이나 컨텍스트 윈도우 설정하는 부분이 어렵네요.
그리고 요즘 나오는 Mistral이나 Neural Chat 같은 모델들도 직접 해본 분 있으면 비교 후기 좀 부탁드려요. 비용이 안 들어가니까 계속 실험해볼 생각인데 어디서부터 시작하면 좋을지 모르겠어요.
추천 4