요즘 클라우드 기반 API 비용이 자꾸만 올라가서 짜증나던 차에 로컬 LLM을 제대로 한번 돌려봤습니다. 지금까지는 그냥 "로컬은 느리고 품질 낮다"고만 생각했는데 실제로 써보니까 생각이 조금 바뀌었어요.
저는 RTX 4070 그래픽카드 있는 데스크톱에 Ollama로 Llama 2 70B 모델을 깔았는데요. 처음에는 진짜 느릴 줄 알았거든요. 근데 실제로 테스트해보니 일반적인 작업들은 꽤 빠르더라고요. 코드 리뷰나 간단한 문서 작성 같은 건 체감상 GPT-3.5 수준으로 동작합니다. 물론 추론 속도는 클라우드 API가 더 빠르지만, 배치 처리는 오히려 로컬이 낫더라고요.
문제는 VRAM 관리예요. 70B 모델을 풀로 로드하려면 42GB 정도가 필요한데, 제 카드는 12GB라서 quantization을 해야 했습니다. GGUF 포맷으로 8-bit 변환하니까 메모리 사용량이 절반 이상 줄어들었는데 성능 저하는 생각보다 크지 않았어요. 다만 응답 속도는 좀 느려졌습니다.
비용 대비 효율을 따져보면 월 API 비용이 100달러 이상 나가던 작업들은 로컬에서 처리하는 게 훨씬 경제적이네요. 초기 하드웨어 투자는 크지만 반복되는 비용이 없다는 게 큰 장점입니다. 다만 최신 모델이나 특수한 작업(이미지 생성 같은)은 여전히 API가 필요하다는 게 아쉬운 점입니다.
혹시 비슷하게 로컬 LLM 운영하시는 분 계신가요? 더 효율적인 설정이나 더 가벼운 모델 추천받고 싶네요. 특히 RTX 4070에서 돌릴 수 있으면서도 품질이 나쁘지 않은 모델이 있으면 정보 공유 부탁드립니다.