요즘 회사에서 데이터 민감도 때문에 클라우드 기반 AI 못 쓰거든요. 그래서 그냥 로컬로 라마2 돌려봤는데 생각보다 괜찮더라고요. 물론 GPT-4 수준은 아니지만 코드 리뷰나 문서화 작업엔 충분히 쓸 만합니다.
처음엔 메모리 이슈로 좀 헤맸는데 양자화 모델 쓰니까 괜찮아졌어요. 8GB 정도면 실시간으로 돌릴 수 있는 정도네요. 다만 응답 속도가 좀 느린 건 감수해야 하는데 그게 가장 큰 단점인 것 같습니다.
혹시 로컬 LLM 써본 분 계신가요? 더 좋은 모델이나 팁 있으면 공유 부탁드려요.
추천 1 비추천 0