요즘 Llama 2 로컬에서 돌려보고 있는데 확실히 달라지더라고요. 클라우드 API 쓸 때는 응답 시간이 좀 있어도 괜찮은데, 로컬에서 돌리니까 지연이 거의 없어서 개발할 때 훨씬 쾌적하네요. 물론 GPU 메모리 먹는 건 어쩔 수 없고요.
코딩 관련 질문에는 아직 GPT-4보다는 떨어지는 느낌이긴 한데, 간단한 작업이나 문서 분석 같은 건 충분히 잘하더라고요. 특히 프라이빗한 데이터 갖고 테스트할 때는 로컬이 훨씬 편합니다.
혹시 이미 로컬 LLM 돌려보신 분 계신가요? 어떤 모델 쓰시는지, 실무에서도 쓸만한지 궁금하네요. 최적화 팁이 있으면 공유 부탁드립니다.
추천 1 비추천 0