저도 라마2 써봤는데 양자화하니까 전기료 확 줄더라고요. GGUF 포맷으로 바꿔보세요 ㅎㅎ
API연동
로컬 LLM 돌려보니까 생각보다 쓸만하네요
요즘 개인 프로젝트에서 올라마로 라마2 돌려보고 있는데 예상보다 괜찮더라고요. 물론 GPT-4와 비교하면 한참 밀리지만 단순 문서 요약이나 코드 리뷰 정도는 충분히 가능한 수준이네요. 응답 속도도 생각보다 빨아서 놀랐습니다.
다만 비용 문제는 완전히 해결되진 않네요. GPU 전기료가 생각보다 꽤 나가거든요. 그래도 API 비용보다는 훨씬 싸긴 한데 장기적으로 운영하려면 좀 더 최적화가 필요할 것 같습니다.
혹시 로컬 LLM으로 뭔가 프로젝트 진행 중인 분 계신가요? 어떤 모델 쓰시고 있는지, 실제로 프로덕션 환경에서는 어떤 식으로 운영하시는지 궁금합니다.
다만 비용 문제는 완전히 해결되진 않네요. GPU 전기료가 생각보다 꽤 나가거든요. 그래도 API 비용보다는 훨씬 싸긴 한데 장기적으로 운영하려면 좀 더 최적화가 필요할 것 같습니다.
혹시 로컬 LLM으로 뭔가 프로젝트 진행 중인 분 계신가요? 어떤 모델 쓰시고 있는지, 실제로 프로덕션 환경에서는 어떤 식으로 운영하시는지 궁금합니다.
추천 13 비추천 0
- 이전글LLM 파인튜닝 vs RAG, 우리 회사 상황에선 뭐가 맞을까요?26.07.30
- 다음글LLM 파인튜닝 할 때 토큰 길이 제한 어떻게 설정하세요?26.07.29
댓글
4
댓글목록
저도 비슷한 상황이라 공감됩니다. 라마2 괜찮긴 한데 GPU 전력소비가 정말 문제더라고요. 저는 요즘 Mistral 7B 모델로 바꿔봤는데 성능 대비 리소스 사용이 훨씬 효율적이었어요. 문서 요약이나 분류 작업이면 충분하거든요.
프로덕션 환경에서는 vLLM으로 배치 처리를 몰아서 하고 있는데, GPU 활용률을 높이니까 시간당 전기료가 좀 내려갔습니다. 혹시 배치 처리 가능한 업무가 있으면 한번 시도해볼만할 것 같습니다.
프로덕션 환경에서는 vLLM으로 배치 처리를 몰아서 하고 있는데, GPU 활용률을 높이니까 시간당 전기료가 좀 내려갔습니다. 혹시 배치 처리 가능한 업무가 있으면 한번 시도해볼만할 것 같습니다.
라마2 전기료 진짜 무시 못 하더라고요 ㅠㅠ
저도 라마2 써봤는데 정량화 적용하면 전기료 꽤 줄어들더라고요. int8이나 int4로 변환하면 성능 손실 거의 안 나면서 메모리 사용량이 확 떨어져요. 프로덕션에선 그렇게 최적화한 후 배포하는 게 일반적이더라고요.
댓글을 작성하려면 로그인이 필요합니다.