저도 비슷한 상황을 겪고 있는데 결국 오픈소스로 방향을 틀었습니다. Llama 2 기반으로 LoRA 파인튜닝 하니까 A100 한두 장이면 충분하더라고요. 초기 인프라 셋업에 시간이 걸리지만 반복적인 파인튜닝을 여러 번 하는 상황이면 장기적으로는 훨씬 저렴합니다. 다만 모델 성능 자체는 GPT-4보다는 떨어질 수 있다는 점이 아쉽네요. 규모가 크다면 혼합 전략도 고려해봐도 좋을 것 같습니다.
파인튜닝
요즘 LLM 파인튜닝 비용이 진짜 미친 것 같은데
사내 프로젝트로 자체 도메인 데이터로 모델 파인튜닝을 해야 하는데, 요즘 API 비용이 너무 올라가 있더라고요. GPT-4로 파인튜닝 하려니 토큰당 비용이 일반 호출의 2배라니 ㅎㅎ 작은 프로젝트도 금방 수천 달러 넘어갑니다.
그래서 요새는 오픈소스 모델로 눈을 돌리고 있는데, Llama 2나 Mistral 같은 걸로 자체 서버에서 파인튜닝 하는 게 낫지 않나 싶어요. 물론 자체 인프라 구축 비용이 따로 드니까 손익분기점이 있겠지만요.
다들 이런 상황에서 어떻게 처리하고 계세요? 회사에서 비용을 감당하시는 건지, 아니면 오픈소스로 가신 건지 궁금하네요.
그래서 요새는 오픈소스 모델로 눈을 돌리고 있는데, Llama 2나 Mistral 같은 걸로 자체 서버에서 파인튜닝 하는 게 낫지 않나 싶어요. 물론 자체 인프라 구축 비용이 따로 드니까 손익분기점이 있겠지만요.
다들 이런 상황에서 어떻게 처리하고 계세요? 회사에서 비용을 감당하시는 건지, 아니면 오픈소스로 가신 건지 궁금하네요.
추천 13 비추천 0
- 이전글요즘 LLM 평가할 때 뭘 기준으로 보세요?26.06.24
- 다음글RAG 구현할 때 chunk size 어떻게 정하시나요?26.06.21
댓글
2
댓글목록
그래서 전 그냥 Llama 2로 가기로 했어요. 초반에 인프라 구축에 시간이 좀 걸리긴 했지만, 장기적으로는 훨씬 싸더라고요. 특히 데이터 규모가 커질수록 OpenAI 파인튜닝은 진짜 금전적으로 버티기 힘들더라고요.
다만 모델 성능 튜닝에는 시간이 더 들 수 있으니까, 그걸 감수할 수 있으면 오픈소스 추천드립니다. 프롬프트 엔지니어링도 중요해지고요.
다만 모델 성능 튜닝에는 시간이 더 들 수 있으니까, 그걸 감수할 수 있으면 오픈소스 추천드립니다. 프롬프트 엔지니어링도 중요해지고요.
댓글을 작성하려면 로그인이 필요합니다.