사내 프로젝트로 자체 도메인 데이터로 모델 파인튜닝을 해야 하는데, 요즘 API 비용이 너무 올라가 있더라고요. GPT-4로 파인튜닝 하려니 토큰당 비용이 일반 호출의 2배라니 ㅎㅎ 작은 프로젝트도 금방 수천 달러 넘어갑니다.
그래서 요새는 오픈소스 모델로 눈을 돌리고 있는데, Llama 2나 Mistral 같은 걸로 자체 서버에서 파인튜닝 하는 게 낫지 않나 싶어요. 물론 자체 인프라 구축 비용이 따로 드니까 손익분기점이 있겠지만요.
다들 이런 상황에서 어떻게 처리하고 계세요? 회사에서 비용을 감당하시는 건지, 아니면 오픈소스로 가신 건지 궁금하네요.
추천 0 비추천 0