저도 비슷한 고민을 했는데 결국 라마2로 가서 A100 한두 대 렌팅해서 했어요. 초기 투자는 크지만 장기적으로 GPT-4 파인튜닝보다 훨씬 쌀 거 같아요. 다만 양질의 학습 데이터 준비가 더 오래 걸린다는 게 함정입니다. ㅋㅋ
오류해결
요즘 LLM 파인튜닝 비용이 미쳤네요
회사 프로젝트로 GPT-4 기반으로 파인튜닝을 알아보고 있는데 가격이 정말 장난 아니더라고요. API 호출 비용도 비싼데 파인튜닝까지 하려니까 예산이 자꾸만 늘어나요. 혹시 더 저렴한 방법이 있을까 싶어서요.
그래서 오픈소스 모델로 로컬 파인튜닝을 고려 중인데 결국 인프라 비용과 시간이 얼마나 들 건지 가늠이 안 서요. 라마 2나 미스트랄 같은 걸로 해봐야 하나 싶긴 한데 성능 차이가 얼마나 클지 몰라서요.
비슷한 상황에서 선택하신 분들 많으실 것 같은데 어떻게 결정하셨나요? 실제 프로덕션에서 운영하시는 분 의견 들으면 도움이 될 것 같습니다.
그래서 오픈소스 모델로 로컬 파인튜닝을 고려 중인데 결국 인프라 비용과 시간이 얼마나 들 건지 가늠이 안 서요. 라마 2나 미스트랄 같은 걸로 해봐야 하나 싶긴 한데 성능 차이가 얼마나 클지 몰라서요.
비슷한 상황에서 선택하신 분들 많으실 것 같은데 어떻게 결정하셨나요? 실제 프로덕션에서 운영하시는 분 의견 들으면 도움이 될 것 같습니다.
추천 14 비추천 0
댓글
8
댓글목록
저도 비슷한 상황이었는데 결국 라마 2로 로컬에서 LoRA 파인튜닝하는 걸로 결정했어요. 초기 셋업 비용은 좀 들지만 반복 학습할 때는 훨씬 싸더라고요. 다만 GPT-4 수준의 성능을 기대하면 안 되고 특정 도메인 작업에만 효과 있다는 건 미리 알아두세요. 프로덕션이라면 정확도 검증에 시간을 충분히 잡아야 합니다.
저도 비슷한 상황을 겪었는데 결국 라마2로 가서 정답이었어요. GPT-4 파인튜닝은 진짜 비싼데 우리 use case 성능 차이가 생각보다 크지 않더라고요. 초기 셋업은 시간이 걸리지만 한 번 구축하면 유지비는 훨씬 싸거든요. 데이터 품질이 좋으면 오픈소스도 충분히 잘 동작합니다.
파인튜닝 비용 정말 미쳤죠 ㅠㅠ
저도 비슷한 상황을 겪었는데 결국 오픈소스로 가는 게 맞더라고요. GPT-4 파인튜닝은 정말 비용이 장난 아니거든요. 라마 2로 시작해봤는데 A100 하나 렌탈로 일주일 정도면 충분했어요. 성능은 당연히 GPT-4 대비 떨어지지만 도메인 특화 작업이면 큰 차이 없었습니다. 미스트랄도 요즘 평가가 좋던데 무게도 가볍고 토크 가격도 저렴해서 고려해볼 만합니다. 결국 프로덕션 요구사항에 따라 결정하는 게 핵심이에요. 정확도가 99% 필요하면 GPT-4 쓰고 85% 정도면 충분하면 오픈소스로 가세요.
저도 비슷한 고민 중인데 결국 LoRA로 GPT-4 파인튜닝하기로 했어요. 전체 파인튜닝보다 훨씬 저렴하거든요. 라마는 성능 차이가 꽤 크더라고요.
저도 같은 상황이라 공감이 확 오네요 ㅠㅠ
라마 2로 해봤는데 성능은 확실히 떨어지더라고요 ㅠㅠ
댓글을 작성하려면 로그인이 필요합니다.