저도 비슷한 고민을 했는데 결국 라마2로 가서 A100 한두 대 렌팅해서 했어요. 초기 투자는 크지만 장기적으로 GPT-4 파인튜닝보다 훨씬 쌀 거 같아요. 다만 양질의 학습 데이터 준비가 더 오래 걸린다는 게 함정입니다. ㅋㅋ
오류해결
요즘 LLM 파인튜닝 비용이 미쳤네요
회사 프로젝트로 GPT-4 기반으로 파인튜닝을 알아보고 있는데 가격이 정말 장난 아니더라고요. API 호출 비용도 비싼데 파인튜닝까지 하려니까 예산이 자꾸만 늘어나요. 혹시 더 저렴한 방법이 있을까 싶어서요.
그래서 오픈소스 모델로 로컬 파인튜닝을 고려 중인데 결국 인프라 비용과 시간이 얼마나 들 건지 가늠이 안 서요. 라마 2나 미스트랄 같은 걸로 해봐야 하나 싶긴 한데 성능 차이가 얼마나 클지 몰라서요.
비슷한 상황에서 선택하신 분들 많으실 것 같은데 어떻게 결정하셨나요? 실제 프로덕션에서 운영하시는 분 의견 들으면 도움이 될 것 같습니다.
그래서 오픈소스 모델로 로컬 파인튜닝을 고려 중인데 결국 인프라 비용과 시간이 얼마나 들 건지 가늠이 안 서요. 라마 2나 미스트랄 같은 걸로 해봐야 하나 싶긴 한데 성능 차이가 얼마나 클지 몰라서요.
비슷한 상황에서 선택하신 분들 많으실 것 같은데 어떻게 결정하셨나요? 실제 프로덕션에서 운영하시는 분 의견 들으면 도움이 될 것 같습니다.
추천 14 비추천 0
- 이전글RAG 시스템 구축하면서 느낀 거 공유합니다26.03.17
- 다음글제미나이, 클로드, 오픈AI 중 API 요금 어느게 더 싼가요?26.03.17
댓글
9
댓글목록
저도 비슷한 상황이었는데 결국 라마 2로 로컬에서 LoRA 파인튜닝하는 걸로 결정했어요. 초기 셋업 비용은 좀 들지만 반복 학습할 때는 훨씬 싸더라고요. 다만 GPT-4 수준의 성능을 기대하면 안 되고 특정 도메인 작업에만 효과 있다는 건 미리 알아두세요. 프로덕션이라면 정확도 검증에 시간을 충분히 잡아야 합니다.
저도 비슷한 상황을 겪었는데 결국 라마2로 가서 정답이었어요. GPT-4 파인튜닝은 진짜 비싼데 우리 use case 성능 차이가 생각보다 크지 않더라고요. 초기 셋업은 시간이 걸리지만 한 번 구축하면 유지비는 훨씬 싸거든요. 데이터 품질이 좋으면 오픈소스도 충분히 잘 동작합니다.
파인튜닝 비용 정말 미쳤죠 ㅠㅠ
저도 비슷한 상황을 겪었는데 결국 오픈소스로 가는 게 맞더라고요. GPT-4 파인튜닝은 정말 비용이 장난 아니거든요. 라마 2로 시작해봤는데 A100 하나 렌탈로 일주일 정도면 충분했어요. 성능은 당연히 GPT-4 대비 떨어지지만 도메인 특화 작업이면 큰 차이 없었습니다. 미스트랄도 요즘 평가가 좋던데 무게도 가볍고 토크 가격도 저렴해서 고려해볼 만합니다. 결국 프로덕션 요구사항에 따라 결정하는 게 핵심이에요. 정확도가 99% 필요하면 GPT-4 쓰고 85% 정도면 충분하면 오픈소스로 가세요.
저도 비슷한 고민 중인데 결국 LoRA로 GPT-4 파인튜닝하기로 했어요. 전체 파인튜닝보다 훨씬 저렴하거든요. 라마는 성능 차이가 꽤 크더라고요.
저도 같은 상황이라 공감이 확 오네요 ㅠㅠ
라마 2로 해봤는데 성능은 확실히 떨어지더라고요 ㅠㅠ
저도 비슷한 고민을 했는데 결국 라마 2로 시작했어요. 초기 파인튜닝 비용은 확실히 저렴한데 문제는 인프라거든요. GPU 렌트비가 생각보다 계속 들어가더라고요. 그래서 지금은 프롬프트 엔지니어링으로 최대한 조정한 후 필요한 부분만 파인튜닝하는 하이브리드 방식으로 가고 있습니다. GPT-4 파인튜닝과 라마 2 비교하면 정확도 차이는 도메인에 따라 다른데 금융이나 법률처럼 정확도가 중요하면 GPT-4가 낫더라고요. 비용과 성능을 따져보면 양쪽 다 해볼 가치가 있을 것 같습니다.
댓글을 작성하려면 로그인이 필요합니다.