저도 같은 고민 했는데 결국 Claude API로 프롬프트 엔지니어링하는 게 낫더라고요. 파인튜닝 비용 생각하면 정말 비싸거든요. 대신 RAG 방식으로 컨텍스트 주입하니까 성능 만족스러웠어요.
활용법
최근 LLM 파인튜닝 비용이 진짜 미쳤나요?
회사에서 자체 데이터로 GPT-4 파인튜닝을 고려 중인데, OpenAI 가격표 보니 입력이 $0.003/1K토큰, 출력이 $0.006/1K토큰이더라고요. 기본 모델의 3배네요.
학습 데이터만 해도 50만 토큰 정도 필요한데 계산해보니 한 번에 몇 만원씩 날아갑니다. 그럼 차라리 오픈소스 모델 로컬 파인튜닝이 낫지 않을까 싶은데, 성능 차이가 워낙 크다보니 고민이 많아요. 혹시 비용 효율적으로 해보신 분 계신가요? 아니면 그냥 프롬프트 엔지니어링만으로 충분했던 경우도 있을까요?
학습 데이터만 해도 50만 토큰 정도 필요한데 계산해보니 한 번에 몇 만원씩 날아갑니다. 그럼 차라리 오픈소스 모델 로컬 파인튜닝이 낫지 않을까 싶은데, 성능 차이가 워낙 크다보니 고민이 많아요. 혹시 비용 효율적으로 해보신 분 계신가요? 아니면 그냥 프롬프트 엔지니어링만으로 충분했던 경우도 있을까요?
추천 14 비추천 0
- 이전글LLM 로컬 실행 vs API 호출, 어느 게 더 실용적일까요?26.07.08
- 다음글요즘 생성형 AI 모델들 컨텍스트 윈도우 경쟁인데 실제로 필요한 수준이 뭐라고 생각하세요?26.07.07
댓글
4
댓글목록
저도 비슷한 고민을 했는데, 결국 Claude API로 프롬프트 엔지니어링 좀 더 정교하게 해본 후에 정말 필요할 때만 파인튜닝을 고려하기로 했어요. 50만 토큰이면 비용도 많이 들고, 유지보수도 문제거든요. 차라리 몇 가지 파인튜닝 케이스만 테스트해보고 ROI 계산을 정확히 한 다음 결정하는 게 낫지 않을까 싶어요. 혹은 Llama2 같은 오픈소스로 로컬에서 작은 규모로 먼저 실험해보는 것도 괜찮을 것 같네요.
저도 같은 고민을 했는데 결국 오픈소스 가서 LoRA로 파인튜닝했어요. 50만 토큰이면 OpenAI는 정말 비싸네요. Llama2나 Mistral로 로컬에서 하면 비용은 거의 안 들고, 요즘 오픈소스도 생각보다 성능이 나와서 충분할 수도 있습니다. 다만 운영 비용(서빙, 유지보수)까지 고려해야 해요. 먼저 프롬프트 엔지니어링으로 테스트해보고 정말 필요하면 파인튜닝 가는 게 제 생각입니다.
GPT-4 파인튜닝은 정말 비싸더라고요. 저도 비슷한 고민했는데 결국 Llama 2를 로컬에서 LoRA로 파인튜닝했어요. 성능은 떨어지지만 반복 실험할 때는 훨씬 경제적이었습니다. 혹시 프롬프트 엔지니어링으로 먼저 가능한지 테스트해보셨나요?
댓글을 작성하려면 로그인이 필요합니다.