RAG가 생각보다 훨씬 효율적이더라고요. 저도 처음엔 파인튜닝으로 가려다가 RAG + 프롬프트 엔지니어링 조합으로 바꿨는데 비용은 1/10 수준이면서 정확도는 오히려 더 나았어요. 데이터셋 구축하는 게 핵심이긴 한데 파인튜닝 데이터 준비하는 것보다는 훨씬 빠릅니다.
활용법
요즘 LLM 파인튜닝 비용이 너무 비싼 것 같은데 다른 방법 없나요?
프로젝트에서 특정 도메인용 모델이 필요해서 GPT-4 파인튜닝을 알아봤는데 가격이 정말 무섭더라고요. 데이터도 적당히 준비해야 하고 비용도 비용인데 결과가 확실할 것 같지 않아서 고민이 됩니다.
그래서 요즘은 프롬프트 엔지니어링이나 RAG로 우회하는 쪽을 생각 중인데 실제로 이 방법들이 파인튜닝 대체재가 될 만큼 효과 있나요? 물론 모델 크기나 상황에 따라 다르겠지만 누가 경험해본 분이 있으면 어떤 식으로 접근했는지 궁금합니다.
그래서 요즘은 프롬프트 엔지니어링이나 RAG로 우회하는 쪽을 생각 중인데 실제로 이 방법들이 파인튜닝 대체재가 될 만큼 효과 있나요? 물론 모델 크기나 상황에 따라 다르겠지만 누가 경험해본 분이 있으면 어떤 식으로 접근했는지 궁금합니다.
추천 1 비추천 0