회사에서 비슷한 상황을 겪었는데, 결국 하이브리드로 가는 게 정답인 것 같아요. 초기엔 RAG로 빠르게 프로토타입을 만들고, 자주 반복되는 질문 패턴이 보이면 그 부분만 파인튜닝하는 식으로요. 500만 토큰은 파인튜닝 효과가 미묘한 규모라 RAG 먼저 시작해보시고, 트래픽이 안정되면 비용 분석해서 나중에 파인튜닝을 추가하는 게 현실적이더라고요.
파인튜닝
LLM 파인튜닝 vs RAG, 우리 회사 상황에선 뭐가 맞을까요?
요즘 회사에서 자체 도메인 데이터로 AI 기반 검색 시스템을 만들어야 하는데, 팀 내에서 의견이 갈려서 고민이 많네요. 일부는 GPT-4를 파인튜닝해야 한다고 주장하고, 다른 팀원들은 RAG가 더 현실적이라고 하거든요.
우리가 가진 데이터는 회사 내부 문서, 고객 피드백, 기술 스펙 같은 것들이 대략 500만 개 토큰 규모예요. 그리 큰 규모는 아닌데, 이 정도면 파인튜닝 효과가 있을까요? 일반적으로 파인튜닝은 최소 몇백만 토큰은 필요하다고 들었는데 정확하지 않아서요.
가격 측면에서 보면 RAG로 가면 매번 API 호출할 때마다 비용이 들고, 파인튜닝은 초기 투자는 크지만 이후 비용이 낮다고 알고 있어요. 근데 우리 트래픽이 예측 불가능한 상황이라 비용 추정이 쉽지 않습니다. 혹시 두 가지를 혼합해서 쓰는 경우도 있나요?
또 하나 걱정되는 게 파인튜닝하면 모델 업데이트가 필요할 때 다시 파인튜닝을 해야 하는데, RAG는 벡터 DB만 업데이트하면 된다는 점이에요. 우리 데이터가 자주 변하는 특성상 유지보수 비용도 고려해야 할 것 같은데, 이런 부분까지 고려했을 때 어떤 걸 선택해야 할까요?
혹시 비슷한 규모의 데이터로 실제 프로젝트 진행해보신 분 있으면 경험담 들려주세요. 뭐가 더 잘됐는지, 후회하는 부분이 뭔지 궁금합니다.
우리가 가진 데이터는 회사 내부 문서, 고객 피드백, 기술 스펙 같은 것들이 대략 500만 개 토큰 규모예요. 그리 큰 규모는 아닌데, 이 정도면 파인튜닝 효과가 있을까요? 일반적으로 파인튜닝은 최소 몇백만 토큰은 필요하다고 들었는데 정확하지 않아서요.
가격 측면에서 보면 RAG로 가면 매번 API 호출할 때마다 비용이 들고, 파인튜닝은 초기 투자는 크지만 이후 비용이 낮다고 알고 있어요. 근데 우리 트래픽이 예측 불가능한 상황이라 비용 추정이 쉽지 않습니다. 혹시 두 가지를 혼합해서 쓰는 경우도 있나요?
또 하나 걱정되는 게 파인튜닝하면 모델 업데이트가 필요할 때 다시 파인튜닝을 해야 하는데, RAG는 벡터 DB만 업데이트하면 된다는 점이에요. 우리 데이터가 자주 변하는 특성상 유지보수 비용도 고려해야 할 것 같은데, 이런 부분까지 고려했을 때 어떤 걸 선택해야 할까요?
혹시 비슷한 규모의 데이터로 실제 프로젝트 진행해보신 분 있으면 경험담 들려주세요. 뭐가 더 잘됐는지, 후회하는 부분이 뭔지 궁금합니다.
추천 13 비추천 0
- 이전글요즘 로컬 LLM 돌려보신 분들 어떤 거 쓰세요?26.08.01
- 다음글요즘 로컬 LLM 돌려보신 분 계신가요?26.07.17