LLM 파인튜닝 vs RAG, 실무에서 어떤 걸 먼저 시도해야 할까요?

요즘 회사에서 자사 데이터로 뭔가 LLM 기반 솔루션을 만들어야 하는데, 파인튜닝을 할지 RAG를 할지 고민이 많네요. 둘 다 장단점이 있는 것 같은데 실무에서 경험해보신 분들의 의견이 궁금합니다.

지금까지 찾아본 자료들을 보면 RAG가 최근 대세인 것처럼 보여요. 비용도 싸고 구현도 빠르고, 최신 데이터를 반영하기 쉽다고들 하더라고요. 근데 정말로 파인튜닝이 필요 없는 건지 의문이 들어요. 특히 우리 도메인에 특화된 표현이나 추론 방식이 필요한 경우엔 파인튜닝이 더 효과적일 수도 있지 않을까요?

파인튜닝은 학습 비용도 상당하고, 좋은 학습 데이터셋을 만들려면 꽤 고생해야 한다는 게 넘어야 할 산인 것 같아요. 그리고 모델을 업데이트할 때마다 다시 학습시켜야 한다는 점도 운영 관점에서 번거로워 보이고요. 하지만 어느 정도 규모 있는 조직에서 장기적으로 운영한다면 파인튜닝의 가치가 있을 수도 있겠다는 생각도 들어요.

실제로 둘을 다 시도해본 분들이 계신가요? 어느 순간에 파인튜닝으로 전환했는지, 아니면 RAG만으로 충분했는지 궁금합니다. 우리 경우 일단 RAG로 시작하는 게 맞을 것 같긴 한데, 나중에 성능 향상이 필요할 때 파인튜닝으로 가는 게 일반적인 경로인지도 궁금하네요.

의견이나 경험담 있으시면 나눠주세요.