요즘 RAG 도입하는 회사들 많던데, 실무에서 써보니까 생각보다 복잡하더라고요. 물론 외부 문서 연결하면 답변이 조금 나아지긴 하는데, 결국 LLM 자체가 이상한 답변을 할 때는 RAG도 큰 소용이 없더라고요.
특히 retrieval 단계에서 관련 없는 문서가 많이 나올 때가 있어서, 오히려 모델을 더 헷갈리게 하는 것 같은 느낌이 들어요. 임베딩 모델을 바꿔보거나 top-k 값을 조정해봐도 한계가 있는 것 같고요.
혹시 프로덕션에서 RAG 잘 운영하시는 분 계신가요? hallucination을 실제로 측정하고 개선하는 방법이 뭔지 궁금합니다. 아니면 RAG 말고 다른 방식이 더 효과적인 건지도요.
추천 0 비추천 0