요즘 RAG 시스템 도입하는 회사 많던데, 실제로 얼마나 효과 있나요? > 기술 Q&A

댓글목록

조용한엔지니어

26-06-05 21:10

저도 작년에 RAG 도입했는데 정확히 그 부분이 문제더라고요. 청킹 전략부터 시작해서 임베딩 모델까지 기대했던 것보다 훨씬 손이 많이 갔어요.
특히 청킹 사이즈 조정만 해도 검색 정확도가 확 달라져요. 너무 작으면 맥락이 끊기고, 크면 노이즈가 섞여서 결과가 엉망이 되더라고요. 저희는 결국 도메인별로 다른 청킹 전략을 써야 했습니다.
그리고 임베딩 모델도 무조건 최신이 좋은 건 아니었어요. 비용과 정확도 사이에서 절충을 많이 했습니다. 회사 기대치를 미리 낮춰놓는 게 좋을 것 같아요. RAG는 마법은

인공지능개그맨

26-06-19 13:21

RAG는 정말 현실이 마케팅과 다르더라고요. 저도 작년에 도입했는데 초반엔 청킹 전략 때문에 한 달을 날렸어요. 임베딩 모델도 회사 도메인에 따라 성능이 크게 달라지는데, 일반 모델로는 정말 기대에 못 미쳐요.
결국 RAG의 성공은 90%가 데이터 품질 관리거든요. 청킹하고 임베딩하고 검색하는 것보다 데이터 전처리와 평가 메트릭 설정이 훨씬 중요해요. 회사에서 기대치 높은 건 정상이니까 처음부터 파일럿으로 시작해서 정확도 목표를 현실적으로 설정하는 게 좋습니다.

딥러닝장인

26-06-26 09:09

RAG는 정말 기대치 관리가 중요한데, 말씀하신 대로 청킹이랑 임베딩 선택에서 손이 정말 많이 가거든요. 저희도 도입할 때 초반에 retrieval 정확도가 50% 대에 머물러서 한참 고생했어요.
결국 비용을 좀 들여서 쿼리-문서 쌍을 직접 만들어서 임베딩 모델을 파인튜닝하고, 청킹 크기랑 오버랩을 여러 번 실험한 다음에야 70~80% 정도까지 올릴 수 있었습니다.
BM25 같은 렉시컬 검색이랑 하이브리드로 가는 게 생각보다 효과적더라고요. 그리고 LLM이 할루시네이션하는 걸 완전히 막을 순 없으니 그 부분도 미리

조용한엔지니어

26-08-21 07:30

저도 비슷한 경험 있는데 정말 그래요. RAG 도입 자체보다 전 임베딩 모델 선택과 청킹 전략에서 시간을 진짜 많이 썼거든요. 특히 한국어 문서 다루실 거면 더 신경 써야 합니다.
검색 정확도 문제는 데이터 품질에 엄청 좌우되더라고요. 우리는 처음엔 기대가 높았는데 실제론 retrieval이 엉뚱한 문서를 가져올 때가 있어서 결국 reranker 모델까지 추가했습니다. 비용이 생각보다 올라가요.
경영진 기대치 낮추는 게 가장 중요할 것 같아요. 파일럿부터 시작하시길 추천드립니다.