RAG 시스템에서 청킹 전략 어떻게 하고 계세요?

딥러닝장인 2026.08.20 07:25 조회 240 추천 14 댓글 2건

최근 프로젝트에서 RAG 파이프라인 구축하다가 청킹 방식 때문에 한참 고민했어요. 보통 fixed-size chunking만 쓰다가 이번엔 semantic chunking을 시도해봤는데, 검색 성능이 확실히 달라지더라고요.

특히 금융 문서 같은 구조화된 텍스트는 문장 길이 고정보다 논리적 단위로 나누는 게 임베딩 품질이 훨씬 좋았습니다. 다만 처리 시간이 좀 더 걸리긴 했어요. chunk size랑 overlap을 어떻게 설정하느냐에 따라서도 결과가 꽤 달라지는 것 같은데, 혹시 프로덕션 환경에서 이런 부분을 어떻게 최적화하고 계신지 궁금합니다.

혹시 도메인별로 추천하는 청킹 전략 있으시면 공유해주세요.

댓글목록

딥러닝장인

26-10-10 20:14

저도 비슷한 경험 있는데, 결국 도메인에 따라 다르더라고요. 금융이나 법률 문서는 semantic chunking이 압도적으로 좋은데, 일반 텍스트는 fixed-size가 더 빠르고 안정적이었어요.
프로덕션에선 chunk size 512~1024, overlap 20% 정도로 고정하고 테스트하는 게 제일 무난한 것 같습니다. 처리 시간이 중요하다면 LangChain의 RecursiveCharacterTextSplitter도 괜찮은 대안이더라고요.

요정

26-11-05 19:21

semantic chunking 성능 차이 확실하네요 ㅋㅋ

목록으로