최근 프로젝트에서 RAG 파이프라인 구축하다가 청킹 방식 때문에 한참 고민했어요. 보통 fixed-size chunking만 쓰다가 이번엔 semantic chunking을 시도해봤는데, 검색 성능이 확실히 달라지더라고요.
특히 금융 문서 같은 구조화된 텍스트는 문장 길이 고정보다 논리적 단위로 나누는 게 임베딩 품질이 훨씬 좋았습니다. 다만 처리 시간이 좀 더 걸리긴 했어요. chunk size랑 overlap을 어떻게 설정하느냐에 따라서도 결과가 꽤 달라지는 것 같은데, 혹시 프로덕션 환경에서 이런 부분을 어떻게 최적화하고 계신지 궁금합니다.