RAG 시스템에서 청킹 크기를 어떻게 정하시나요?

따뜻한코더 2026.06.25 01:29 조회 382 추천 14 댓글 3건

회사에서 문서 기반 QA 챗봇을 만들고 있는데 RAG 구축할 때 청킹 크기 때문에 고민이 생겼어요. 지금은 그냥 1000 토큰 기준으로 나누고 있는데 검색 결과가 너무 길거나 때론 컨텍스트가 끊겨서 답변 품질이 떨어지는 것 같습니다.

다른 분들은 보통 어느 정도 크기로 청킹하세요? 겹침(overlap) 비율도 어떻게 설정하시는지 궁금해요. 혹시 문서 타입별로 다르게 가져가는 분 있으신가요? 기술 문서랑 일반 텍스트를 같은 기준으로 처리하는 게 맞는지도 모르겠네요.

레이턴시도 고려해야 되고 검색 정확도도 챙겨야 되고 하니까 균형점을 찾기가 어렵습니다. 실무에서는 보통 어떻게 하시는지 팁 있으면 공유해주세요.

댓글목록

오늘도살자

26-07-29 08:32

저도 요즘 이 문제로 삽질 중이에요 ㅠㅠ

GPT덕후하나

26-08-29 22:07

저도 1000 토큰으로 하다가 겹침 20% 정도 줄이니까 낫더라고요

GPT덕후하나

26-10-13 20:18

저도 비슷한 고민을 하다가 결국 문서 타입별로 다르게 가져가기로 했어요. 기술 문서는 섹션 단위로 끊고 일반 텍스트는 256~512 토큰 정도로 잘게 나누니까 검색 정확도가 올라갔습니다. 겹침은 20% 정도 두는데 컨텍스트 손실을 꽤 줄일 수 있더라고요.

목록으로