최근에 자체 문서 기반으로 RAG 시스템을 구축하고 있는데, 청킹 크기를 어떻게 설정할지 고민이 많네요. 처음엔 512 토큰으로 했다가 지금은 1024 토큰으로 바꿨는데, 검색 정확도가 확실히 달라지더라고요.
너무 작으면 문맥이 끊겨서 모델이 답을 못 찾는 것 같고, 크면 노이즈가 많아지는 느낌이 드네요. 특히 복잡한 기술 문서를 다룰 때 더 그런 것 같습니다. 혹시 이런 부분에서 정해진 기준이 있거나, 다른 분들은 어떻게 설정하고 계신지 궁금해요.
오버랩을 주는 게 도움이 되나요? 지금은 오버랩 안 주고 있는데 한 번 시도해봐야 할까 싶네요.
추천 0 비추천 0