요즘 RAG 시스템 만들고 있는데 chunk size 설정에서 계속 헷갈려요. 보통 256부터 1024까지 다양하게 쓰더라고요.
일단 작은 size(256)로 하면 의미 단위로 쪼개지긴 하는데 token 낭비가 심할 것 같고, 큰 size(1024)로 하면 컨텍스트 윈도우는 효율적이지만 관련 없는 정보까지 섞일 가능성이 높아 보여요. 지금 LLM은 Claude Opus 쓰고 있습니다.
혹시 실무에서는 어떤 기준으로 chunk size를 정하세요? 도메인별로 다르게 적용하시는 건가요?
추천 0 비추천 0