요즘 LLM에 자사 데이터를 연결하려고 RAG 시스템을 만들고 있는데, 문서 청킹 부분에서 자꾸 막히네요. 고정 크기로 청킹하니까 문맥이 끊어지는 경우가 많고, 겹치게 하니까 중복된 검색 결과가 너무 많이 나오더라고요.
지금은 의미론적 청킹(semantic chunking)을 시도해보고 있는데, 계산 비용이 생각보다 크다는 게 문제입니다. 우리 팀이 작아서 비용 효율을 신경 써야 하는데 좋은 방법이 있을까요?
혹시 프로덕션 환경에서 청킹 쓰고 계신 분 계신가요? 어떤 방식으로 하고 있는지, 그리고 임베딩 모델은 뭘 쓰시는지 궁금합니다.
추천 0 비추천 0