요즘 회사 프로젝트에서 긴 PDF 문서들을 AI로 분석해야 하는데 토큰 제한이 정말 문제네요. 클로드는 200K까지 되긴 하는데 가격이 좀 비싸고, GPT-4는 128K인데도 비용이 장난 아니더라고요.
지금은 그냥 문서를 청크로 나눠서 각각 분석한 다음 결과를 합치는 방식으로 하고 있는데, 이게 맥락을 놓치는 경우가 자주 있습니다. 특히 앞뒤 페이지 연관성이 중요한 문서들에서요.
혹시 다른 방법 써보신 분 계신가요? 아니면 이 정도 제약은 그냥 감수하고 가는 게 현실인가요?
추천 4 비추천 0