요즘 장문 문서 분석 작업에 GPT-4랑 Claude 돌려보고 있는데, 토큰 제한이 걸리는 상황이 자주 생기더라고요. 특히 30페이지 이상의 PDF를 한 번에 분석해야 할 때 문제가 돼요. 청크로 나눠서 하면 컨텍스트가 깨져서 분석 품질이 떨어지고, 그렇다고 유료 API 열심히 쓰면 비용이 장난 아니거든요.
혹시 이런 상황에서 토큰 길이 문제를 우아하게 처리하는 방법이 있나요? 요약 먼저 하고 돌리는 방식도 있을 텐데, 그럼 정보 손실이 생길까봐 걱정되고요. 혹은 다른 모델이나 솔루션을 쓰는 게 나을까요?