LLM 토큰 길이 제한 우회하는 방법들 실제로 효과 있나요?

요즘 GPT-4나 Claude 같은 LLM 쓰다 보면 자꾸 토큰 제한에 걸리더라고요. 특히 긴 문서 분석이나 코드 리뷰할 때 답답한데, 이걸 우회하거나 효율적으로 처리하는 방법들이 있다고 들어서 정리해봤습니다.

가장 흔한 방법이 요약 후 전달인데, 원본 내용을 너무 많이 손실할 수 있다는 게 문제더라고요. 특히 기술 문서 같이 정밀한 정보가 필요한 경우엔 요약만으로는 부족한 경우가 많습니다. 그래도 실무에서는 제일 현실적인 방법인 것 같아요.

다른 방법으로는 청킹(chunking) 기법이 있는데, 긴 문서를 작은 단위로 나눠서 여러 번 요청하는 거거든요. 예를 들어 100페이지짜리 보고서를 10개 섹션으로 나눠서 각각 분석한 다음 결과를 종합하는 식이죠. 이 방법이 정확도는 나은데 시간과 비용이 좀 늘어나는 게 단점입니다. API 호출이 많아지니까요.

최근에는 RAG(Retrieval Augmented Generation) 기반 솔루션들도 많이 나오고 있긴 한데, 정말 필요한 게 아니면 오버 엔지니어링 같다는 생각도 들어요. 간단한 용도면 그냥 요약이나 청킹으로 충분한데 자꾸 복잡한 걸로 가려고 하는 거 같아서요.

실제 현업에서 이 문제 어떻게 대응하고 계신가요? 특히 대용량 데이터 처리할 때 비용 효율적으로 하는 팁이 있으면 궁금합니다.