요즘 Claude나 GPT-4로 긴 문서 분석 작업을 자주 하는데, 토큰 제한이 은근 걸린다더라고요. 특히 200페이지 이상 되는 자료를 한 번에 집어넣으려고 하면 자꾸 밀려나가서 여러 번 쪼개서 돌려야 하거든요.
물론 토큰 수를 줄이면 되지만, 그러면 컨텍스트 손실이 생길 수밖에 없고 분석 품질이 떨어지는 게 눈에 띄어요. 더 긴 컨텍스트 윈도우를 지원하는 모델들도 있다고 들었는데, 대신 응답 속도가 느려진다거나 가격이 극도로 올라간다고 하더라고요.
이게 진짜 기술적으로 해결 불가능한 문제인지, 아니면 비용 때문에 일부러 제한해두는 건지 좀 궁금합니다. RAG를 쓰면 나아진다고 하는데 추가 인프라 구축이 필요해서 개인으로선 좀 번거롭기도 하고요.
혹시 같은 문제로 고생하시는 분 계신가요? 그리고 이 문제를 어떻게 우회하고 있는지 궁금해요. 토큰 길이 외에 다른 방법이 있거나, 특정 모델이 이 부분에서 더 낫다면 알려주시면 감사하겠습니다.
추천 10 비추천 0