요즘 GPT-4나 클로드 같은 LLM을 프로젝트에 사용하고 있는데 토큰 제한이 생각보다 답답하네요. 특히 긴 문서를 분석해야 하거나 대화 히스토리가 쌓일 때 자꾸만 토큰을 계산하게 되더라고요.
지금 저는 우선순위 기반으로 문맥을 요약해서 넘기는 방식을 쓰고 있는데 역시 정보 손실이 발생할 수밖에 없어요. 최근 뉘앙스가 빠져서 응답 퀄리티가 떨어진 경험도 여러 번 있고요. RAG를 도입해볼까도 생각 중인데 추가 인프라도 필요하고 복잡도도 늘어나니까 망설여지네요.
그런데 생각해보니 토큰 길이가 늘어나고 있긴 한데 실제로 그게 문제 해결에 도움이 되는지 잘 모르겠어요. 좀 더 긴 컨텍스트가 항상 더 나은 결과를 주는 건 아닌 것 같거든요. 오버스무딩 같은 게 생길 수도 있을 것 같고.
혹시 실무에서 비슷한 문제 겪으신 분들 계신가요? 토큰 제한을 받으면서도 퀄리티를 유지하는 전략이 있으면 궁금해요. 특히 작은 팀에서 비용 효율적으로 운영하는 방법 있으면 팁 주세요.