요즘 Claude 200K, GPT-4 Turbo 128K 이렇게 컨텍스트 윈도우가 엄청 늘어났잖아요. 근데 실무에서 실제로 이 긴 컨텍스트를 활용할 수 있는 경우가 얼마나 있는지 궁금하네요.
물론 긴 문서 한 번에 분석하거나 여러 파일을 한 프롬프트로 처리할 수 있다는 건 좋은데, 토큰 소비도 많고 응답 시간도 늘어나는 거 같아요. 또 컨텍스트 길어질수록 모델이 중간 부분을 놓친다는 얘기도 들었거든요.
혹시 이런 큰 윈도우를 실제로 잘 활용하고 계신 분 있으신가요? 어떤 용도에서 효과를 봤는지 궁금합니다.
추천 2 비추천 0