요즘 GPT-4 터보, 클로드 3, 젤미나 등등 모두 컨텍스트 윈도우를 자꾸만 늘리고 있더라고요. 100K, 200K 이렇게 말이에요. 근데 실제로 쓸 때는 그렇게까지 필요한가 싶거든요.
저도 처음엔 "오 많을수록 좋지"라고 생각했는데, 실제로는 긴 문맥에서 토큰 소비가 어마어마하다는 걸 깨달았어요. 게다가 품질도 확실히 떨어지더라고요. 짧고 명확한 프롬프트가 훨씬 낫던데요.
결국 마케팅이라고 봐도 괜찮을까요? 아니면 저만 잘못 활용하는 걸까요? 다들 어떻게 생각하시나요?
추천 8 비추천 0