요즘 Claude 200K, GPT-4 Turbo 128K 이렇게 컨텍스트 윈도우가 자꾸 늘어나는데, 실제로 쓰다 보면 그렇게까지 길게 넣을 일이 없더라고요. 토큰 비용도 올라가고요.
혹시 제가 잘못 활용하고 있는 건가 싶은데, 실무에서 긴 컨텍스트를 제대로 활용하고 계신 분들 있으세요? 특히 코드 분석이나 문서 작업 같은 작업에서 말이죠.
길이만 길면 뭔가 성능이 낮아지는 것처럼 느껴지기도 하고요. 마케팅 포인트는 아닐까 하는 생각도 들고요.
추천 0 비추천 0