요즘 클로드랑 GPT에서 컨텍스트 윈도우 늘린 거 써보고 있는데 확실히 달라지네요. 특히 긴 문서 분석할 때 이전엔 중간에 끊겼던 부분들이 이제 한 번에 처리되더라고요.
다만 응답 속도가 조금 느려지는 건 피할 수 없는 것 같아요. 토큰 많이 처리하는 만큼 당연한 거겠지만요. 그래도 여러 번 나눠서 요청할 필요가 없어져서 전체적으로는 효율이 훨씬 낫습니다.
혹시 프로덕션에 이 기능 도입해보신 분 있으면 성능 영향이나 비용 관련해서 경험담 좀 나눠주실 수 있을까요?
추천 0 비추천 0