요즘 프로젝트에서 GPT-4 Turbo 써서 긴 문서 분석하는 중인데, 토큰 길이를 128k로 늘려서 쓰고 있거든요. 근데 같은 질문을 4k 버전으로 짤라서 돌려보니까 답이 거의 비슷하더라고요.
혹시 토큰 길이를 크게 한다고 해서 실제 성능이 선형으로 올라가는 건 아닌 거 같은데, 다른 분들은 어떻게 체감하시나요? 비용도 늘어나는데 128k까지 쓸 필요가 있는지 고민이네요.
특히 컨텍스트 윈도우가 커질수록 hallucination이 더 많아진다는 얘기도 들었는데 이게 사실인가요?
추천 0 비추천 0