2026.11.21 접속자 217명
로그인 회원가입
HOT
프롬프트

LLM 토큰 길이 제한 늘리는 거 실제로 성능에 영향 있나요?

코드리뷰어 2026.11.21 01:42 조회 1 추천 0 댓글 0건
요즘 프로젝트에서 GPT-4 Turbo 써서 긴 문서 분석하는 중인데, 토큰 길이를 128k로 늘려서 쓰고 있거든요. 근데 같은 질문을 4k 버전으로 짤라서 돌려보니까 답이 거의 비슷하더라고요.

혹시 토큰 길이를 크게 한다고 해서 실제 성능이 선형으로 올라가는 건 아닌 거 같은데, 다른 분들은 어떻게 체감하시나요? 비용도 늘어나는데 128k까지 쓸 필요가 있는지 고민이네요.

특히 컨텍스트 윈도우가 커질수록 hallucination이 더 많아진다는 얘기도 들었는데 이게 사실인가요?
추천 0 비추천 0
댓글 0

댓글목록

아직 댓글이 없습니다. 첫 댓글을 남겨보세요!