저도 4만 토큰 넘으면 확 떨어지더라고요 ㅠㅠ
API연동
LLM 토큰 길이 제한 늘릴 때 성능 저하 어느 정도 각오해야 하나요?
요즘 GPT-4 Turbo 128K 버전 써보고 있는데, 컨텍스트 윈도우를 최대한 활용하려다 보니 질문이 생겼습니다. 토큰 길이를 늘릴수록 응답 속도도 느려지고 정확도도 떨어지는 것 같은데, 이게 물리적인 한계인지 아니면 모델 튜닝 문제인지 알고 싶거든요.
특히 4-5만 토큰 정도로 프롬프트를 구성하면 답변 퀄리티가 확실히 내려가는 느낌이 드네요. 혹시 이런 거 경험해보신 분 있으신가요? 아니면 긴 컨텍스트에서도 성능을 유지할 수 있는 팁이 있으면 알려주세요.
특히 4-5만 토큰 정도로 프롬프트를 구성하면 답변 퀄리티가 확실히 내려가는 느낌이 드네요. 혹시 이런 거 경험해보신 분 있으신가요? 아니면 긴 컨텍스트에서도 성능을 유지할 수 있는 팁이 있으면 알려주세요.
추천 8 비추천 0
- 이전글최근에 LLM 파인튜닝 비용이 좀 이상한데 이게 맞나요?26.09.24
- 다음글최근 LLM들이 코딩할 때 자꾸 과신하는 거 아닌가요?26.09.22