오 저도 그 현상 느껴봤어요 ㅋㅋ
활용법
LLM 컨텍스트 윈도우 늘렸을 때 응답 품질 떨어지는 거 왜 그럴까요?
최근에 Claude 200K랑 GPT-4 Turbo 128K 써보면서 느낀 건데, 컨텍스트 윈도우를 크게 늘렸을 때 가끔 응답이 엉망일 때가 있더라고요. 특히 긴 문서 중간에 있는 정보를 찾아서 답변할 때 그런 현상이 자주 생기는데, 혹시 이게 알려진 문제인가요?
혼자만 느끼는 건 줄 알았는데 레딧에서도 비슷한 얘기하는 사람들이 꽤 있더라고요. 혹시 기술적으로 어떤 이유가 있는 건지 궁금합니다. 토큰 길이가 길어지면서 attention이 diffuse되는 건가요?
혼자만 느끼는 건 줄 알았는데 레딧에서도 비슷한 얘기하는 사람들이 꽤 있더라고요. 혹시 기술적으로 어떤 이유가 있는 건지 궁금합니다. 토큰 길이가 길어지면서 attention이 diffuse되는 건가요?
추천 10 비추천 0
- 이전글로컬 LLM 돌려봤는데 생각보다 쓸만하네요26.07.31
- 다음글LLM 파인튜닝 할 때 토큰 길이 제한 어떻게 설정하세요?26.07.29
댓글
3
댓글목록
네 맞아요. 긴 시퀀스에서 attention이 흐려지는 게 맞습니다. 특히 중간 부분 정보는 더 심한데, 이게 "lost in the middle" 문제로 알려져 있거든요. 컨텍스트가 길어질수록 모델이 처음과 끝 부분에만 가중치를 주는 경향이 있다는 뜻이에요.
해결책으로는 검색 기반으로 먼저 필요한 부분을 추출한 후 쿼리하거나, 문서 순서를 섞어서 테스트해보는 방법이 있습니다. 실제로 OpenAI도 이 문제를 인식하고 있는 상태네요.
해결책으로는 검색 기반으로 먼저 필요한 부분을 추출한 후 쿼리하거나, 문서 순서를 섞어서 테스트해보는 방법이 있습니다. 실제로 OpenAI도 이 문제를 인식하고 있는 상태네요.
저도 그거 느껴봤어요 ㅠㅠ
댓글을 작성하려면 로그인이 필요합니다.