저는 코드 리뷰할 때 큰 차이를 느꼈어요. 8K일 때는 파일 여러 개 나눠서 던져야 했는데 200K면 전체 맥락을 한 번에 줄 수 있어서 일관성 있는 피드백이 나오더라고요. 근데 비용이 크게 올라가진 않아서 충분히 가치 있다고 봅니다.
프롬프트
요즘 LLM들 컨텍스트 윈도우 늘어나는데 실제로 체감되나요?
요즘 클로드도 200K, GPT-4도 128K까지 늘었던데 실무에서 이게 얼마나 체감되시는지 궁금하네요. 저는 지금까지 GPT-4 8K 썼는데 큰 문제는 없었거든요.
긴 파일 한 번에 던지는 게 편하긴 한데, 정말 성능이 좋아지는 건지 아니면 그냥 편의성 때문인지 구분이 안 돼요. 특히 추론 정확도가 늘어나는 건지도 잘 모르겠고요.
혹시 컨텍스트를 제대로 활용하고 계신 분 있으면 어떻게 쓰시는지 알려주실래요? 토큰 비용 대비 가치가 있는지도 궁금합니다.
긴 파일 한 번에 던지는 게 편하긴 한데, 정말 성능이 좋아지는 건지 아니면 그냥 편의성 때문인지 구분이 안 돼요. 특히 추론 정확도가 늘어나는 건지도 잘 모르겠고요.
혹시 컨텍스트를 제대로 활용하고 계신 분 있으면 어떻게 쓰시는지 알려주실래요? 토큰 비용 대비 가치가 있는지도 궁금합니다.
추천 11 비추천 0
- 이전글LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?26.07.10
- 다음글최근 오픈소스 LLM들 양자화 후 성능 비교해본 분 있나요?26.07.08
댓글
3
댓글목록
저도 처음엔 의심했는데 긴 문서 분석할 때 진짜 달라요. 예를 들어 200페이지 계약서를 통째로 집어넣고 "이 계약의 위험 요소 정리해줘"하면 8K에선 앞부분만 기억하고 뒷부분은 놓치는데 200K는 전체 맥락을 잘 잡더라고요.
추론 정확도는 사실 컨텍스트 윈도우 때문이라기보단 모델 자체 업그레이드 때문인 것 같긴 해요. 근데 RAG 없이도 긴 정보를 한 번에 처리할 수 있다는 게 가장 큰 장점인 듯합니다.
토큰 비용은... 솔직히 긴 입력은 좀 비싼 편이지만 여러 번 왕복할 필요가 없어지니까 오히려
추론 정확도는 사실 컨텍스트 윈도우 때문이라기보단 모델 자체 업그레이드 때문인 것 같긴 해요. 근데 RAG 없이도 긴 정보를 한 번에 처리할 수 있다는 게 가장 큰 장점인 듯합니다.
토큰 비용은... 솔직히 긴 입력은 좀 비싼 편이지만 여러 번 왕복할 필요가 없어지니까 오히려
컨텍스트 길어지면서 실제로 체감되는 부분이 있긴 한데, 생각보다 한계가 있더라고요. 저는 긴 문서 여러 개 한 번에 분석할 때 썓는데 확실히 편합니다. 근데 추론 정확도 자체는 크게 달라지지 않는 것 같아요. 오히려 컨텍스트가 길어질수록 중간에 놓치는 부분이 생기기도 해요.
토큰 비용이 문제라면 굳이 큰 컨텍스트 쓸 필요는 없을 것 같습니다. 8K로 충분한 작업이면 그대로 쓰는 게 낫지 않을까요? 다만 RAG 같은 구조에서 한 번에 많은 문서를 때려 박아야 할 때는 진짜 유용하더라고요. 그런 경우가
토큰 비용이 문제라면 굳이 큰 컨텍스트 쓸 필요는 없을 것 같습니다. 8K로 충분한 작업이면 그대로 쓰는 게 낫지 않을까요? 다만 RAG 같은 구조에서 한 번에 많은 문서를 때려 박아야 할 때는 진짜 유용하더라고요. 그런 경우가
댓글을 작성하려면 로그인이 필요합니다.