저도 완전 같은 생각입니다. 실제로 100만 토큰까지 갈 일이 거의 없더라고요. 차라리 지금 정도 윈도우에서 응답 정확도를 높이는 게 훨씬 실질적일 것 같아요. 논리 오류나 지시 미준수 문제가 먼저 해결되어야 하는 게 맞는 것 같습니다.
파인튜닝
요즘 생성형 AI 모델들 컨텍스트 윈도우 경쟁인데 실제로 필요한 수준이 뭐라고 생각하세요?
최근에 클로드가 20만 토큰, 제미니가 100만 토큰까지 올렸잖아요. 그런데 솔직히 개발하면서 느끼는 건 대부분의 실무에서는 그렇게 큰 윈도우가 필요 없다는 거더라고요. 물론 긴 문서 분석하거나 전체 코드베이스 참고할 때는 편하긴 한데, 대다수 작업은 4K나 8K 정도면 충분한 것 같습니다.
특히 요즘 느끼는 건데, 마케팅적으로 큰 숫자를 내세우긴 하지만 실제 체감은 크지 않다는 거예요. 컨텍스트 길이가 두 배 늘어난다고 해서 응답 품질이 두 배 좋아지는 건 아니거든요. 오히려 지금도 충분히 만족스러운데 자꾸 새로운 도구로 갈아타야 한다는 강박만 생기는 느낌입니다.
그러면서 드는 생각이 뭐냐면, 업계가 진짜 필요한 문제 해결보다는 스펙 경쟁에만 집중하는 건 아닐까 하는 거예요. 응답 속도, 토큰 효율, 일관성 있는 출력 같은 게 훨씬 중요한데 말이죠. 예를 들어 지금도 때때로 논리적으로 오류가 있는 답변을 하거나 지시를 제대로 못 따를 때가 있는데, 컨텍스트 윈도우를 200만까지 늘린다고 해결될 문제는 아니잖습니까.
다만 특정 분야에서는 의미가 있을 수도 있겠다는 생각은 해요. 법률 문서 검색, 학술 논문 분석 같은 경우는 길이가 길수록 도움이 될 테니까요. 그런데 일반 개발이나 콘텐츠 작업에서까지 그 수준의 윈도우가 꼭 필요한지는 의문이 있습니다.
혹시 실제 프로덕션에서 20만 토큰 이상을 자주 쓰시는 분들 있으신가요? 어떤 용도에서 필요한지 궁금하네요. 그리고 크기가 커지면서 비용도 올라가지 않나요? 그부분도 고려하면 균형점이 어디가 되는지 싶습니다.
특히 요즘 느끼는 건데, 마케팅적으로 큰 숫자를 내세우긴 하지만 실제 체감은 크지 않다는 거예요. 컨텍스트 길이가 두 배 늘어난다고 해서 응답 품질이 두 배 좋아지는 건 아니거든요. 오히려 지금도 충분히 만족스러운데 자꾸 새로운 도구로 갈아타야 한다는 강박만 생기는 느낌입니다.
그러면서 드는 생각이 뭐냐면, 업계가 진짜 필요한 문제 해결보다는 스펙 경쟁에만 집중하는 건 아닐까 하는 거예요. 응답 속도, 토큰 효율, 일관성 있는 출력 같은 게 훨씬 중요한데 말이죠. 예를 들어 지금도 때때로 논리적으로 오류가 있는 답변을 하거나 지시를 제대로 못 따를 때가 있는데, 컨텍스트 윈도우를 200만까지 늘린다고 해결될 문제는 아니잖습니까.
다만 특정 분야에서는 의미가 있을 수도 있겠다는 생각은 해요. 법률 문서 검색, 학술 논문 분석 같은 경우는 길이가 길수록 도움이 될 테니까요. 그런데 일반 개발이나 콘텐츠 작업에서까지 그 수준의 윈도우가 꼭 필요한지는 의문이 있습니다.
혹시 실제 프로덕션에서 20만 토큰 이상을 자주 쓰시는 분들 있으신가요? 어떤 용도에서 필요한지 궁금하네요. 그리고 크기가 커지면서 비용도 올라가지 않나요? 그부분도 고려하면 균형점이 어디가 되는지 싶습니다.
추천 12 비추천 0
- 이전글최근 LLM 파인튜닝 비용이 진짜 미쳤나요?26.07.07
- 다음글LLM 성능 비교하다가 느낀 건데 벤치마크가 진짜 믿을 게 못 되네요26.07.06