회사 프로젝트에서 GPT-4 Turbo의 128K 토큰으로 긴 문서 한 번에 분석해봤어요. 기존에는 청킹해서 여러 번 돌려야 했는데 이번엔 한 번에 끝내니까 시간은 확실히 단축됐습니다.
근데 생각보다 결과 품질은 크게 달라지지 않더라고요. 맥락 유지가 좀 더 낫긴 한데, 토큰 수 증가만큼 극적인 개선은 아니었어요. 가격도 비례해서 올라가고요.
혹시 다른 분들은 실제 업무에서 체감하는 차이가 있으신가요? 어떤 작업에서 컨텍스트 윈도우 확장이 정말 빛나는지 궁금합니다.
추천 0 비추천 0