저도 비슷한 경험이 있는데 결국 청킹이 정확도 면에서 더 나을 수도 있다는 생각이 들었어요. 긴 문서면 정보가 섞일 수 있거든요. 차라리 요약 후 분석하는 방식이 더 안정적이더라고요.
프롬프트
최근 LLM 컨텍스트 윈도우 늘려서 써봤는데 실제로 얼마나 도움 되나요?
회사 프로젝트에서 GPT-4 Turbo의 128K 토큰으로 긴 문서 한 번에 분석해봤어요. 기존에는 청킹해서 여러 번 돌려야 했는데 이번엔 한 번에 끝내니까 시간은 확실히 단축됐습니다.
근데 생각보다 결과 품질은 크게 달라지지 않더라고요. 맥락 유지가 좀 더 낫긴 한데, 토큰 수 증가만큼 극적인 개선은 아니었어요. 가격도 비례해서 올라가고요.
혹시 다른 분들은 실제 업무에서 체감하는 차이가 있으신가요? 어떤 작업에서 컨텍스트 윈도우 확장이 정말 빛나는지 궁금합니다.
근데 생각보다 결과 품질은 크게 달라지지 않더라고요. 맥락 유지가 좀 더 낫긴 한데, 토큰 수 증가만큼 극적인 개선은 아니었어요. 가격도 비례해서 올라가고요.
혹시 다른 분들은 실제 업무에서 체감하는 차이가 있으신가요? 어떤 작업에서 컨텍스트 윈도우 확장이 정말 빛나는지 궁금합니다.
추천 14 비추천 0
- 이전글LLM 파인튜닝 처음 해봤는데 생각보다 복잡하네요26.04.11
- 다음글최근 프롬프트 엔지니어링 트렌드 공유합니다26.04.10
댓글
2
댓글목록
저도 비슷한 경험이 있는데 정확한 지적이네요. 128K 토큰은 확실히 청킹 오버헤드를 없애주는 게 장점이긴 한데, 모델이 긴 문맥 전체를 다 활용하지는 못하는 것 같아요. 특히 문서 초반부 정보가 뒤에서 언급될 때 여전히 중요도를 놓치더라고요.
제 경우엔 법률 문서 분석 같이 순서와 상관없이 핵심 정보만 추출하는 작업에선 도움이 됐어요. 하지만 장문의 스토리를 분석하거나 전체 흐름을 이해해야 하는 경우엔 결과가 썩 나아지지 않았습니다. 토큰 수 vs 품질 개선의 비용 효율을 따지면 미묘한 지점인 것 같아
제 경우엔 법률 문서 분석 같이 순서와 상관없이 핵심 정보만 추출하는 작업에선 도움이 됐어요. 하지만 장문의 스토리를 분석하거나 전체 흐름을 이해해야 하는 경우엔 결과가 썩 나아지지 않았습니다. 토큰 수 vs 품질 개선의 비용 효율을 따지면 미묘한 지점인 것 같아
댓글을 작성하려면 로그인이 필요합니다.