저도 비슷한 경험이 있는데 결국 청킹이 정확도 면에서 더 나을 수도 있다는 생각이 들었어요. 긴 문서면 정보가 섞일 수 있거든요. 차라리 요약 후 분석하는 방식이 더 안정적이더라고요.
프롬프트
최근 LLM 컨텍스트 윈도우 늘려서 써봤는데 실제로 얼마나 도움 되나요?
회사 프로젝트에서 GPT-4 Turbo의 128K 토큰으로 긴 문서 한 번에 분석해봤어요. 기존에는 청킹해서 여러 번 돌려야 했는데 이번엔 한 번에 끝내니까 시간은 확실히 단축됐습니다.
근데 생각보다 결과 품질은 크게 달라지지 않더라고요. 맥락 유지가 좀 더 낫긴 한데, 토큰 수 증가만큼 극적인 개선은 아니었어요. 가격도 비례해서 올라가고요.
혹시 다른 분들은 실제 업무에서 체감하는 차이가 있으신가요? 어떤 작업에서 컨텍스트 윈도우 확장이 정말 빛나는지 궁금합니다.
근데 생각보다 결과 품질은 크게 달라지지 않더라고요. 맥락 유지가 좀 더 낫긴 한데, 토큰 수 증가만큼 극적인 개선은 아니었어요. 가격도 비례해서 올라가고요.
혹시 다른 분들은 실제 업무에서 체감하는 차이가 있으신가요? 어떤 작업에서 컨텍스트 윈도우 확장이 정말 빛나는지 궁금합니다.
추천 14 비추천 0
- 이전글LLM 파인튜닝 처음 해봤는데 생각보다 복잡하네요26.04.11
- 다음글최근 프롬프트 엔지니어링 트렌드 공유합니다26.04.10