저도 같은 생각이에요. 실제로는 4-8K 정도면 대부분의 작업에 충분하더라고요. 100K 쓸 일이 거의 없는데 마케팅 수치로 쓰는 거 맞는 것 같아요. 오히려 짧고 명확하게 여러 번 호출하는 게 응답도 빠르고 결과도 낫더라고요.
파인튜닝
최근에 LLM들 컨텍스트 윈도우 경쟁 어떻게 봐요?
요즘 GPT-4 터보, 클로드 3, 젤미나 등등 모두 컨텍스트 윈도우를 자꾸만 늘리고 있더라고요. 100K, 200K 이렇게 말이에요. 근데 실제로 쓸 때는 그렇게까지 필요한가 싶거든요.
저도 처음엔 "오 많을수록 좋지"라고 생각했는데, 실제로는 긴 문맥에서 토큰 소비가 어마어마하다는 걸 깨달았어요. 게다가 품질도 확실히 떨어지더라고요. 짧고 명확한 프롬프트가 훨씬 낫던데요.
결국 마케팅이라고 봐도 괜찮을까요? 아니면 저만 잘못 활용하는 걸까요? 다들 어떻게 생각하시나요?
저도 처음엔 "오 많을수록 좋지"라고 생각했는데, 실제로는 긴 문맥에서 토큰 소비가 어마어마하다는 걸 깨달았어요. 게다가 품질도 확실히 떨어지더라고요. 짧고 명확한 프롬프트가 훨씬 낫던데요.
결국 마케팅이라고 봐도 괜찮을까요? 아니면 저만 잘못 활용하는 걸까요? 다들 어떻게 생각하시나요?
추천 8 비추천 0
- 이전글LLM 파인튜닝할 때 토큰 길이 제한 어떻게 하시나요?26.10.17
- 다음글로컬 LLM으로 프라이빗 데이터 처리해보니 생각보다 괜찮네요26.10.16