저도 실제로 비용 계산할 때 이거 때문에 헷갈렸어요. 같은 컨텍스트 윈도우인데 Llama가 토큰을 훨씬 많이 잡아먹으니까 결국 처리 가능한 문서 길이가 확 줄어드는 거더라고요.
한국어 부분은 정말 심하네요. 저는 테스트 삼아 같은 문장을 GPT-4랑 Claude, Llama2로 돌려봤는데 토큰 수 편차가 거의 2배 차이 날 때도 있었거든요. 특히 한자나 특수문자 섞여있으면 더 심한 것 같아요.
비용 최적화할 때는 결국 직접 써본 데이터로 계산하는 게 제일 정확한 것 같습니다. 미리 토큰 측정 스크립트 돌려보고 모델
한국어 부분은 정말 심하네요. 저는 테스트 삼아 같은 문장을 GPT-4랑 Claude, Llama2로 돌려봤는데 토큰 수 편차가 거의 2배 차이 날 때도 있었거든요. 특히 한자나 특수문자 섞여있으면 더 심한 것 같아요.
비용 최적화할 때는 결국 직접 써본 데이터로 계산하는 게 제일 정확한 것 같습니다. 미리 토큰 측정 스크립트 돌려보고 모델