LLM 토큰 개수 세는 게 왜 이렇게 헷갈리죠?

최근에 GPT API 써서 작은 프로젝트 하나 만들고 있는데, 토큰 개수 계산이 자꾸 맞지 않네요. 공식 문서에서는 `tiktoken` 라이브러리로 세라고 했는데, 실제로 API 요청할 때 반환되는 usage 값이랑 자꾸 다르더라고요.

특히 한국어 텍스트 처리할 때 더 심한 것 같은데, 같은 문장인데도 모델마다 토큰 개수가 달라요. gpt-4-turbo는 이렇게 세고 gpt-4o는 저렇게 세는 식으로요. 혹시 이게 정상인 건가요 아니면 제가 잘못 이해하고 있는 건지 모르겠습니다.

비용 추정할 때마다 약간씩 밀려서 예산을 넉넉하게 잡고 있긴 한데, 정확하게 계산하는 방법이 있으면 알려주면 감사하겠습니다. 혹시 프롬프트 토큰이랑 완료 토큰을 따로 집계하셔야 하는 건가요?

아 그리고 시스템 프롬프트도 매번 카운트되는 거 맞죠? 제 생각엔 같은 시스템 프롬프트 여러 번 보낼 때 뭔가 최적화가 있을 것 같은데 제가 착각하는 건가 싶네요.

궁금한 점이 많아서 여쭤봅니다. 경험 많으신 분들 의견 부탁드려요.