저도 비슷한 경험 있어요. 먼저 OpenAI 대시보드에서 API 키별로 상세 사용량을 확인해보시길 추천합니다. 요청 횟수뿐만 아니라 실제 입출력 토큰 수를 봐야 거든요. 무심코 긴 컨텍스트를 계속 보내거나, 프롬프트가 점점 길어진 경우도 많더라고요.
그 다음으로 현재 gpt-4 터보를 쓰신다고 했는데, gpt-4o로 바꿔보는 것도 방법입니다. 속도도 빠르고 가격도 더 저렴하거든요. 정확도는 큰 차이 없는 경우가 많아요.
단기적으로는 캐싱이나 배치 API 활용으로 토큰 비용을 줄일 수 있고, 장기적으로는 파인
그 다음으로 현재 gpt-4 터보를 쓰신다고 했는데, gpt-4o로 바꿔보는 것도 방법입니다. 속도도 빠르고 가격도 더 저렴하거든요. 정확도는 큰 차이 없는 경우가 많아요.
단기적으로는 캐싱이나 배치 API 활용으로 토큰 비용을 줄일 수 있고, 장기적으로는 파인