저도 GPT-4 Turbo 써봤는데 긴 코드 리뷰할 땐 정말 편하네요. 다만 비용이 생각보다 많이 나와서 배치 처리로 돌리는 방식으로 바꿨거든요. 응답 속도도 개선되고요.
프롬프트
최근 LLM 토큰 길이 제한 풀린 거 써보신 분?
요즘 클로드랑 GPT에서 컨텍스트 윈도우 늘린 거 써보고 있는데 확실히 달라지네요. 특히 긴 문서 분석할 때 이전엔 중간에 끊겼던 부분들이 이제 한 번에 처리되더라고요.
다만 응답 속도가 조금 느려지는 건 피할 수 없는 것 같아요. 토큰 많이 처리하는 만큼 당연한 거겠지만요. 그래도 여러 번 나눠서 요청할 필요가 없어져서 전체적으로는 효율이 훨씬 낫습니다.
혹시 프로덕션에 이 기능 도입해보신 분 있으면 성능 영향이나 비용 관련해서 경험담 좀 나눠주실 수 있을까요?
다만 응답 속도가 조금 느려지는 건 피할 수 없는 것 같아요. 토큰 많이 처리하는 만큼 당연한 거겠지만요. 그래도 여러 번 나눠서 요청할 필요가 없어져서 전체적으로는 효율이 훨씬 낫습니다.
혹시 프로덕션에 이 기능 도입해보신 분 있으면 성능 영향이나 비용 관련해서 경험담 좀 나눠주실 수 있을까요?
추천 12 비추천 0
- 이전글LLM 파인튜닝할 때 LoRA vs 전체 파라미터 학습 어떻게 선택하세요?26.04.06
- 다음글요즘 로컬 LLM 뭐 쓰시나요? 프라이빗한 작업용으로26.04.01
댓글
2
댓글목록
저도 클로드의 200K 토큰 써봤는데 확실히 장점이 크더라고요. 다만 비용 측면에서는 좀 복잡하더군요. 입력 토큰 가격이 올라가면서 단순히 길이만으로 비교하기 어려워졌어요. 프로덕션 도입 생각 중이시라면 실제 유스케이스로 비용을 계산해보시길 추천합니다. 저는 한 두 번 API 호출로 줄어드는 부분과 토큰 비용 증가를 비교했을 때 의외로 큰 차이가 없었거든요. 물론 번거로움 줄어드는 건 확실합니다.
댓글을 작성하려면 로그인이 필요합니다.