저도 요즘 체감하고 있어요 ㅠㅠ
프롬프트
최근에 LLM 응답 속도 체감상 느려진 거 아닌가요?
요즘 GPT-4o랑 Claude 3.5 쓰다 보면 예전보다 응답이 좀 느린 것 같은데 저만 그런 건가요? 특히 코드 생성할 때 토큰이 쏟아져 나올 때 체감 지연이 확 드는 거 같거든요. 서버 부하 때문인지 아니면 뭔가 업데이트된 거 있는지 궁금하네요.
회사에서도 그런 얘기가 나왔는데 혹시 최근에 API 성능 이슈 있었던 거 있으시면 알려줄래요? 아니면 체감 속도 개선할 만한 팁이라도 있으면 공유 부탁드립니다.
회사에서도 그런 얘기가 나왔는데 혹시 최근에 API 성능 이슈 있었던 거 있으시면 알려줄래요? 아니면 체감 속도 개선할 만한 팁이라도 있으면 공유 부탁드립니다.
추천 4 비추천 0
- 다음글LLM 파인튜닝할 때 LoRA vs 전체 파라미터 학습 어떻게 선택하세요?26.04.06