LLM 성능 비교하다가 느낀 건데 벤치마크가 진짜 믿을 게 못 되네요

오늘도살자 2026.07.06 17:35 조회 91 추천 12 댓글 1건

요즘 새로운 LLM 모델들이 자꾸만 나오니까 성능 비교를 해봐야겠다고 생각했어요. MMLU, HumanEval 같은 벤치마크 점수를 봤는데, 점수가 높다고 해서 실제 업무에 쓸 때 얼마나 도움이 되는지는 완전히 다른 얘기더라고요.

예를 들어서 코드 생성 관련해서는 HumanEval 점수가 90점대인 모델도 있고 70점대인 모델도 있는데, 제가 직접 써본 감각으로는 실제 차이가 생각보다 크지 않았어요. 오히려 같은 모델이라도 프롬프트를 어떻게 주는지, 컨텍스트 윈도우가 충분한지 같은 게 훨씬 중요한 것 같습니다. 벤치마크 점수 높은 모델이 한국어 처리는 형편없다거나, 특정 도메인 질문에는 엉뚱한 답을 내놓는 경우도 봤거든요.

가장 답답한 건 벤치마크 자체가 모델 개발사에 유리하게 설계되는 경향이 있다는 거예요. 자기들이 만든 모델이 잘 나오도록 벤치마크를 조정할 수 있으니까요. 그래서 이제는 논문의 벤치마크 점수보다는 실제 사용자 리뷰나 커뮤니티 후기를 더 신뢰하게 되더라고요.

혹시 여러분들도 비슷한 경험 있으신가요? 아니면 벤치마크를 어느 정도는 신뢰하시는 편인지 궁금합니다. 특히 실무에서 모델을 선택할 때 어떤 기준으로 판단하시는지 알고 싶네요.

댓글목록

GPT덕후하나

26-07-21 13:27

완전 공감합니다. 저도 같은 경험이 있는데, 특히 HumanEval은 영어 위주 코드라서 한국 개발자 입장에선 참고할 게 별로더라고요. 같은 모델인데 프롬프트 엔지니어링으로 성능이 확 달라지는 걸 보면 벤치마크가 얼마나 일부분만 보는 건지 느껴집니다.
실제로는 레이턴시, 일관성, 특정 분야 전문성 이런 게 더 중요한데 벤치마크에는 안 나오죠. 요즘 저도 새 모델 평가할 때는 논문보다 깃허브 이슈나 Product Hunt 후기를 먼저 본답니다. 사용자 리뷰가 훨씬 현실적이에요.

목록으로