저도 매번 이 문제로 고민하거든요 ㅠㅠ
예전에 이런 삽질을 했는데, 처음엔 벤치마크 스코어만 믿고 GPT-4 쓰다가 실제로 우리 고객 데이터로 테스트해보니 Claude가 더 나은 거예요. 특히 긴 문서 분석할 때 context window 활용이 훨씬 나았어요.
결국 저도 자체 테스트 셋 만드는 게 최고라는 결론에 도달했습니다. 우리 실제 작업 케이스 20~30개 정도 모아서 각 모델 돌려보고 정성평가 + 정량평가 섞어서 비교하는데, 이게 가장 현실적이더라고요.
특히 추천하는 건 가중치 매트릭스 같은 거 만드는 거예요. 각 프로젝
예전에 이런 삽질을 했는데, 처음엔 벤치마크 스코어만 믿고 GPT-4 쓰다가 실제로 우리 고객 데이터로 테스트해보니 Claude가 더 나은 거예요. 특히 긴 문서 분석할 때 context window 활용이 훨씬 나았어요.
결국 저도 자체 테스트 셋 만드는 게 최고라는 결론에 도달했습니다. 우리 실제 작업 케이스 20~30개 정도 모아서 각 모델 돌려보고 정성평가 + 정량평가 섞어서 비교하는데, 이게 가장 현실적이더라고요.
특히 추천하는 건 가중치 매트릭스 같은 거 만드는 거예요. 각 프로젝