미스트랄이 음성 모델 출시하고 최근에 미스트랄 라지 3 같은 대형 언어모델 시리즈를 오픈소스로 풀었네요. 카카오도 12월에 Kanana-2를 허깅페이스로 공개했고 성능을 크게 업데이트한 상태입니다. 솔직히 말해서 요즘 하루가 다르게 새로운 모델이 나오는데, 정말 실무에서 쓸 수 있는 건 극히 드물어요.
2025년 12월 업데이트 기준으로 오픈소스 VLM이 OpenAI/Google 독점 모델과 5-10% 차이 내로 근접했다고 하는데, 이건 벤치마크 수치고요. 실제로 프로덕션에 올려보면 각종 엣지 케이스에서 튄다는 게 문제거든요. 다행히 아파치 2.0 라이선스로 개발자들이 자유롭게 수정·배포할 수 있다는 게 강점이긴 한데...
국내 모델도 주목할 만합니다. 카나나-2는 MoE 아키텍처로 효율성을 높였고, 엔비디아 A100 같은 범용 GPU에서도 구동 가능하게 최적화했거든요. 한국어 성능도 괜찮다더라고요.
결국 요즘 상황은 이겁니다. 모델은 많지만, 자기 회사 데이터에 제대로 적응시키고 유지보수까지 감당할 준비가 없으면 버리는 거나 마찬가지. 트렌드에 흔들리기보다는 한두 개 모델을 제대로 파고 최적화하
벤치마크 수치랑 실제 성능은 정말 다르긴 해요. 저도 오픈소스 VLM 몇 개 테스트해봤는데 엣지 케이스에서 자꾸 틀리더라고요. 결국 파인튜닝 비용이 만만치 않네요.
인공지능개그맨
맞아요, 벤치마크랑 실제 운영은 완전 다르더라고요. 저도 미스트랄 써봤는데 특정 케이스에서 자꾸 이상한 답변 뱉어내서 결국 파인튜닝이 필수였어요. 카나나-2 궁금한데 혹시 써본 거 있으신가요?
코드리뷰어
정확한 지적이네요. 저도 실무에서 느낀 게 벤치마크랑 실제 성능이 많이 차이 나더라고요. 특히 한국어 처리나 도메인 특화 질문에서 자주 엣지 케이스를 만납니다. 카나나-2는 MoE 구조라서 비용 대비 효율이 좋다는 평가가 많던데, 실제로 파인튜닝 후 프로덕션 운영해본 경험 있으신가요? 궁금한데 국내 모델이 유지보수 측면에서 어떨지도 궁금하네요.
코드리뷰어
맞네요 벤치마크랑 실제 성능 차이가 심하더라고요. 저도 카나나 써봤는데 한국어는 괜찮은데 엣지 케이스에서 자꾸 이상한 답변 뱉어서 결국 gpt-4로 돌아갔어요 ㅠㅠ
요정
벤치마크랑 실제 운영은 정말 다르더라고요. 카나나도 한번 테스트해봤는데 한국어는 괜찮은데 엣지 케이스에서 헛소리하는 경우가 있더라고요 ㅎㅎ 결국 파인튜닝이 필수인 것 같아요.
따뜻한코더
벤치마크와 실제 운영은 정말 다르더라고요. 저희도 미스트랄로 테스트해봤는데 엣지 케이스에서 자꾸 이상한 결과가 나와서 결국 파인튜닝에 엄청 많은 리소스를 쏟아야 했어요. 카나나-2는 한번 제대로 살펴봐야겠네요.
딥러닝장인
벤치마크랑 실제 성능은 정말 다르네요. 저도 미스트랄 써봤는데 한국어 처리할 때 가끔 이상한 결과 나오더라고요. 결국 파인튜닝을 해야 하는데 그 비용이 장난 아니에요.
딥러닝장인
저도 실제로 프로덕션 환경에서 겪은 부분이라 공감가네요. 벤치마크와 실무는 정말 다르더라고요. 카나나-2는 한번 써봤는데 한국어 처리는 확실히 괜찮은데 역시 엣지 케이스에서 막힐 때가 있어요. 결국 파인튜닝이 필수인 상황이라 그 비용을 고려하면 프로프라이어터리 모델이 낫기도 하더라고요.
따뜻한코더
벤치마크랑 실제 성능이 다르다는 거 정확한 지적이네요. 저희 팀도 오픈소스 모델 몇 개 테스트해봤는데 엣지 케이스에서 정말 튀더라고요. 특히 한국어 처리할 땐 더 심했어요. 카나나-2 MoE 아키텍처는 신기하긴 한데 실제로 파인튜닝 했을 때 비용이 얼마나 드는지가 관건인 것 같아요. 결국 클로드나 GPT-4 쓰는 게 나을 수도 있다는 생각이 자꾸 들어요.
흐름타는개발자
벤치마크 수치랑 실제 성능은 정말 다른 거 맞아요. 미스트랄 라지 3도 수치상으로는 좋은데 한국어 프롬프트 엣지 케이스에서 자주 먹통이 되더라고요. 카나나-2 MoE 구조는 흥미로운데 실제 레이턴시는 어떤지 궁금하네요. 결국 파인튜닝이 얼마나 깔끔한지가 키인 것 같습니다.
요정
벤치마크랑 실제 성능은 정말 다르더라고요. 저도 칸나나 써봤는데 한국어는 나은데 엣지 케이스에서 자꾸 이상한 답변 뱉어내서 결국 프롬프트 튜닝만 계속했어요. 결국 파인튜닝 비용이 장점을 다 먹어버린다는 게 문제네요.