LLM 한국어 처리 성능이 아직도 이 정도인가요?

최근에 여러 대형 언어모델들의 한국어 능력을 직접 테스트해봤는데 생각보다 아쉬운 부분이 많더라고요. GPT-4o는 당연히 잘하는데, 오픈소스 모델들이 한국어 벤치마크에서는 괜찮은 점수를 내면서도 실제로 쓸 때는 자꾸 이상한 뉘앙스를 잡아요.

특히 문맥에 따른 조사 선택이나 경어 사용에서 자연스럽지 못한 경우가 많았어요. "이 부분을 수정해줘"라고 하면 영어 패턴을 그대로 한국어로 번역한 것처럼 나오는 식이랄까요. 혹시 이게 학습 데이터의 한국어 비중 문제일까요, 아니면 구조적인 한계가 있는 걸까요?

그런데 생각해보니 한국어는 정말 복잡한 언어긴 해요. 같은 문장이어도 주어/목적어를 생략하고 문맥으로만 이해하는 경우도 많고, 높임말과 반말의 구분도 미묘하거든요. 영어권 개발자들 입장에선 이런 부분들을 완벽하게 반영하기가 쉽지 않을 것 같아요.

혹시 한국어 처리 잘 되는 모델이나 팁이 있으면 공유해주실 분 있을까요? 회사 프로젝트에서 한국어 기반의 챗봇을 만들어야 하는데 현재 선택지가 좀 한정적인 것 같아서요. 외부 API에만 의존하기엔 비용도 부담되고요.