2026년은 오픈소스 대형언어모델(LLM)이 진정한 의미의 경쟁력을 갖게 된 해인데, Meta, Google, Mistral이 거의 동시에 발표한 최신 모델들이 상용 모델과의 간격을 완전히 좁혔고 일부 벤치마크에서는 이를 압도하고 있습니다. Llama 4, Gemma 3, Mistral Large 3와 같은 모델들이 상용 모델과 경쟁할 수 있음을 증명했습니다.
클라우드 의존 없이 내 PC에서 돌리는 오픈소스 LLM은 2026년을 거치며 70B급 모델이 RTX 4090 한 장으로 양자화 구동 가능한 수준까지 발전했고, 한국어 성능도 상용 모델에 근접했습니다. 특히 Meta가 공개한 Llama 3.3 70B는 GPT-4o 클래스 성능을 4-bit 양자화 시 RTX 4090 1장으로 돌릴 수 있다는 점에서 사실상 표준입니다.
개인적으로는 이제 오픈소스 모델들로도 충분한 수준의 작업이 가능해졌다는 게 놀랍네요. 데이터 보안이나 비용 측면에서도 훨씬 유리해졌고, 로컬에서 돌릴 수 있다는 게 가장 큰 장점인 것 같습니다. 다만 상용 모델 대비 미세한 품질 차이는 여전히 있다고 하네요.