요즘 메타에서 오픈소스로 풀은 Llama 3.1 405B 써봤는데 생각보다 괜찮더라고요. 물론 로컬에서 돌리려면 GPU 메모리가 장난 아니지만요 ㅎㅎ A100 80GB 기준으로 4비트 양자화하면 충분히 돌아갑니다.
가장 놀라운 건 한국어 이해도가 확실히 개선됐다는 거예요. 이전 버전보다 한국식 표현이나 문맥 파악이 훨씬 나아졌거든요. 코드 생성도 꽤 정확하고, 특히 긴 문서 분석할 때 성능이 좋은 것 같습니다.
다만 512K 토큰이라는 긴 컨텍스트 윈도우가 있는데 실제로 활용하려면 인프라 비용이 만만치 않다는 게 좀 아쉽네요. 혹시 프로덕션에서 쓰고 계신 분 있으면 최적화 팁 좀 공유해주실 수 있을까요?
추천 0 비추천 0