최근 딥러닝 연구가 정말 재밌는 방향으로 흘러가고 있더라고요. 지난 2월 파이토치 코리아에서 정리한 논문들 보니까 기존에 모델을 계속 키우기만 했던 것과 달리, 훈련 및 추론 과정의 자원 소모를 극적으로 줄이는 '가성비' 높은 최적화 기법들이 두드러졌다고 해요. 이게 왜 중요하냐면 요즘 같이 AI 비용이 계속 나가는 시대에 효율성이 핵심이 되어가고 있다는 뜻이거든요.
TinyLoRA와 강화학습을 결합해 단 13개의 훈련 매개변수만으로도 모델의 추론 성능을 90% 이상 회복한다는 논문이 나왔는데 이거 진짜 미쳤더라고요. 파라미터 13개라니... 초기 학습할 때만 해도 이런 게 가능할 줄 몰랐어요.
수퍼 모델(Souper-Model)은 추가적인 재학습 없이 여러 전문가 모델 가중치를 병합하여 성능을 끌어올렸으며, 어텐션 매칭을 통한 빠른 KV 압축도 모델의 지연 시간 증가 없이 추론 성능을 크게 향상시켰다고 하네요. 이렇게 각종 최적화 기법들이 나오는 거 보면 정말 연구 커뮤니티에서 실용성을 중시하고 있는 것 같아요.
요즘처럼 LLM이 비싸지는 마당에 이런 효율화 연구들이 정말 필요하다고 생각합니다. 혼자 공부할 때도 이런 논문들을 읽어보면서 비효율적인 부분을 개선하는 시각을 기르는 게 좋겠어요. 혹시 이 분야 논문 추천해주실 분 계신가요?