요즘 AI 논문들 보다 보니 단순히 모델 크기 키우는 거만 하는 게 아니라 구조 자체를 바꾸려고 하더라고요. MoE 모델 압축할 때 가지치기와 지식 증류를 프리트레이닝 단계에서 어떻게 조합하는지 이런 걸 체계적으로 분석하는 논문들이 나오고 있고요.
웹의 AI 글이 데이터 부족할 때만 도움이 된다는 연구도 있네요. 요즘 웹 크롤에 AI가 쓴 글이 워낙 많이 섞여 있어서인지... 실제로 훈련 효율성 고민이 진짜 많아 보여요.
AI 에이전트가 트랜스포머를 넘어서 새로운 신경망 아키텍처를 자동으로 발견할 수 있다는 논문도 올라왔던데, 이거 보니까 AI 연구 방향이 확실히 바뀌는 것 같아요. 혹시 최신 논문 보시는 분들은 어떤 주제가 가장 관심 가세요?
추천 5 비추천 0