최근 논문들 보니까 단순히 모델 크기만 키우는 식의 연구는 줄어드는 것 같네요. AI 에이전트가 단순히 텍스트를 생성하는 도구를 넘어, 시스템의 핵심 인프라로 자리 잡고 스스로 발전하는 모습을 보여주는 연구들이 계속 나오고 있더라고요. 에이전트가 스스로 신경망 아키텍처를 설계하거나 메모리 검색 파이프라인을 자율적으로 진화시키는 AutoResearch의 가능성도 검증되고 있다고 하고요.
효율성 쪽도 관심이 많아진 게 눈에 띄네요. 모델의 덩치를 무작정 키우기보다, 훈련 및 추론 과정의 자원 소모를 극적으로 줄이는 '가성비' 높은 최적화 기법들이 주목받고 있다고 하더라고요. 특히 KV 캐시 압축 같은 기술들도 계속 개선되고 있는 것 같아요.