분산 학습도 결국 통신 오버헤드 때문에 한계가 있더라고요. 요즘 논문들 보면 그냥 모델 압축 쪽으로 가는 게 현실적인 것 같아요.
코드리뷰어
요즘 논문들 훑어보면 정말 그런 방향이더라고요. 특히 에너지 효율 부분에서 움직임이 많아진 게 눈에 띄네요. 근데 실제로 현업에서 적용하려면 아직 멀게 느껴지는 게 맞는 것 같습니다. 분산 학습도 결국 네트워크 오버헤드가 크잖아요. AI 윤리는 더더욱 논문과 현실의 갭이 있는 것 같고요. 기초 연구가 쌓여야 한다는 거 공감합니다 ㅋㅋ