요즘 소규모 언어 모델 학습하면서 궁금한 게 생겼는데, attention 계산 부분에서 배치 처리를 더 효율적으로 할 수 있는 방법이 있을까요? 지금은 시퀀스 길이가 길어질수록 연산량이 quadratic하게 증가하는 게 눈에 띄더라고요.
플래시 어텐션 같은 거 보긴 했는데 구현이 복잡해 보여서요. 혹시 파이토치나 텐서플로우에서 기본으로 제공하는 최적화 기능이 있거나, 실제로 써보신 분들이 권장하는 방법이 있으면 궁금합니다.
현재는 HuggingFace에서 제공하는 모델 그대로 쓰고 있는데 성능 개선 여지가 있을 것 같아서 질문 드립니다.
추천 0 비추천 0