Transformer 모델에서 attention mask 적용하는 방식이 궁금해요

저도 같은 부분 고민 많았는데, 결국 동적 패딩(dynamic padding)으로 처리하는 게 제일 효율적더라고요. 배치 내에서만 최대 길이에 맞추면 불필요한 연산을 많이 줄일 수 있어요.
MLM할 땐 padding mask와 MLM mask를 분리해서 적용하는 게 중요해요. 패딩 토큰은 애초에 attention에서 제외시키고, MLM mask는 학습 목표 달성을 위해 별도로 처리하는 식으로요. HuggingFace 라이브러리 쓰면 이 부분이 자동으로 처리돼서 편하더라고요.

저도 같은 고민 많이 했는데, 결국 variable length batching이 답더라고요. PyTorch의 `pad_sequence`와 `pack_padded_sequence`를 조합하면 패딩된 부분은 연산을 아예 스킵할 수 있습니다. MLM할 땐 mask token과 padding token을 attention mask로 구분하되, loss 계산할 때만 padding 부분을 제외하는 식으로 처리하면 깔끔하더라고요.

저도 같은 고민을 했었는데, 결국 huggingface transformers에서 제공하는 dynamic padding을 써봤어요. DataCollator에서 배치 내 최대 길이에만 맞추고 attention_mask를 자동으로 생성해주는 방식이거든요. 그리고 실제로는 불필요한 연산이 생기긴 하는데, GPU 메모리 효율이 훨씬 낫더라고요.
MLM할 때는 보통 mask token을 따로 처리하고 padding token에는 loss_mask를 따로 적용하는 식으로 구분해요. 즉, attention_mask와 loss_mask를 분리하는 거죠. 이렇게 하면 모델 관점에서는 attention 계산에만 마스크를 쓰고, loss 계산할 때는 실제 예측해야 할 토큰만 고려할 수 있어요.
근데 솔직히 시퀀스 길이