저도 비슷한 거 겪었는데 loss plateau가 진짜 답답하더라고요. 혹시 warmup step 빼고 바로 학습하진 않으셨나요? 그리고 토큰 마스킹은 허깅페이스 트레이너에서 자동 처리되는데 만약 커스텀 데이터로더 쓰신다면 pad_token_id 설정을 명시적으로 해줘야 제대로 무시돼요. 저는 그걸 놓쳤다가 한참 헤맸거든요. gradient_accumulation_steps도 실제 배치 사이즈를 너무 크게 해서 문제일 수도 있으니 한번 줄여보시는 것도 추천합니다. 그리고 혹시 데이터 중복이 많진 않으신가요? 라마 파인튜닝할 때 그게 생각보다 영향 크더라고요.