요즘 라마2 기반으로 회사 문서 데이터로 파인튜닝 실험 중인데, 학습 초반엔 loss가 잘 떨어지다가 어느 순간부터 수렴이 안 되네요. 배치 사이즈 조정하고 러닝레이트도 바꿔봤는데 여전히 똑같은 패턴이 반복되더라고요.
혹시 토큰 손실 계산 과정에서 패딩이나 마스킹 처리를 다르게 해야 하는 건가 싶기도 하고요. 요즘 허깅페이스 트레이너로 하시는 분들은 보통 어떻게 대처하세요? 특별히 신경 써야 할 하이퍼파라미터 조합 있으면 알려주세요.
추천 0 비추천 0