요즘 허깅페이스에서 BERT 기반 모델로 텍스트 분류 작업을 하고 있는데, learning rate 설정이 자꾸 헷갈리더라고요. 일반적으로 fine-tuning할 땐 2e-5에서 5e-5 사이를 추천하는데, 데이터셋 크기나 epoch 수에 따라 달라지지 않나 싶습니다.
그리고 보통 learning rate scheduler는 뭘 쓰시나요? linear decay를 많이 쓰는 것 같긴 한데, 실제로는 cosine annealing이 더 나을 수도 있다는 의견도 봤거든요. 제 데이터셋은 한국어 리뷰 텍스트 약 50k개 정도 되는데, 혹시 이 규모면 어느 정도 설정이 적절할까요?
혹시 프로젝트마다 다르게 하신 경험 있으신 분 계신가요? 팁이나 논문 링크 같은 거 있으면 정말 감사하겠습니다.