요즘 개인 프로젝트로 한국어 텍스트 분류 모델을 만들고 있는데, 처음부터 학습시키기엔 데이터셋이 부족하더라고요. 그래서 사전학습된 모델을 파인튜닝하려고 생각 중입니다.
KoBERT, KoELECTRA, KoBART 같은 모델들이 많은데, 실제로 어떤 걸 쓸 때 성능 차이가 크게 나나요? 특히 분류 task에서요. 혹시 최근에 써본 모델이 있으면 추천 부탁드립니다. GPU 메모리도 고려해야 해서 모델 사이즈도 중요할 것 같은데...
그리고 파인튜닝할 때 학습 데이터가 적으면 오버피팅이 심하다고 들었는데, 이걸 피하는 팁이 있으면 알려주세요.
추천 12 비추천 0