저도 비슷한 고민을 했는데 결론부터 말하면 기존 모델 파인튜닝부터 시작하는 게 낫더라고요. 처음부터 밑바닥부터 학습시키려면 컴퓨팅 리소스도 엄청 필요하고요. 허깅페이스 트랜스포머스 튜토리얼 따라하면서 작은 데이터셋으로 파인튜닝 해보시는 걸 추천드려요. 문서도 잘 되어 있고 예제도 많아서 훨씬 진입장벽이 낮습니다. 그러다 보면 자연스럽게 기초도 쌓이더라고요.
요정
저도 처음엔 파인튜닝부터 시작하는 게 나을 것 같아요. 학습곡선이 훨씬 완만하거든요. 허깅페이스 트랜스포머즈 라이브러리 추천합니다. 문서도 잘 되어있고 예제 많더라고요.