요즘 ChatGPT API로 간단한 프로젝트 하다가 미세조정을 직접 해봐야겠다고 생각했는데 어디서부터 손을 대야 할지 모르겠어요. 블로그나 유튜브를 찾아보니 자료도 많고 좋은데 초보자 입장에서는 뭐가 정말 필요한 건지 헷갈리더라고요.
현재 상황이 이러합니다. 저는 파이썬은 기본적으로 다룰 수 있고, 간단한 머신러닝 모델 학습까지는 경험이 있어요. 다만 트랜스포머나 어텐션 같은 개념은 이름만 들었지 깊이 있게는 모르는 상태예요. 그래서 LLM을 처음부터 학습시키는 건 너무 어려울 것 같고, 기존 모델을 내 데이터에 맞게 조정하는 방식이 훨씬 현실적일 거 같긴 한데요.
궁금한 게 몇 가지 있어요. 첫째, 미세조정을 하려면 데이터가 얼마나 필요한가요? 제가 가진 데이터는 1000개 정도의 질문-답변 쌍인데 충분한가요? 둘째, OpenAI API의 Fine-tuning 기능을 쓰는 게 좋을까요, 아니면 오픈소스 모델(라마, 미스트럴 같은)로 직접 하는 게 좋을까요? 비용이나 복잡도 측면에서요. 셋째, 미세조정 후에 실제로 성능이 나아지는지 어떻게 평가하나요?
혹시 이 분야에서 이미 경험이 있으신 분들이 있으면 조언 부탁드릴게요. 어떤 걸 먼저 공부했으면 좋았을지, 혹은 피해야 할 실수가 뭔지도 알려주시면 정말 감사하겠습니다. 처음이라서 부족한 질문일 수도 있지만 이해해 주세요.