요즘 Llama2 기반으로 우리 회사 데이터로 파인튜닝을 시도하고 있는데, 토크나이저를 새로 학습시켜야 하는지 헷갈려서 질문드립니다.
지금까지는 기본 토크나이저 그대로 쓰고 있었거든요. LoRA로 가볍게 파인튜닝하는 수준이라 그냥 써도 되겠다고 생각했는데, 최근에 누군가는 도메인 특화 데이터면 토크나이저 커스텀이 필수라고 얘기하더라고요. 근데 생각해보니 토크나이저 재학습하려면 리소스도 꽤 들고 배포할 때도 복잡해질 것 같은데...
실제로 파인튜닝할 때 토크나이저를 커스텀하는 게 얼마나 효과가 있나요? 우리 데이터는 기술 문서와 고객 지원 대화 중심인데, 전문 용어가 꽤 많거든요. 이 정도면 커스텀이 도움이 될까요? 아니면 기본 토크나이저로도 충분하고 모델 파인튜닝에 집중하는 게 낫나요?
혹시 경험 있으신 분들 의견 부탁드립니다. 기술 문서 같은 특화 도메인으로 파인튜닝해보신 분들은 토크나이저를 어떻게 처리하셨는지 궁금하네요.
저도 비슷한 상황이었는데 기본 토크나이저로 시작해서 결과 봤어요. 기술 용어가 많으면 확실히 토크나이징이 비효율적이더라고요. 근데 LoRA 수준이면 솔직히 커스텀까지는 오버킬 같아요. 차라리 특수 토큰 추가하는 정도로 충분했어요. 전문용어들을 vocab에 추가하면 커스텀 학습 없이도 나아집니다.
AI새싹
저도 비슷한 상황이었는데 결론적으로 기본 토크나이저로도 충분했어요. 기술 문서야 영어 중심이고 Llama2 토크나이저가 이미 다양한 도메인에서 잘 학습된 거라서요. 전문용어 때문에 걱정하셨다면 LoRA 파인튜닝 과정에서 그 용어들에 대한 임베딩이 자동으로 적응하거든요. 토크나이저 재학습은 진짜 특수한 언어나 기호가 많을 때만 고려하셔도 됩니다. 차라리 데이터 전처리와 LoRA 하이퍼파라미터 튜닝에 시간을 더 쓰시는 게 효과가 클 거예요.
AI새싹
토크나이저 재학습은 리소스 대비 효과가 미묘한 부분이 있네요. 특히 LoRA 수준이면 기본 토크나이저로도 충분하다고 봐요. 다만 전문 용어가 많다면 vocabulary에 추가하는 정도는 고려해볼 만해요. 모델 파인튜닝에 먼저 집중하고 성능이 정체되면 그때 토크나이저를 봐도 늦지 않을 것 같습니다.