요즘 라마2로 우리 회사 데이터로 파인튜닝 해보려고 하는데 전처리 부분이 좀 헷갈리네요. 토큰화, 정규화, 중복 제거 이런 거 다 해야 하는 건가요? 아니면 선택적으로 하는 거예요?
인터넷에서 찾아본 튜토리얼마다 방식이 좀 다르더라고요. 어떤 거는 최소한의 정제만 하고 어떤 거는 엄청 정교하게 하고 그래서요. 혹시 경험상 가장 효율적인 방법이 뭐가 있을까요?
데이터는 대략 5만 개 정도 문장 쌍이고 도메인은 고객 상담 기록입니다. 조언 부탁드려요.
추천 4