LLM 파인튜닝 처음 해보는데 이게 맞게 하고 있는 건가요?

최근에 회사에서 자체 데이터로 LLM을 파인튜닝해보라고 해서 시작했는데 뭔가 답답하네요. 기본적인 것부터 차근차근 해보고 있는데 혹시 제가 놓치고 있는 부분이 있을까봐 질문드립니다.

지금 하고 있는 건 GPT-3.5 기반으로 우리 회사 문서 데이터 약 500개를 JSONL 형식으로 정리해서 OpenAI API로 파인튜닝 돌리고 있어요. 기본 모델이랑 파인튜닝된 모델의 성능 비교는 손으로 몇 개씩 테스트해봤는데 확실히 답변이 우리 도메인에 맞춰진 느낌이 들더라고요.

그런데 헷갈리는 게 있어요. 데이터 전처리할 때 토크나이저를 따로 써야 하는 건가요? 아니면 OpenAI에서 자동으로 처리해주는 건가요? 튜토리얼 영상들이 다 달라서 어디를 따라가야 할지 모르겠습니다. 그리고 비용이 좀 많이 드는데 정말 500개 정도의 데이터로도 의미 있는 파인튜닝이 가능한가요? 더 필요하다는 얘기도 많이 보이거든요.

또 하나 신경 쓰이는 부분은 결과 검증이에요. 지금은 그냥 육안으로 "이건 좋네, 이건 좀 이상하네" 이렇게 하고 있는데 실제로는 어떤 메트릭으로 평가해야 하는지 궁금합니다. BLEU 스코어? ROUGE? 이런 게 있다고는 들었는데 실제로 도메인 특화 모델 성능을 평가할 때는 뭐를 써야 하나요?

경험 있으신 분들의 조언을 정말 감사히 듣고 싶습니다. 아직 배우는 과정이라 뭔가 틀린 부분도 있을 수 있는데 지적해주시면 좋겠습니다.