처음 LLM 미세조정 시도했는데 뭔가 이상한데 이게 맞나요?

최근에 허깅페이스에서 작은 모델로 미세조정을 처음 시도해봤는데 중간에 헷갈리는 부분이 생겼어요. 혹시 경험 있으신 분들이 조언해주실 수 있을까요.

상황은 이렇습니다. 특정 도메인 데이터셋(약 5000개 샘플)으로 Mistral-7B를 LoRA로 미세조정했거든요. 로컬 머신에서 테스트했을 때는 어느 정도 잘 작동했는데, 같은 모델을 허깅페이스 추론 API로 올려서 돌려보니 완전 다른 답변이 나오더라고요. 처음엔 시드 때문인 줄 알았는데 계속 이상한 답변이 나와요.

혹시 이게 일반적인 현상인가요? 로컬에서 테스트할 때와 프로덕션 환경에서 결과가 다를 수 있다는 건 알고 있었는데, 이 정도면 뭔가 설정을 잘못한 걸까봐서요. 아니면 5000개 샘플로는 부족한 거라든지... 학습 곡선도 정상적으로 내려가긴 했는데 말이에요.

혹시 미세조정 후 모델을 배포할 때 주의할 점이 있으면 알려주세요. 특히 LoRA 어댑터를 제대로 병합하는 과정에서 놓칠 수 있는 부분이 있는지 궁금합니다. 인퍼런스 파라미터 설정도 정확히 어떻게 해야 하는지 모르겠고요.

비슷한 경험하신 분들이 계시면 어떻게 해결했는지 알고 싶어요. 아니면 추천할 만한 튜토리얼이나 리소스가 있으면 공유해주셔도 좋습니다. 초보라 완전 기초적인 질문일 수도 있지만 답변 부탁드려요.