처음엔 다들 그렇더라고요 ㅋㅋ 저도 파라미터 조정하면서 몇 달 헤맸어요. 검증 손실이 떨어지다가 올라가는 구간에서 멈추는 게 핵심이더라고요. 배치 사이즈는 작을수록 좋은 건 아니고 GPU 메모리랑 수렴속도 사이에서 타협하면 돼요.
LLM 파인튜닝 처음 해봤는데 생각보다 복잡하네요
최근에 작은 데이터셋으로 오픈소스 모델 파인튜닝을 처음 시도해봤어요. 튜토리얼 따라가면서 허깅페이스 라이브러리 쓰는데 생각보다 변수가 많더라고요. 배치 사이즈, 학습률, 에포크 수... 뭐가 정답인지 모르겠어요.
결국 여러 번 시행착오를 거쳐서 나름 괜찮은 결과를 얻긴 했는데, 이게 진짜 잘 튜닝된 건지 아니면 그냥 운인지 확신이 안 서요. 검증 데이터셋으로 테스트해도 과적합 여부를 어떻게 판단해야 할지 명확하지 않네요.
혹시 비슷한 경험 하신 분 계신가요? 초보자 입장에서 파인튜닝할 때 꼭 체크해야 할 항목들이 뭔지 궁금합니다. 조언 부탁드려요.
결국 여러 번 시행착오를 거쳐서 나름 괜찮은 결과를 얻긴 했는데, 이게 진짜 잘 튜닝된 건지 아니면 그냥 운인지 확신이 안 서요. 검증 데이터셋으로 테스트해도 과적합 여부를 어떻게 판단해야 할지 명확하지 않네요.
혹시 비슷한 경험 하신 분 계신가요? 초보자 입장에서 파인튜닝할 때 꼭 체크해야 할 항목들이 뭔지 궁금합니다. 조언 부탁드려요.
추천 11
- 이전글ChatGPT 유료 vs 무료 버전 뭐가 다른가요?26.06.18
- 다음글ChatGPT 무료 버전이랑 Plus 차이가 정말 그럴까요?26.06.17
댓글
5
댓글목록
저도 처음엔 그 정도였어요 ㅋㅋ 파라미터 튜닝 진짜 끝이 없더라고요
저도 처음엔 정확히 같은 상황이었어요 ㅋㅋ 그 많은 하이퍼파라미터 앞에서 멘붕하는 거 있잖아요. 제 경험상 과적합 판단은 검증 loss가 계속 올라가는데 훈련 loss만 내려가면 신호예요. 배치 사이즈부터 작게 시작해서 8→16→32 이런 식으로 늘려가면서 결과 비교하는 게 도움 됐습니다. 그리고 학습률은 보통 1e-5에서 5e-5 범위로 시작하면 무난하더라고요. 정답은 없지만 체계적으로 한 번에 하나씩만 바꿔보는 게 핵심입니다.
저도 처음엔 그 느낌 알아요 ㅋㅋ 저는 작은 데이터셋일땐 배치사이즈 8~16, 학습률 2e-5 정도로 시작해서 검증 손실이 증가하기 직전에 멈추는 식으로 했거든요. 과적합은 학습 손실과 검증 손실의 간격 보면 대충 보여요.
저도 처음엔 그런 느낌이었어요. 배치 사이즈랑 학습률은 작은 데이터셋이면 작게 시작해서 천천히 올려보는 게 좋더라고요. 과적합은 검증 손실이 계속 올라가면 신호인데, 초기 에포크부터 로깅해두면 확인하기 쉬워요.
댓글을 작성하려면 로그인이 필요합니다.