저도 LoRA로 시작하는 게 낫더라고요 ㅋㅋ
LLM 파인튜닝할 때 데이터셋 크기 어느 정도가 적당한가요?
요즘 자사 데이터로 LLM을 파인튜닝해볼 생각 중인데 데이터셋 규모를 어떻게 정해야 할지 막혀있어요. 일단 도메인 특화 모델을 만들려고 하는데 대충 몇 천 개 정도는 있으면 되나요?
그리고 LoRA로 파인튜닝하는 게 처음부터 전체 파라미터를 학습하는 것보다 비용 면에서 훨씬 낫다고 봤는데, 작은 규모 데이터셋에는 LoRA가 더 적합한 건가요? 아니면 데이터 크기와는 별개의 문제인가요?
마지막으로 혹시 파인튜닝할 때 주의할 점이 있으면 알려주세요. 과적합 이슈는 작은 데이터셋에서 더 심하다고 하던데 어떻게 관리하는지 궁금합니다.
그리고 LoRA로 파인튜닝하는 게 처음부터 전체 파라미터를 학습하는 것보다 비용 면에서 훨씬 낫다고 봤는데, 작은 규모 데이터셋에는 LoRA가 더 적합한 건가요? 아니면 데이터 크기와는 별개의 문제인가요?
마지막으로 혹시 파인튜닝할 때 주의할 점이 있으면 알려주세요. 과적합 이슈는 작은 데이터셋에서 더 심하다고 하던데 어떻게 관리하는지 궁금합니다.
추천 9
- 이전글프롬프트 엔지니어링이 정말 필요한 스킬인가요?26.06.10
- 다음글이미지 생성 AI로 학습 데이터 만들어도 되나요?26.06.09
댓글
8
댓글목록
데이터 몇 천 개면 과적합 위험 크더라고요 ㅠㅠ
저도 비슷한 작업 했는데 수천 개 정도면 LoRA로 충분하더라고요. 전체 파라미터 학습은 데이터가 만 개 이상 있을 때 고려하는 게 낫습니다.
과적합은 validation set 따로 떼서 모니터링하고 early stopping 쓰면 괜찮아요. 데이터 크기와 상관없이 LoRA가 비용이 훨씬 저렴하니까 일단 LoRA로 시작하는 걸 추천합니다.
과적합은 validation set 따로 떼서 모니터링하고 early stopping 쓰면 괜찮아요. 데이터 크기와 상관없이 LoRA가 비용이 훨씬 저렴하니까 일단 LoRA로 시작하는 걸 추천합니다.
저도 비슷한 고민했는데 일단 수천 개는 최소한 있어야 의미 있더라고요. LoRA는 데이터 크기보다는 리소스 제약이 있을 때 쓰는 게 나아요. 과적합은 validation set 잘 나눠서 모니터링하면서 early stopping 설정하는 게 핵심이에요.
저도 비슷한 거 해봤는데 수천 개면 기본이고 가능하면 만 개 이상 있으면 좋더라고요. 품질도 중요한데 노이즈 많은 데이터보다는 깔끔한 수천 개가 낫습니다.
LoRA는 데이터 크기보다는 계산 리소스와 시간 비용 문제거든요. 작은 데이터셋이라도 전체 파인튜닝 하고 싶으면 할 수 있지만 LoRA가 훨씬 빠르고 싸니까 도메인 특화 모델 만들 거면 LoRA 추천합니다.
과적합은 early stopping이랑 validation split으로 관리하는 게 핵심인데요. learning rate를 낮게 잡는 것도 중요합니다. 너무 높으면 작은 데이터셋에서 금방 망가져요 ㅎ
LoRA는 데이터 크기보다는 계산 리소스와 시간 비용 문제거든요. 작은 데이터셋이라도 전체 파인튜닝 하고 싶으면 할 수 있지만 LoRA가 훨씬 빠르고 싸니까 도메인 특화 모델 만들 거면 LoRA 추천합니다.
과적합은 early stopping이랑 validation split으로 관리하는 게 핵심인데요. learning rate를 낮게 잡는 것도 중요합니다. 너무 높으면 작은 데이터셋에서 금방 망가져요 ㅎ
수천 개면 기본은 하는데, 도메인 특화면 질이 더 중요해요. 저도 비슷하게 해봤는데 천 개짜리 깔끔한 데이터가 오염된 만 개보다 낫더라고요.
LoRA는 데이터 크기와 무관하게 비용/성능 면에서 항상 유리한 거 맞아요. 다만 작은 데이터셋에서 과적합 방지하려면 learning rate를 낮추고 validation set 따로 빼서 봐야 합니다. 그리고 epoch도 적게 설정하고 early stopping 꼭 쓰세요. 저는 보통 3~5 epoch 정도만 돌려요. 데이터 질이 좋으면 그것도 충분하거든요.
LoRA는 데이터 크기와 무관하게 비용/성능 면에서 항상 유리한 거 맞아요. 다만 작은 데이터셋에서 과적합 방지하려면 learning rate를 낮추고 validation set 따로 빼서 봐야 합니다. 그리고 epoch도 적게 설정하고 early stopping 꼭 쓰세요. 저는 보통 3~5 epoch 정도만 돌려요. 데이터 질이 좋으면 그것도 충분하거든요.
저도 지금 같은 고민 중이라 공감되네요 ㅠㅠ
저도 비슷한 작업 했는데 수천 개 정도면 LoRA로는 충분한 것 같아요. 다만 데이터 품질이 훨씬 중요더라고요. 과적합은 validation set 분리하고 early stopping으로 관리했는데 효과 봤습니다. LoRA는 비용 면에서 정말 낫긴 한데 full fine-tuning이 필요한 경우도 있으니까 시작은 LoRA로 해보시고 결과 보고 판단하는 게 좋을 것 같아요.
댓글을 작성하려면 로그인이 필요합니다.