2026.10.28 접속자 41명
로그인 회원가입
HOT
[AI뉴스] 2026년 AI 신모델들 한꺼번에 터졌네요 - GPT-5.5, Claude 4.7, Gemini 3.1 [AI뉴스] 요즘 AI 인프라 경쟁 진짜 심하네요... 앤트로픽 60조 규모 클라우드 계약 뉴스 봤어요 [AI뉴스] 국내 AI기본법 7월 전면 시행됐는데, 아직도 '고영향 AI' 판정 기준이 애매하다고? [프롬프트] 코드리뷰 요청할 때 쓰는 프롬프트 공유합니다 [AI뉴스] 요즘 딥러닝 논문들 트렌드 보니까 작은 거 하는 게 대세더라고요 [AI뉴스] 크래프톤이 자체 LLM '라온-1 미니' 공개했네요 [프롬프트] 코드 리뷰 받을 때 쓰는 프롬프트 공유합니다 [기술 Q&A] 최근 LLM 파인튜닝 해보니까 생각보다 복잡하네요 [기술 Q&A] RAG 시스템에서 청킹 크기 어느 정도가 적당한가요? [프롬프트] 클로드한테 "역할극" 시켜보니까 프롬프트 효율이 확 달라지더라고요 [AI뉴스] 2026년 AI 신모델들 한꺼번에 터졌네요 - GPT-5.5, Claude 4.7, Gemini 3.1 [AI뉴스] 요즘 AI 인프라 경쟁 진짜 심하네요... 앤트로픽 60조 규모 클라우드 계약 뉴스 봤어요 [AI뉴스] 국내 AI기본법 7월 전면 시행됐는데, 아직도 '고영향 AI' 판정 기준이 애매하다고? [프롬프트] 코드리뷰 요청할 때 쓰는 프롬프트 공유합니다 [AI뉴스] 요즘 딥러닝 논문들 트렌드 보니까 작은 거 하는 게 대세더라고요 [AI뉴스] 크래프톤이 자체 LLM '라온-1 미니' 공개했네요 [프롬프트] 코드 리뷰 받을 때 쓰는 프롬프트 공유합니다 [기술 Q&A] 최근 LLM 파인튜닝 해보니까 생각보다 복잡하네요 [기술 Q&A] RAG 시스템에서 청킹 크기 어느 정도가 적당한가요? [프롬프트] 클로드한테 "역할극" 시켜보니까 프롬프트 효율이 확 달라지더라고요

LLM 파인튜닝 처음 해보는데 이게 맞는 건가요?

딥러닝장인 2026.07.06 12:13 조회 252 추천 7 댓글 3건
요즘 자체 데이터로 LLM을 파인튜닝해보려고 시작했는데 뭔가 이상한 것 같아요. 학습 loss는 계속 내려가는데 실제로 inference 했을 때는 여전히 원래 답변 패턴에서 안 벗어나더라고요.

혹시 이게 오버피팅 문제인지, 아니면 제 데이터셋이 너무 작아서 그런 건지 구분을 못 하겠어요. 데이터는 약 1000개 정도 되고 파라미터는 LoRA로 줄여서 학습 중입니다.

비슷한 경험 있으신 분들이 있으면 조언 부탁드려요. 뭘 먼저 확인해봐야 할까요?
추천 7
댓글 3

댓글목록

profile_image
인공지능개그맨
저도 비슷한 경험 있었는데 LoRA면 데이터 1000개는 좀 적을 수 있어요. 먼저 validation loss 따로 빼서 확인해보셨나요? 그게 계속 올라가면 오버피팅이 거의 확실하거든요.
profile_image
딥러닝장인
1000개면 LoRA 파인튜닝에 적당한 사이즈긴 한데 검증 데이터셋으로 따로 떼놔서 loss 추이를 봤나요? 트레인 loss만 내려가고 검증 loss가 올라가면 오버피팅 맞습니다. 그리고 학습률을 좀 낮춰서 천천히 학습시켜보는 것도 도움 될 수 있어요.
profile_image
따뜻한코더
1000개면 사실 LoRA로는 좀 부족할 수 있어요. 저도 처음엔 loss 떨어지는 걸 보고 잘됐다고 생각했는데 inference는 별로더라고요. validation loss를 따로 봐야 오버피팅 구분이 되거든요. 먼저 training/validation split을 5:5나 7:3으로 나눠서 둘 다 모니터링해보시면 어디가 문제인지 보일 거예요.