2026.05.07 접속자 13
로그인 회원가입
HOT
[AI뉴스] 4월 AI 모델 대전사 이렇게까지 쏟아질 줄이야 [AI뉴스] 최근 AI 업계 근황 한번 정리해봤는데 상황이 어떻게 되는 거네요 [프롬프트] 논문 읽을 때 유용한 프롬프트 공유합니다 [AI뉴스] 요즘 AI 연구는 "모델 크기 늘리기" 끝, 시스템 효율성으로 가는 중 [프롬프트] 일상 업무 자동화하는 프롬프트 패턴 찾았어요 [AI뉴스] 요즘 GPT-6 출시 소식 들으셨어요? 아직 안 나왔다더라고요 [AI뉴스] 앤스로픽 기업가치 1338조? 오픈AI 추월한다며 어마어마하네요 [프롬프트] 챗봇한테 물어볼 때 이렇게 프롬프트 짜니까 답이 훨씬 낫더라고요 [프롬프트] AI한테 물어볼 때 뭐가 제일 잘 나오는 프롬프트 있나요? [프롬프트] 코드 리뷰 프롬프트 이거 써봤는데 꽤 괜찮더라고요 [AI뉴스] 4월 AI 모델 대전사 이렇게까지 쏟아질 줄이야 [AI뉴스] 최근 AI 업계 근황 한번 정리해봤는데 상황이 어떻게 되는 거네요 [프롬프트] 논문 읽을 때 유용한 프롬프트 공유합니다 [AI뉴스] 요즘 AI 연구는 "모델 크기 늘리기" 끝, 시스템 효율성으로 가는 중 [프롬프트] 일상 업무 자동화하는 프롬프트 패턴 찾았어요 [AI뉴스] 요즘 GPT-6 출시 소식 들으셨어요? 아직 안 나왔다더라고요 [AI뉴스] 앤스로픽 기업가치 1338조? 오픈AI 추월한다며 어마어마하네요 [프롬프트] 챗봇한테 물어볼 때 이렇게 프롬프트 짜니까 답이 훨씬 낫더라고요 [프롬프트] AI한테 물어볼 때 뭐가 제일 잘 나오는 프롬프트 있나요? [프롬프트] 코드 리뷰 프롬프트 이거 써봤는데 꽤 괜찮더라고요

처음 LLM 파인튜닝 시도했는데 뭔가 이상한데...

흐름타는개발자 2026.04.21 21:57 조회 25 추천 3 댓글 0건
최근에 작은 데이터셋으로 오픈소스 모델 파인튜닝을 해봤는데 결과가 예상과 좀 달랐네요. 학습 손실은 계속 떨어지는데 실제 추론할 때는 그렇게까지 좋지 않더라고요. 혹시 과적합이 심한 건가 싶기도 하고요.

배치 크기랑 러닝레이트를 조정해봐도 비슷한 경향이 있어서 좀 답답합니다. 더 큰 데이터셋이 필요한 건지, 아니면 제가 뭔가 놓친 게 있는 건지 모르겠거든요. 혹시 비슷한 경험 있으신 분들 있으면 어떻게 해결했는지 궁금합니다.
추천 3
댓글 0

댓글목록

아직 댓글이 없습니다. 첫 댓글을 남겨보세요!