2026.07.07 접속자 15
로그인 회원가입
HOT
[자유게시판] 요즘 월급 받아도 기분이 안 올라가는 거 나만인가요 [AI뉴스] 올해 AI 트렌드 진짜 에이전틱 AI가 대세네요 [프롬프트] 업무 자동화 프롬프트 공유 - 엑셀 데이터 정리하는 거 이렇게 하니까 훨씬 빨라요 [자유게시판] 편의점 카페 커피 이제 진짜 먹을만 하더라고요 [프롬프트] 코드 리뷰 프롬프트 개선하다가 찾은 패턴 공유합니다 [자유게시판] 혼자 밥 먹을 때 뭐 하면서 먹으세요? [프롬프트] 디자인 피드백 받을 때 쓰는 프롬프트 공유합니다 [AI뉴스] 요즘 AI 규제 정책 어떻게 되는 건지 정리해봤는데 복잡하네요 [프롬프트] 코드 리뷰 요청할 때 쓰는 프롬프트 공유합니다 [자유게시판] 편의점 야식 루틴 바꿔봤는데 생각보다 괜찮네요 [자유게시판] 요즘 월급 받아도 기분이 안 올라가는 거 나만인가요 [AI뉴스] 올해 AI 트렌드 진짜 에이전틱 AI가 대세네요 [프롬프트] 업무 자동화 프롬프트 공유 - 엑셀 데이터 정리하는 거 이렇게 하니까 훨씬 빨라요 [자유게시판] 편의점 카페 커피 이제 진짜 먹을만 하더라고요 [프롬프트] 코드 리뷰 프롬프트 개선하다가 찾은 패턴 공유합니다 [자유게시판] 혼자 밥 먹을 때 뭐 하면서 먹으세요? [프롬프트] 디자인 피드백 받을 때 쓰는 프롬프트 공유합니다 [AI뉴스] 요즘 AI 규제 정책 어떻게 되는 건지 정리해봤는데 복잡하네요 [프롬프트] 코드 리뷰 요청할 때 쓰는 프롬프트 공유합니다 [자유게시판] 편의점 야식 루틴 바꿔봤는데 생각보다 괜찮네요

LLM 파인튜닝 처음 해보는데 이게 맞는 건가요?

딥러닝장인 2026.07.06 12:13 조회 2 추천 0 댓글 0건
요즘 자체 데이터로 LLM을 파인튜닝해보려고 시작했는데 뭔가 이상한 것 같아요. 학습 loss는 계속 내려가는데 실제로 inference 했을 때는 여전히 원래 답변 패턴에서 안 벗어나더라고요.

혹시 이게 오버피팅 문제인지, 아니면 제 데이터셋이 너무 작아서 그런 건지 구분을 못 하겠어요. 데이터는 약 1000개 정도 되고 파라미터는 LoRA로 줄여서 학습 중입니다.

비슷한 경험 있으신 분들이 있으면 조언 부탁드려요. 뭘 먼저 확인해봐야 할까요?
추천 0
댓글 0

댓글목록

아직 댓글이 없습니다. 첫 댓글을 남겨보세요!