2026.06.01 접속자 13
로그인 회원가입
HOT
[AI뉴스] 2026년 AI 트렌드, 에이전트 시대 본격화되는 중이네요 [프롬프트] 데이터 분석할 때 쓰는 프롬프트 공유받고 싶어요 [프롬프트] 업무 자동화 프롬프트 몇 개월 써본 후기 [AI뉴스] AI 기본법 시행된 지 3개월... 기업들 지금 대비 안 하면 큰일 나네요 [프롬프트] 코드 리뷰 프롬프트 좋은 거 있으신가요? [프롬프트] Claude한테 좋은 답변 뽑아내는 프롬프트 패턴 공유합니다 [AI뉴스] 요즘 AI 업계 분위기 진짜 달라졌네요 - 에이전트 AI가 핫한 이유 [AI뉴스] 요즘 AI 산업이 정말 급변하고 있는데 정말 에이전트 중심으로 다 진화하고 있나요? [프롬프트] ChatGPT 프롬프트로 코드 리뷰 받아보니 정말 쓸만하네요 [AI뉴스] AI 기본법 올해 1월부터 시행됐는데, 사실 계도 기간 있다더라고요 [AI뉴스] 2026년 AI 트렌드, 에이전트 시대 본격화되는 중이네요 [프롬프트] 데이터 분석할 때 쓰는 프롬프트 공유받고 싶어요 [프롬프트] 업무 자동화 프롬프트 몇 개월 써본 후기 [AI뉴스] AI 기본법 시행된 지 3개월... 기업들 지금 대비 안 하면 큰일 나네요 [프롬프트] 코드 리뷰 프롬프트 좋은 거 있으신가요? [프롬프트] Claude한테 좋은 답변 뽑아내는 프롬프트 패턴 공유합니다 [AI뉴스] 요즘 AI 업계 분위기 진짜 달라졌네요 - 에이전트 AI가 핫한 이유 [AI뉴스] 요즘 AI 산업이 정말 급변하고 있는데 정말 에이전트 중심으로 다 진화하고 있나요? [프롬프트] ChatGPT 프롬프트로 코드 리뷰 받아보니 정말 쓸만하네요 [AI뉴스] AI 기본법 올해 1월부터 시행됐는데, 사실 계도 기간 있다더라고요
파인튜닝

LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?

AI새싹 2026.06.01 03:29 조회 2 추천 0 댓글 0건
요즘 llama2로 파인튜닝 해보고 있는데 데이터셋에서 토큰이 4096 넘어가는 경우가 꽤 많더라고요. 그냥 자르면 정보 손실이 생길 것 같고, 컨텍스트 윈도우를 늘리자니 메모리가 터질 것 같고 ㅠㅠ

지금은 그냥 길이별로 데이터 나눠서 따로 학습시키는 방식으로 하고 있는데, 이게 최선인지 모르겠어요. 혹시 더 나은 방법이 있으신가요?
추천 0 비추천 0
댓글 0

댓글목록

아직 댓글이 없습니다. 첫 댓글을 남겨보세요!