2026.06.17 접속자 25
로그인 회원가입
HOT
[AI뉴스] 요즘 오픈소스 LLM 수준이 진짜 미쳤네... 상용 모델과의 격차가 좁혀졌다고 봐야 나요? [AI뉴스] 앤트로픽 클로드 페이블 5 출시됐네요... 인간 전문가 수준이라고? [AI뉴스] 요즘 AI가 달라졌대요... 뭐가 계속 바뀌는 거죠? [프롬프트] 클로드한테 요구사항 정확하게 전달하는 프롬프트 팁 있나요? [프롬프트] 시장 분석할 때 쓰는 프롬프트 공유합니다 [기술 Q&A] LLM 파인튜닝할 때 토큰 수 줄이는 방법 뭐 하세요? [기술 Q&A] 최근에 RAG 구현해보신 분들 어떤 벡터DB 쓰세요? [AI뉴스] 국내 AI 기본법 시행됐는데 이게 실제로 뭐가 달라지는 건가요? [기술 Q&A] LLM 파인튜닝 할 때 LoRA 말고 다른 방법 써보신 분? [AI뉴스] OpenAI가 IPO 신청했대요... 1조 달러 목표면 진짜 어마하네요 [AI뉴스] 요즘 오픈소스 LLM 수준이 진짜 미쳤네... 상용 모델과의 격차가 좁혀졌다고 봐야 나요? [AI뉴스] 앤트로픽 클로드 페이블 5 출시됐네요... 인간 전문가 수준이라고? [AI뉴스] 요즘 AI가 달라졌대요... 뭐가 계속 바뀌는 거죠? [프롬프트] 클로드한테 요구사항 정확하게 전달하는 프롬프트 팁 있나요? [프롬프트] 시장 분석할 때 쓰는 프롬프트 공유합니다 [기술 Q&A] LLM 파인튜닝할 때 토큰 수 줄이는 방법 뭐 하세요? [기술 Q&A] 최근에 RAG 구현해보신 분들 어떤 벡터DB 쓰세요? [AI뉴스] 국내 AI 기본법 시행됐는데 이게 실제로 뭐가 달라지는 건가요? [기술 Q&A] LLM 파인튜닝 할 때 LoRA 말고 다른 방법 써보신 분? [AI뉴스] OpenAI가 IPO 신청했대요... 1조 달러 목표면 진짜 어마하네요
파인튜닝

LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?

AI새싹 2026.06.01 03:29 조회 58 추천 6 댓글 2건
요즘 llama2로 파인튜닝 해보고 있는데 데이터셋에서 토큰이 4096 넘어가는 경우가 꽤 많더라고요. 그냥 자르면 정보 손실이 생길 것 같고, 컨텍스트 윈도우를 늘리자니 메모리가 터질 것 같고 ㅠㅠ

지금은 그냥 길이별로 데이터 나눠서 따로 학습시키는 방식으로 하고 있는데, 이게 최선인지 모르겠어요. 혹시 더 나은 방법이 있으신가요?
추천 6 비추천 0
댓글 2

댓글목록

profile_image
딥러너
저도 비슷한 상황이었는데 Rope 스케일링 써봤어요. 컨텍스트 윈도우 늘리되 계산량은 크게 안 늘어서 괜찮더라고요. 아니면 긴 문서는 요약해서 넣거나 청크 단위로 데이터 재구성하는 방법도 있습니다.
profile_image
딥러닝장인
llama2는 기본적으로 RoPE 위치 인코딩을 써서 컨텍스트 확장이 까다롭긴 하더라고요. 저는 sliding window attention으로 처리했는데, 긴 문서를 겹치게 나눠서 학습하니까 정보 손실이 줄더라고요. 메모리도 훨씬 효율적이고요.