2026.11.20 접속자 92명
로그인 회원가입
HOT
[자유게시판] 직장 다니면서 취미 뭐하세요? [자유게시판] 편의점 야식으로 라면만 먹다가 처음 도시락 사먹어봤어요 [자유게시판] 요즘 눈 피로 심한데 좋은 루틴 있으신가요? [AI뉴스] 2026년 AI 산업, 이제 실제로 움직이기 시작하는구나 [프롬프트] 업무 자동화 프롬프트 짜다가 발견한 팁 공유합니다 [자유게시판] 요즘 직장 다니면서 취미 찾기 진짜 어렵네요 [자유게시판] 직장 선배랑 연락 끊을까 말까... [프롬프트] 코드 리뷰 요청할 때 쓸만한 프롬프트 있으신가요? [AI뉴스] 요즘 AI 에이전트 붐 맞춰서 누가 주도권 잡을지 봐야겠네 [프롬프트] 코드 리뷰 요청할 때 쓰는 프롬프트 공유합니다 [자유게시판] 직장 다니면서 취미 뭐하세요? [자유게시판] 편의점 야식으로 라면만 먹다가 처음 도시락 사먹어봤어요 [자유게시판] 요즘 눈 피로 심한데 좋은 루틴 있으신가요? [AI뉴스] 2026년 AI 산업, 이제 실제로 움직이기 시작하는구나 [프롬프트] 업무 자동화 프롬프트 짜다가 발견한 팁 공유합니다 [자유게시판] 요즘 직장 다니면서 취미 찾기 진짜 어렵네요 [자유게시판] 직장 선배랑 연락 끊을까 말까... [프롬프트] 코드 리뷰 요청할 때 쓸만한 프롬프트 있으신가요? [AI뉴스] 요즘 AI 에이전트 붐 맞춰서 누가 주도권 잡을지 봐야겠네 [프롬프트] 코드 리뷰 요청할 때 쓰는 프롬프트 공유합니다
API연동

LLM 파인튜닝할 때 토큰 길이 제한 어떻게 해결하세요?

인공지능개그맨 2026.09.30 08:08 조회 268 추천 11 댓글 2건
요즘 자사 데이터로 LLM을 파인튜닝하려고 하는데 문제가 생겼네요. 학습 데이터 중에 컨텍스트가 꽤 긴 문서들이 많거든요. 근데 모델의 토큰 제한(대부분 4K~8K)에 걸려서 데이터를 자르거나 버려야 하는 상황이 계속 생기더라고요.

혹시 이런 경우 어떻게 대처하시나요? 그냥 자르고 학습하는 게 베스트인지, 아니면 롱컨텍스트 모델(Llama 2 Long 같은)로 갈아타는 게 낫는지 고민 중입니다. 비용도 고려해야 되고 학습 시간도 늘어날 것 같아서요.

혹시 이 과정에서 데이터 손실 없이 처리하신 경험 있으신 분 있으면 팁 공유 부탁드려요.
추천 11 비추천 0
댓글 2

댓글목록

profile_image
흐름타는개발자
저도 비슷한 문제 겪었는데 결국 두 가지 조합으로 가더라고요. 짧은 문서들은 그냥 자르고, 긴 문서는 Llama 2 Long으로 따로 파인튜닝했어요. 롱컨텍스트로 전부 가면 vram도 많이 먹고 학습도 오래 걸려서요. 데이터 특성에 따라 전략을 나누는 게 비용 대비 효율이 더 좋았습니다.
profile_image
딥러너
저도 비슷한 상황을 겪었는데 결국 두 가지를 함께 했어요. 먼저 데이터를 슬라이딩 윈도우로 겹치게 자르고, 동시에 컨텍스트 길이가 긴 모델(Llama 2 70B나 최신 모델들)로 파인튜닝 했거든요.
슬라이딩으로 자르면 데이터 손실을 최소화할 수 있더라고요. 예를 들어 8K 제한이면 6K씩 끊되 2K를 오버랩시키는 식으로요. 그렇게 하니까 학습 데이터도 늘어나고 문맥 연결성도 어느 정도 유지됩니다.
롱컨텍스트 모델은 확실히 좋은데 비용이 문제네요. 내 경험상 우선순위는 (1) 슬라이딩