2026.06.16 접속자 13
로그인 회원가입
HOT
[기술 Q&A] Transformer 모델의 positional encoding 방식 바꿔도 괜찮나요? [기술 Q&A] LLM 토큰 길이 제한 때문에 답답한데 실무에선 어떻게 처리하세요? [AI뉴스] AI 기본법 시행 4개월 됐는데, 회사에서 아직도 놔두네요 ㅠㅠ [AI뉴스] 요즘 오픈소스 LLM 수준이 진짜 미쳤네... 상용 모델과의 격차가 좁혀졌다고 봐야 나요? [AI뉴스] 앤트로픽 클로드 페이블 5 출시됐네요... 인간 전문가 수준이라고? [AI뉴스] 요즘 AI가 달라졌대요... 뭐가 계속 바뀌는 거죠? [프롬프트] 클로드한테 요구사항 정확하게 전달하는 프롬프트 팁 있나요? [프롬프트] 시장 분석할 때 쓰는 프롬프트 공유합니다 [기술 Q&A] LLM 파인튜닝할 때 토큰 수 줄이는 방법 뭐 하세요? [기술 Q&A] LLM 파인튜닝 할 때 LoRA 말고 다른 방법 써보신 분? [기술 Q&A] Transformer 모델의 positional encoding 방식 바꿔도 괜찮나요? [기술 Q&A] LLM 토큰 길이 제한 때문에 답답한데 실무에선 어떻게 처리하세요? [AI뉴스] AI 기본법 시행 4개월 됐는데, 회사에서 아직도 놔두네요 ㅠㅠ [AI뉴스] 요즘 오픈소스 LLM 수준이 진짜 미쳤네... 상용 모델과의 격차가 좁혀졌다고 봐야 나요? [AI뉴스] 앤트로픽 클로드 페이블 5 출시됐네요... 인간 전문가 수준이라고? [AI뉴스] 요즘 AI가 달라졌대요... 뭐가 계속 바뀌는 거죠? [프롬프트] 클로드한테 요구사항 정확하게 전달하는 프롬프트 팁 있나요? [프롬프트] 시장 분석할 때 쓰는 프롬프트 공유합니다 [기술 Q&A] LLM 파인튜닝할 때 토큰 수 줄이는 방법 뭐 하세요? [기술 Q&A] LLM 파인튜닝 할 때 LoRA 말고 다른 방법 써보신 분?
API연동

LLM 파인튜닝할 때 토큰 길이 제한 문제 어떻게 해결하세요?

현실주의자 2026.06.01 18:15 조회 54 추천 9 댓글 0건
요즘 자사 데이터로 오픈소스 모델(라마2)을 파인튜닝 중인데, 학습 데이터 중 일부가 컨텍스트 윈도우(4k 토큰)를 초과하더라고요. 단순히 자르자니 정보 손실이 생길까봐 걱정이고, 그렇다고 더 큰 모델로 가자니 비용이 장난 아니네요.

혹시 이런 상황에서 효과적인 방법 써보신 분 계신가요? 슬라이딩 윈도우로 오버래핑하게 하거나, 요약을 거쳐서 넣는 방식도 고민 중인데 실제로 써본 결과가 어떨지 궁금합니다. 아니면 처음부터 데이터 전처리를 다르게 해야 하는 건지.
추천 9 비추천 0
댓글 0

댓글목록

아직 댓글이 없습니다. 첫 댓글을 남겨보세요!