2026.09.07 접속자 25
로그인 회원가입
HOT
[프롬프트] 코드 리뷰 요청할 때 쓰는 프롬프트 뭐 쓰세요? [AI뉴스] 2026년 하반기 AI 뉴스 정리... 요즘 AI 시장 어디까지 왔나요? [프롬프트] 코드 리뷰 요청할 때 쓰는 프롬프트 공유합니다 [AI뉴스] 요즘 회사에서 AI 도입하라고 하는데 실제로 제대로 쓰는 곳이 몇이나 될까요? [프롬프트] Claude에게 "역할극" 시키는 프롬프트 꿀팁 [프롬프트] 일일 업무 정리할 때 쓰는 프롬프트 공유합니다 [기술 Q&A] LLM 파인튜닝 vs RAG, 실제로 뭐가 더 실용적인가요? [프롬프트] 업무 자동화 프롬프트 짜다가 깨달은 것들 [기술 Q&A] LLM 파인튜닝할 때 LoRA랑 QLoRA 중 뭐 써야 하나요? [기술 Q&A] Claude 3.5 Sonnet으로 코드 리뷰 자동화해봤는데 생각보다 쓸만하네요 [프롬프트] 코드 리뷰 요청할 때 쓰는 프롬프트 뭐 쓰세요? [AI뉴스] 2026년 하반기 AI 뉴스 정리... 요즘 AI 시장 어디까지 왔나요? [프롬프트] 코드 리뷰 요청할 때 쓰는 프롬프트 공유합니다 [AI뉴스] 요즘 회사에서 AI 도입하라고 하는데 실제로 제대로 쓰는 곳이 몇이나 될까요? [프롬프트] Claude에게 "역할극" 시키는 프롬프트 꿀팁 [프롬프트] 일일 업무 정리할 때 쓰는 프롬프트 공유합니다 [기술 Q&A] LLM 파인튜닝 vs RAG, 실제로 뭐가 더 실용적인가요? [프롬프트] 업무 자동화 프롬프트 짜다가 깨달은 것들 [기술 Q&A] LLM 파인튜닝할 때 LoRA랑 QLoRA 중 뭐 써야 하나요? [기술 Q&A] Claude 3.5 Sonnet으로 코드 리뷰 자동화해봤는데 생각보다 쓸만하네요
API연동

LLM 파인튜닝할 때 토큰 길이 제한 문제 어떻게 해결하세요?

현실주의자 2026.06.01 18:15 조회 248 추천 14 댓글 3건
요즘 자사 데이터로 오픈소스 모델(라마2)을 파인튜닝 중인데, 학습 데이터 중 일부가 컨텍스트 윈도우(4k 토큰)를 초과하더라고요. 단순히 자르자니 정보 손실이 생길까봐 걱정이고, 그렇다고 더 큰 모델로 가자니 비용이 장난 아니네요.

혹시 이런 상황에서 효과적인 방법 써보신 분 계신가요? 슬라이딩 윈도우로 오버래핑하게 하거나, 요약을 거쳐서 넣는 방식도 고민 중인데 실제로 써본 결과가 어떨지 궁금합니다. 아니면 처음부터 데이터 전처리를 다르게 해야 하는 건지.
추천 14 비추천 0
댓글 3

댓글목록

profile_image
조용한엔지니어
저도 비슷한 문제 겪었는데 결국 청킹 방식을 섞어서 했어요. 긴 문서는 의미 있는 단락 단위로 나눠서 각각을 학습 샘플로 만들고, 문맥이 필요한 부분만 이전 청크와 오버래핑하게 했거든요. 단순 자르기보다는 효과가 훨씬 낫더라고요.
요약 방식은 솔직히 정보 손실 때문에 주의가 필요한데, 요약 자체가 LLM을 거쳐야 하니까 추가 비용도 들고요. 차라리 구조화된 청킹이 낫다고 봅니다.
profile_image
궁금하면
저도 비슷한 문제 겪었는데 결국 슬라이딩 윈도우로 오버래핑하는 게 가장 실용적이더라고요. 처음엔 정보 손실 걱정했는데 생각보다 괜찮았습니다. 요약은 오히려 의도와 다르게 변형될 수 있어서 피했어요. 혹시 긴 문서면 문단 단위로 끊어서 라벨링하는 방식도 고민해볼 만합니다.
profile_image
AI소연이
저도 요즘 같은 문제로 고민 중이네요 ㅠㅠ