2026.11.07 접속자 222명
로그인 | 회원가입 | AI 서비스
로그인 회원가입
HOT
[프롬프트] Claude한테 프롬프트 짜는데 자꾸 결과가 산으로 가는 거 같아요 [프롬프트] ChatGPT한테 논문 요약 시킬 때 어떤 프롬프트 쓰세요? [AI뉴스] 요즘 ChatGPT, Claude, Gemini 뭐 써야 할까? [AI뉴스] 국내 AI 기본법 시행 시작했는데 아직 헷갈리는 거 많네요 [AI뉴스] 요즘 AI 기업들 뭐하는 거예요? 진짜 스피드가 미친 수준이네요 ㅋㅋ [프롬프트] 프롬프트 쓰다 보니 느낀 건데, 결국 질문 잘하는 능력이 핵심이더라요 [AI뉴스] 2026년 AI 규제 흐름 정리하는데 이거 맞나요? [AI뉴스] 요즘 딥러닝 논문 트렌드 뭐가 핫한 거 같아요? [프롬프트] 데이터 전처리 프롬프트 이거 효과 있던데 공유합니다 [프롬프트] 코드 리뷰 요청할 때 쓸 만한 프롬프트 있으신가요? [프롬프트] Claude한테 프롬프트 짜는데 자꾸 결과가 산으로 가는 거 같아요 [프롬프트] ChatGPT한테 논문 요약 시킬 때 어떤 프롬프트 쓰세요? [AI뉴스] 요즘 ChatGPT, Claude, Gemini 뭐 써야 할까? [AI뉴스] 국내 AI 기본법 시행 시작했는데 아직 헷갈리는 거 많네요 [AI뉴스] 요즘 AI 기업들 뭐하는 거예요? 진짜 스피드가 미친 수준이네요 ㅋㅋ [프롬프트] 프롬프트 쓰다 보니 느낀 건데, 결국 질문 잘하는 능력이 핵심이더라요 [AI뉴스] 2026년 AI 규제 흐름 정리하는데 이거 맞나요? [AI뉴스] 요즘 딥러닝 논문 트렌드 뭐가 핫한 거 같아요? [프롬프트] 데이터 전처리 프롬프트 이거 효과 있던데 공유합니다 [프롬프트] 코드 리뷰 요청할 때 쓸 만한 프롬프트 있으신가요?
홈 › 기술 Q&A › 글 보기
목록
API연동

LLM 파인튜닝할 때 토큰 수 줄이는 방법 뭐 하세요?

조용한엔지니어 2026.06.11 02:41 조회 483 추천 14 댓글 4건
회사에서 특정 도메인 데이터로 모델을 파인튜닝하려고 하는데, 학습 데이터 토큰 수가 생각보다 많아서 고민이네요. 비용도 비용이지만 학습 시간도 걸리고요.

요즘 사람들이 하는 방법 중에 토큰화 최적화, 패킹 기법 이런 걸 본 적 있는데 실제로 효과가 있는지 모르겠어요. 아니면 데이터 선별 자체를 더 엄격하게 해야 하나 싶기도 하고요.

혹시 비슷한 작업 해본 분 계신가요? 어떤 방식으로 접근하셨는지 궁금합니다.
추천 14 비추천 0
댓글 4

댓글목록

profile_image
따뜻한코더
저도 비슷한 작업 했는데 솔직히 토큰화 최적화보다는 데이터 선별이 훨씬 효과 있더라고요. 특히 품질 낮은 샘플들을 걸러내는 게 학습 시간도 줄고 결과도 좋았어요. 패킹 기법은 배치 효율은 올라가지만 토큰 수 자체를 줄이진 못하니까요.
제 경우엔 도메인 관련성 점수로 상위 70% 정도만 선별해서 썼는데, 전체 토큰은 70% 줄었어도 모델 성능은 거의 안 떨어졌거든요. 시간 있으면 한번 시도해보세요.
profile_image
요정
저는 데이터 선별이 제일 효과 본 것 같아요. 토큰 수 줄이려고 패킹 기법도 써봤는데 학습 안정성 문제가 생기더라고요. 차라리 품질 좋은 데이터 3천만 토큰으로 학습하는 게 10억 토큰 막 때려박는 것보다 낫더군요. 중복 제거, 품질 필터링 먼저 추천드려요.
profile_image
AI소연이
저도 패킹 기법 써봤는데 확실히 토큰 수 줄어들더라고요. 데이터 선별이 진짜 중요한 것 같아요.
profile_image
인공지능개그맨
저도 비슷한 거 겪었는데 패킹 기법이 생각보다 효과 있더라고요. 같은 길이로 여러 샘플을 붙여서 학습하면 토큰당 비용이 확실히 내려갔어요. 다만 attention mask 설정이 좀 복잡하긴 했습니다.
그리고 데이터 선별 정말 중요해요. 저희는 임베딩 기반으로 중복 제거하고 도메인 관련성 점수로 필터링했는데 토큰 수를 30% 정도 줄이면서도 성능은 오히려 더 나왔거든요.
QLoRA 같은 거 써보셨나요? 풀 파인튜닝 대비 메모리는 훨씬 덜 쓰고 시간도 단축되더라고요. 비용 절감이 목표면 그쪽도 고민해봐도 좋을
목록으로