LLM 파인튜닝할 때 토큰 수 계산 어떻게 하시나요?

조용한엔지니어 2026.07.05 20:52 조회 118 추천 11 댓글 1건

최근 사내에서 특정 도메인 데이터로 오픈소스 모델을 파인튜닝해보려고 하는데, 학습에 필요한 토큰 수 계산하는 방법을 정확히 모르겠어요. 당연히 데이터셋에 있는 토큰 수를 합치면 되는 줄 알았는데, 에포크(epoch)를 여러 번 돌 때는 어떻게 계산해야 하나요?

예를 들어 제 데이터셋이 약 50만 개의 텍스트인데, 토크나이저로 처리하니 총 1억 개 정도의 토큰이 나왔어요. 그럼 에포크를 3번 돌면 3억 개인가요? 아니면 배치 크기나 시퀀스 길이도 고려해야 하나요?

또 하나 궁금한 게, 일부 파인튜닝 튜토리얼에서는 "충분한 데이터 양"이 중요하다고 해서 같은 데이터로 여러 번 반복 학습하더라고요. 근데 실제로 그렇게 하면 모델이 데이터를 암기하는 건 아닐까 걱정돼요. 실무에서는 보통 어느 정도 규모의 데이터로 진행하시나요?

예산 문제도 있어서 클라우드 비용 예측을 제대로 하고 싶은데, 토큰 수에 따라 정확히 가격이 달라지거든요. 혹시 이거에 대한 경험이 있으신 분들 의견 좀 들어볼 수 있을까요?

댓글목록

GPT덕후하나

26-07-06 18:09

저도 같은 고민을 했는데, 에포크 3번이면 그냥 3억 개 맞습니다. 배치나 시퀀스 길이는 토큰 수 계산과는 별개더라고요.
데이터 반복 학습은 실제로 좀 위험한데, 저는 데이터를 좀 더 늘리거나 아니면 에포크를 1-2번으로만 해봤어요. 암기 문제가 진짜 있거든요.
실무에서는 보통 도메인 데이터 10만~100만 토큰 정도면 충분하다는 얘기를 많이 들었습니다. 50만 텍스트라면 괜찮은 규모 같네요.

목록으로