저도 비슷한 경험했는데 파인튜닝 후 출력이 길어지더라고요 ㅋㅋ
API연동
LLM 파인튜닝 후 토큰 효율이 확 떨어졌는데 이게 정상인가요?
최근에 회사 업무용으로 GPT-3.5 기반으로 파인튜닝을 진행했는데 결과가 좀 이상하더라고요. 파인튜닝 전에는 같은 프롬프트로 평균 150토큰 정도 나왔는데, 파인튜닝 후에는 200토큰 이상 나오는 경우가 대부분입니다. 정확도는 조금 올랐는데 토큰 사용량이 크게 늘어나서 비용이 거의 안 줄었거든요.
혹시 파인튜닝 과정에서 이런 현상이 흔한 건지 궁금합니다. 아니면 제가 뭔가 잘못 설정한 걸까요? 특히 temperature나 top_p 같은 파라미터를 조정해야 하나 생각 중인데 그게 토큰 길이에 영향을 주나요?
비슷한 경험하신 분 있으시면 어떻게 해결하셨는지 알려주시면 감사하겠습니다.
혹시 파인튜닝 과정에서 이런 현상이 흔한 건지 궁금합니다. 아니면 제가 뭔가 잘못 설정한 걸까요? 특히 temperature나 top_p 같은 파라미터를 조정해야 하나 생각 중인데 그게 토큰 길이에 영향을 주나요?
비슷한 경험하신 분 있으시면 어떻게 해결하셨는지 알려주시면 감사하겠습니다.
추천 12 비추천 0