저도 비슷한 상황에서 시작했는데, 일단 LoRA부터 해보시는 걸 추천해요. 풀 파인튜닝보다 리소스도 훨씬 적게 들거든요. 한국어는 polyglot-ko나 Llama 2 기반 모델들이 꽤 괜찮더라고요. 처음엔 작은 데이터셋으로 실험해보고 늘려나가는 게 진짜 중요해요.
LLM 파인튜닝 처음 배우는데 어디서부터 시작해야 할까요?
요즘 업무에서 자사 데이터로 LLM을 파인튜닝해야 하는 프로젝트가 생겼는데, 솔직히 어디서부터 손을 대야 할지 모르겠어요. 지금까지는 OpenAI API 정도만 써봤거든요. 본격적으로 파인튜닝을 배워야 하는데 너무 복잡하게 느껴져서요.
일단 제가 알아본 건 Hugging Face에서 transformer 모델 가져와서 학습시키는 방법도 있고, LoRA 같은 방식도 있다는 건데 차이를 정확히 모르겠어요. 회사에서는 비용을 최소화하고 싶어 하는데, 작은 규모의 모델부터 시작해야 하는 건지 아니면 큰 모델을 써야 하는 건지 판단이 안 서요. 데이터도 한국어가 많아서 영어 위주의 튜토리얼들이 완전히 적용되지 않을 것 같아요.
혹시 파인튜닝 입문하시는 과정에서 실수했던 부분이나 팁이 있으신가요? 특히 한국어 데이터로 학습시켜본 경험이 있으신 분들의 조언이 정말 필요해요. 어떤 모델부터 시작하는 게 좋을까요?
그리고 이미 파인튜닝된 한국 특화 모델들(polyglot 같은)이 있다고 들었는데, 처음부터 직접 만드는 것보다 기존 모델 위에서 추가 학습을 하는 게 효율적인지도 궁금합니다. 정말 기초적인 질문일 수도 있지만 답변 부탁드려요.
일단 제가 알아본 건 Hugging Face에서 transformer 모델 가져와서 학습시키는 방법도 있고, LoRA 같은 방식도 있다는 건데 차이를 정확히 모르겠어요. 회사에서는 비용을 최소화하고 싶어 하는데, 작은 규모의 모델부터 시작해야 하는 건지 아니면 큰 모델을 써야 하는 건지 판단이 안 서요. 데이터도 한국어가 많아서 영어 위주의 튜토리얼들이 완전히 적용되지 않을 것 같아요.
혹시 파인튜닝 입문하시는 과정에서 실수했던 부분이나 팁이 있으신가요? 특히 한국어 데이터로 학습시켜본 경험이 있으신 분들의 조언이 정말 필요해요. 어떤 모델부터 시작하는 게 좋을까요?
그리고 이미 파인튜닝된 한국 특화 모델들(polyglot 같은)이 있다고 들었는데, 처음부터 직접 만드는 것보다 기존 모델 위에서 추가 학습을 하는 게 효율적인지도 궁금합니다. 정말 기초적인 질문일 수도 있지만 답변 부탁드려요.
추천 2
- 이전글ChatGPT 유료 vs 무료 버전 뭐가 다른지 정리해주실 분?26.08.26
- 다음글AI 도구 너무 많아서 뭘 써야 할지 모르겠는데 추천 받을 수 있을까요?26.08.25