3,000개면 충분한 편이에요. LoRA는 비용이 적게 들어서 좋긴 한데, 데이터가 도메인 특화된 거면 풀 파인튜닝도 고려해볼 만합니다. 일단 LoRA로 시작해서 성능이 부족하면 풀튜닝 가는 게 현실적이거든요. Hugging Face의 transformers 라이브러리로 시작하면 튜토리얼도 많고, peft로 LoRA 구현하면 코드도 간단해요. 취준생이시면 Colab 무료 T4 GPU로도 충분히 가능합니다.
LLM 파인튜닝 처음 하는데 어디서 시작해야 하나요?
요즘 AI 공부하면서 기본 모델로는 한계를 느껴서 우리 도메인에 맞게 파인튜닝을 해보려고 해요. 근데 처음이라서 뭐부터 손을 대야 할지 막혀있거든요.
일단 LoRA 개념은 인터넷에서 대충 봤는데, 그게 모든 상황에 좋은 건지 아니면 풀 파인튜닝도 고려해야 하는 건지 헷갈려요. 데이터셋은 3,000개 정도 준비했는데 이 정도면 충분한 건가요?
혹시 추천하는 튜토리얼이나 프레임워크 있으면 알려주세요. 취준생이라 비용도 최소화하고 싶어서 오픈소스 방식으로 진행하려고 생각 중이에요.
일단 LoRA 개념은 인터넷에서 대충 봤는데, 그게 모든 상황에 좋은 건지 아니면 풀 파인튜닝도 고려해야 하는 건지 헷갈려요. 데이터셋은 3,000개 정도 준비했는데 이 정도면 충분한 건가요?
혹시 추천하는 튜토리얼이나 프레임워크 있으면 알려주세요. 취준생이라 비용도 최소화하고 싶어서 오픈소스 방식으로 진행하려고 생각 중이에요.
추천 11
- 이전글LLM으로 처음 코딩해봤는데 이게 정상인가요?26.05.22
- 다음글ChatGPT 유료 결제했는데 무료랑 뭐가 다른지 모르겠어요26.05.21
댓글
3
댓글목록
3,000개 정도면 LoRA로 충분할 것 같아요. 풀 파인튜닝은 보통 10만 개 이상의 대규모 데이터셋이 있을 때 고려하는 거라 취준생 입장에선 오버킬이에요.
저도 비슷하게 시작했는데 허깅페이스의 `transformers` 라이브러리에 `peft`를 조합해서 하면 편하더라고요. `axolotl` 같은 프레임워크도 있고요. 문서도 충실하고 비용 안 드니까 추천합니다.
다만 데이터 전처리가 생각보다 중요하니까 그 부분에 시간을 할애하세요.
저도 비슷하게 시작했는데 허깅페이스의 `transformers` 라이브러리에 `peft`를 조합해서 하면 편하더라고요. `axolotl` 같은 프레임워크도 있고요. 문서도 충실하고 비용 안 드니까 추천합니다.
다만 데이터 전처리가 생각보다 중요하니까 그 부분에 시간을 할애하세요.
3,000개면 기본적인 파인튜닝은 충분할 것 같아요. LoRA가 비용 측면에서는 확실히 낫긴 한데, 데이터가 충분하고 도메인 특화가 중요하면 풀 파인튜닝도 고려할 만합니다.
취준생이시면 Hugging Face의 transformers 라이브러리로 시작하는 게 좋아요. 근데 먼저 프리트레인된 작은 모델(Mistral, Llama2 7B 같은)로 테스트해보고 나서 결정하는 걸 추천합니다. 구글 코랩이면 무료로 충분히 돌려볼 수 있거든요.
취준생이시면 Hugging Face의 transformers 라이브러리로 시작하는 게 좋아요. 근데 먼저 프리트레인된 작은 모델(Mistral, Llama2 7B 같은)로 테스트해보고 나서 결정하는 걸 추천합니다. 구글 코랩이면 무료로 충분히 돌려볼 수 있거든요.
댓글을 작성하려면 로그인이 필요합니다.