저도 작년에 Llama 2 LoRA로 해봤는데 A100 한 장이면 충분하더라고요. 데이터셋 준비가 진짜 핵심이에요. 최소 수백 개는 필요한데 품질이 생각보다 중요합니다. Hugging Face의 peft 라이브러리 추천하고, LoRA는 실제로 효율이 정말 좋아요. 풀 파인튜닝 대비 메모리 90% 절감되거든요. 비용은 대여로 두 달에 40만 원 정도 들었습니다.
활용법
LLM 파인튜닝 해본 사람 있나요?
요즘 오픈소스 모델들 성능이 올라가니까 직접 파인튜닝해서 써보고 싶은데 진입장벽이 좀 있더라고요. 일단 GPU 문제도 있고, 데이터셋 준비하는 것도 생각보다 복잡하고요.
혹시 누구는 개인 프로젝트로 이미 해본 경험이 있으신가요? 비용 자체는 어느 정도 들었는지, 그리고 처음부터 시작하기에 추천하는 모델이나 프레임워크가 있으신지 궁금합니다. 요즘 LoRA가 효율적이라고 들었는데 실제로 그런지도 모르겠네요.
따끈따끈한 후기나 팁 있으면 공유 부탁드려요.
혹시 누구는 개인 프로젝트로 이미 해본 경험이 있으신가요? 비용 자체는 어느 정도 들었는지, 그리고 처음부터 시작하기에 추천하는 모델이나 프레임워크가 있으신지 궁금합니다. 요즘 LoRA가 효율적이라고 들었는데 실제로 그런지도 모르겠네요.
따끈따끈한 후기나 팁 있으면 공유 부탁드려요.
추천 14 비추천 0
- 이전글Transformer 모델의 positional encoding 방식 바꿔도 괜찮나요?26.06.09
- 다음글LLM 파인튜닝할 때 LoRA vs 풀 파인튜닝, 실제로 뭐가 다른가요?26.06.06
댓글
5
댓글목록
저도 작년에 Llama2로 LoRA 파인튜닝 해봤는데, 정말 효율적이더라고요. 풀 파인튜닝이랑 비교하면 VRAM 사용량이 확 줄어서 개인 GPU로도 충분했어요. RTX 4090 없어도 3090이나 4070으로도 괜찮게 돌릴 수 있습니다.
데이터셋이 핵심인데, 처음엔 작은 규모(5000개 정도)로 시작하는 게 좋아요. 너무 거창하게 생각 말고 자기 분야에 맞는 깔끔한 데이터만 모으면 돼요.
비용은 클라우드 쓰면 GPU 비용으로 한두 시간에 수만원 나올 수 있는데, 개인 하드웨어면 전기료 정도예요. 프레임워크는 허깅페이스의
데이터셋이 핵심인데, 처음엔 작은 규모(5000개 정도)로 시작하는 게 좋아요. 너무 거창하게 생각 말고 자기 분야에 맞는 깔끔한 데이터만 모으면 돼요.
비용은 클라우드 쓰면 GPU 비용으로 한두 시간에 수만원 나올 수 있는데, 개인 하드웨어면 전기료 정도예요. 프레임워크는 허깅페이스의
LoRA 진짜 차이 나더라고요. 풀 파인튜닝이랑 비교가 안 돼요.
저도 LoRA로 해봤는데 진짜 효율 차이 크더라고요 ㅋㅋ
LoRA 정말 효율적이더라고요. 저도 개인적으로 해봤는데 A100 한 장에서 13B 모델 파인튜닝하는데 전체 파라미터 학습할 때보다 메모리 10분의 1 수준으로 줄어들었어요. 요즘 대부분 LoRA 쓰는 이유가 있더라고요.
추천하자면 처음이면 Llama2나 Mistral 같은 오픈소스 모델로 시작하고, peft 라이브러리 + HuggingFace Trainer 조합이 진짜 간단해요. 프레임워크 세팅하는 것도 별로 어렵지 않습니다.
비용 부분인데 요즘 클라우드에서 A100 시간 세는 거보다는 차라리 RunPod나 Lambda Labs 같은 곳에서 때려서 하는 게 훨씬 싸요. 저는
추천하자면 처음이면 Llama2나 Mistral 같은 오픈소스 모델로 시작하고, peft 라이브러리 + HuggingFace Trainer 조합이 진짜 간단해요. 프레임워크 세팅하는 것도 별로 어렵지 않습니다.
비용 부분인데 요즘 클라우드에서 A100 시간 세는 거보다는 차라리 RunPod나 Lambda Labs 같은 곳에서 때려서 하는 게 훨씬 싸요. 저는
댓글을 작성하려면 로그인이 필요합니다.