12GB면 QLoRA로 충분히 가능해요. 저도 RTX 3060으로 7B 모델 파인튜닝 해봤는데 잘 돌아가더라고요. batch size만 작게 해서 하면 될 거예요.
오늘도살자
12GB면 QLoRA로 충분히 가능해요. 저도 RTX3060 12GB로 Llama2 7B 파인튜닝했는데 잘 됐습니다. 다만 배치 사이즈를 4 정도로 낮추고 gradient accumulation 써야 하더라고요. 4-bit 양자화랑 LoRA 결합하면 메모리 훨씬 절약되니까 문제없을 겁니다. 튜토리얼의 24GB는 대부분 풀 파라미터 파인튜닝 기준이라 너무 신경 쓸 필요 없어요.