저도 A100 두 개 가지고 같은 고민 했는데, LoRA로 빨리 테스트 후 좋으면 풀 파인튜닝 하는 게 현실적이더라고요. 데이터 10만~50만 정도면 충분히 풀 파인튜닝도 가능할 것 같은데, 일단 LoRA로 몇 에포크 돌려보고 성능 추이 봐서 결정하는 게 시간도 아끼고 좋았어요.
LLM 파인튜닝 할 때 LoRA vs 풀 파인튜닝, 뭘 선택해야 하나요?
요즘 개인 프로젝트로 한국어 특화 모델 만들어보려고 하는데, LoRA로 할지 풀 파인튜닝으로 할지 고민이 많네요. 비슷한 상황이었던 분들 의견 좀 들어보고 싶습니다.
일단 제가 알기론 LoRA는 가중치의 일부만 학습해서 메모리도 적게 쓰고 속도도 빠르다고 했는데, 실제로는 성능 차이가 꽤 있는 건가요? 정말 큰 차이는 아닌데 약간씩 떨어진다는 말도 있고, 거의 비슷하다는 말도 있어서 헷갈리네요.
제 상황은 A100 한두 개 정도의 자원만 있고, 데이터셋은 대략 10만~50만 개 정도 되는 상황입니다. 취미 프로젝트라 시간은 좀 걸려도 괜찮은데, 결과물의 품질이 좀 중요하거든요. 이 정도면 풀 파인튜닝 가능한가요?
그리고 혹시 하이브리드 방식처럼 처음엔 LoRA로 빨리 돌려보고 좋은 거 같으면 풀 파인튜닝 하는 식으로 진행해본 분 있으신가요? 요즘 MLOps 커뮤니티에서는 그렇게 하는 게 최근 트렌드래요. 혹은 다른 좋은 방법이 있으면 알려주세요.
일단 제가 알기론 LoRA는 가중치의 일부만 학습해서 메모리도 적게 쓰고 속도도 빠르다고 했는데, 실제로는 성능 차이가 꽤 있는 건가요? 정말 큰 차이는 아닌데 약간씩 떨어진다는 말도 있고, 거의 비슷하다는 말도 있어서 헷갈리네요.
제 상황은 A100 한두 개 정도의 자원만 있고, 데이터셋은 대략 10만~50만 개 정도 되는 상황입니다. 취미 프로젝트라 시간은 좀 걸려도 괜찮은데, 결과물의 품질이 좀 중요하거든요. 이 정도면 풀 파인튜닝 가능한가요?
그리고 혹시 하이브리드 방식처럼 처음엔 LoRA로 빨리 돌려보고 좋은 거 같으면 풀 파인튜닝 하는 식으로 진행해본 분 있으신가요? 요즘 MLOps 커뮤니티에서는 그렇게 하는 게 최근 트렌드래요. 혹은 다른 좋은 방법이 있으면 알려주세요.
추천 7
- 이전글요즘 ChatGPT vs Claude 뭐가 더 나아요?26.09.05
- 다음글ChatGPT 유료 vs 무료, 실제로 얼마나 차이 나나요?26.09.02
댓글
2
댓글목록
A100 한두 개면 충분히 풀 파인튜닝 가능하네요. 10만~50만 데이터셋 규모면 더더욱이고요.
저도 비슷한 상황에서 LoRA부터 시작했는데, 실제로는 품질 차이가 생각보다 크더라고요. 특히 한국어 같은 언어 특화 작업이면 더 그런 것 같습니다.
하이브리드 방식은 좋은 생각인데, 시간이 괜찮으시면 그냥 바로 풀 파인튜닝 하는 게 낫습니다. 학습 진행 상황 보면서 조정하는 게 더 효율적거든요. 어차피 A100이면 시간도 그리 오래 안 걸릴 겁니다.
저도 비슷한 상황에서 LoRA부터 시작했는데, 실제로는 품질 차이가 생각보다 크더라고요. 특히 한국어 같은 언어 특화 작업이면 더 그런 것 같습니다.
하이브리드 방식은 좋은 생각인데, 시간이 괜찮으시면 그냥 바로 풀 파인튜닝 하는 게 낫습니다. 학습 진행 상황 보면서 조정하는 게 더 효율적거든요. 어차피 A100이면 시간도 그리 오래 안 걸릴 겁니다.
댓글을 작성하려면 로그인이 필요합니다.