LLM 파인튜닝 처음 하는데 LoRA랑 Full Fine-tuning 뭐부터 해야 할까요?

요즘 회사에서 우리 도메인에 맞는 AI 모델을 구축해야 하는데, 파인튜닝 관련해서 자료를 찾다 보니 방법이 여러 개더라고요. 처음에는 어디서부터 시작해야 할지 고민이 됐는데, 최근에 몇 가지 시도해본 경험을 공유하려고 합니다.

일단 Full Fine-tuning은 모델의 모든 파라미터를 업데이트하는 방식이라 학습 효과는 좋지만 GPU 메모리를 엄청 많이 먹습니다. 저희 팀도 처음엔 이 방법으로 시작하려다가 메모리 부족으로 금방 포기했거든요. 반면에 LoRA는 적은 수의 추가 파라미터만 학습해서 훨씬 가벼운데, 실제 성능은 생각보다 크게 떨어지지 않더라고요.

제 경험상 초보자라면 LoRA부터 시작하는 걸 강력 추천합니다. 학습 시간도 짧고, GPU도 적게 필요하고, 여러 번 시행착오를 거칠 수 있거든요. 저희도 LoRA로 몇 가지 버전을 만들어본 후에 성능이 만족스러워진 설정으로 Full Fine-tuning을 시도했어요. 그리고 데이터 전처리가 생각보다 중요한데, 아무리 좋은 모델이어도 데이터가 이상하면 결과가 별로예요.

혹시 특정 모델을 염두에 두고 계신가요? Llama, Mistral, GPT 계열 같이 모델마다 조금씩 다르기도 해요. 구체적으로 얘기해주시면 더 도움이 될 것 같습니다.