RTX 4070면 충분하네요. 저도 비슷한 사양에서 Llama2 13B 돌리는데 4bit 양자화하면 체감상 딜레이 거의 없어요. 한국어는 솔직히 기본 모델들이 약하긴 한데, elyza 같은 한국어 특화 모델 써보시면 훨씬 낫습니다. ollama로 간단히 시작할 수 있으니 먼저 가볍게 테스트해보시는 거 추천드려요.
파인튜닝
요즘 로컬 LLM 돌려보신 분 계신가요?
회사에서 클라우드 기반 API 쓰다가 개인 프로젝트에서 로컬로 돌려볼 생각을 하고 있는데, 솔직히 어디서부터 시작해야 할지 감이 안 잡혀요. 라마2, 미스트랄 이런 거들 있던데 실제로 얼마나 쓸 만한지 궁금하네요.
GPU는 RTX 4070 정도 있고, 한국어 처리도 어느 정도 되어야 하는데 이 정도 사양으로 충분한가요? 생각보다 비용이 많이 들 것 같아서 좀 주저되긴 합니다.
혹시 직접 돌려보신 분들 후기 들으면 좋을 것 같아요. 어떤 모델 썼을 때 체감이 좋았는지, 실제 쓸 때 불편한 점 같은 거 말이에요.
GPU는 RTX 4070 정도 있고, 한국어 처리도 어느 정도 되어야 하는데 이 정도 사양으로 충분한가요? 생각보다 비용이 많이 들 것 같아서 좀 주저되긴 합니다.
혹시 직접 돌려보신 분들 후기 들으면 좋을 것 같아요. 어떤 모델 썼을 때 체감이 좋았는지, 실제 쓸 때 불편한 점 같은 거 말이에요.
추천 6 비추천 0
- 이전글LLM 파인튜닝 vs RAG, 우리 회사 상황에선 뭐가 맞을까요?26.07.30
- 다음글최근 오픈소스 LLM들 양자화 후 성능 비교해본 분 있나요?26.07.08