RTX 4060이면 Llama 2 7B나 Mistral 정도는 충분해요. 저도 4060으로 돌려봤는데 코딩 작업은 괜찮더라고요. 다만 응답 속도가 클라우드보다 느린 건 감수해야 합니다.
프롬프트
요즘 로컬 LLM 써보신 분들 있어요?
클라우드 기반 AI 서비스 비용이 자꾸만 올라가서 로컬 LLM으로 넘어갈까 고민 중입니다. 요즘 오픈소스 모델들이 성능도 나아지고 있다는 얘기는 들었는데 실제로 얼마나 쓸만한지 잘 모르겠더라고요.
특히 코딩이나 문서 작성 같은 일상 작업에 괜찮은지, 그리고 GPU 사양은 어느 정도 필요한지 궁금합니다. RTX 4060 정도면 충분할까요? 요즘 Llama 2나 Mistral 이런 거들 써보신 분 계시면 후기 부탁드려요.
특히 코딩이나 문서 작성 같은 일상 작업에 괜찮은지, 그리고 GPU 사양은 어느 정도 필요한지 궁금합니다. RTX 4060 정도면 충분할까요? 요즘 Llama 2나 Mistral 이런 거들 써보신 분 계시면 후기 부탁드려요.
추천 9 비추천 0
- 이전글LLM 파인튜닝 할 때 LoRA vs QLoRA 뭐가 나을까요?26.09.28
- 다음글요즘 LLM fine-tuning할 때 뭐 쓰세요?26.09.26