저도 미스트랄 7B 써봤는데 정확히 같은 느낌이에요. 빠른 속도는 좋은데 코딩 작업에서는 진짜 답답하더라고요. 결국 RTX 4090 있는 회사 서버에 라마2 70B 깔아놨는데 그 정도면 실무용으로 쓸만한 수준입니다. 개인 프로젝트면 미스트랄 정도면 충분하지만 품질이 필요한 작업은 클로드 같은 클라우드 서비스랑 병행하는 게 현실적이네요.
프롬프트
로컬 LLM 써보니 클라우드 기반이랑 완전 다르네요
요즘 개인 프로젝트용으로 올라마(Ollama)에 미스트랄 7B 깔아서 써봤는데 생각보다 쓸만하더라고요. 응답 속도가 빠르고 프롬프트 토큰에 대한 비용 걱정이 없다는 게 정말 큰 장점인 것 같습니다.
다만 제 노트북 GPU로는 성능이 좀 아쉬웠어요. 같은 질문을 클로드에 던졌을 때보다 답변 품질이 눈에 띄게 떨어지더라고요. 특히 코딩 작업할 때 그런데 추론 속도도 느리고요. 결국 용도별로 구분해서 써야 할 것 같습니다.
혹시 로컬 모델로 실무 프로젝트 하시는 분 계신가요? 어떤 모델 쓰시고 GPU 스펙은 어느 정도인지 궁금합니다.
다만 제 노트북 GPU로는 성능이 좀 아쉬웠어요. 같은 질문을 클로드에 던졌을 때보다 답변 품질이 눈에 띄게 떨어지더라고요. 특히 코딩 작업할 때 그런데 추론 속도도 느리고요. 결국 용도별로 구분해서 써야 할 것 같습니다.
혹시 로컬 모델로 실무 프로젝트 하시는 분 계신가요? 어떤 모델 쓰시고 GPU 스펙은 어느 정도인지 궁금합니다.
추천 10 비추천 0
- 이전글로컬 LLM 돌려봤는데 생각보다 쓸만하네요26.10.08
- 다음글LLM 파인튜닝할 때 LoRA랑 full fine-tuning 선택 기준이 뭔가요?26.10.06
댓글
2
댓글목록
저도 올라마 써봤는데 코딩은 확실히 큰 모델이 나아요. 13B 이상 써보셨어요? RTX 4060 정도면 13B도 버거워서 결국 API 돌아왔네요 ㅠㅠ
댓글을 작성하려면 로그인이 필요합니다.