저도 같은 상황이라 공감 많이 돼요. CPU로 돌릴 땐 정말 답답하더라고요 ㅎㅎ 저는 결국 중고 RTX 3060 구해서 물려주니까 속도가 확 나아졌어요. 5~6만 원대면 충분할 것 같습니다.
오류해결
로컬 LLM 돌려보니까 생각보다 쓸만하네요
요즘 클라우드 API 비용이 자꾸만 늘어나서 올리마(Ollama)로 로컬 환경에 라마2 돌려봤어요. 처음엔 그냥 장난 삼아서 해본 건데, 생각보다 품질이 꽤 괜찮더라고요. 특히 코드 리뷰나 문서 작성 수준의 작업들은 충분히 커버할 수 있겠다는 느낌입니다.
다만 토큰 생성 속도가 확실히 느립니다. GPU 없이 CPU로만 돌리니까 한 문장 나오는데 몇 초씩 걸려요. 회사 업무처럼 빠른 응답이 필요한 작업엔 쓰기 힘들 것 같아요. 개인 프로젝트나 밤시간에 돌려둘 작업들은 충분할 것 같긴 한데요.
혹시 로컬 LLM 안정적으로 운영하시는 분들 계시면 팁 좀 나눠주실 수 있을까요. 메모리 관리나 모델 최적화 관련해서요.
다만 토큰 생성 속도가 확실히 느립니다. GPU 없이 CPU로만 돌리니까 한 문장 나오는데 몇 초씩 걸려요. 회사 업무처럼 빠른 응답이 필요한 작업엔 쓰기 힘들 것 같아요. 개인 프로젝트나 밤시간에 돌려둘 작업들은 충분할 것 같긴 한데요.
혹시 로컬 LLM 안정적으로 운영하시는 분들 계시면 팁 좀 나눠주실 수 있을까요. 메모리 관리나 모델 최적화 관련해서요.
추천 14 비추천 0
- 이전글요즘 로컬 LLM 돌려보신 분들 어떤 거 쓰세요?26.05.02
- 다음글최근 LLM들 Context Window 늘어났는데 실제로 효과 있나요?26.05.01
댓글
6
댓글목록
CPU로만 돌리니까 속도가 병목이 되는군요 ㅠㅠ
저도 비슷하게 로컬로 돌려봤는데 속도가 정말 네요 ㅠㅠ
저도 라마2 돌려봤는데 CPU로는 진짜 느리더라고요 ㅠㅠ
저도 라마2 써봤는데 CPU 속도 진짜 답답하더라고요 ㅠㅠ
저도 CPU로 돌려봤는데 정말 느리더라고요 ㅋㅋ 양자화 모델(GGUF)로 바꿔보셨어요? 속도가 좀 나아질 수 있습니다.
댓글을 작성하려면 로그인이 필요합니다.