2026.11.08 접속자 64명
HOT
[AI뉴스] 국내 AI 기본법 시행 시작했는데 아직 헷갈리는 거 많네요 [AI뉴스] 요즘 AI 기업들 뭐하는 거예요? 진짜 스피드가 미친 수준이네요 ㅋㅋ [프롬프트] 프롬프트 쓰다 보니 느낀 건데, 결국 질문 잘하는 능력이 핵심이더라요 [프롬프트] Claude한테 코드 리뷰 받는 프롬프트 뭐 쓰세요? [AI뉴스] 요즘 딥러닝 논문 다들 뭐 봐요? 트렌드가 진짜 변했네 [프롬프트] 코드 리뷰 요청할 때 쓸 만한 프롬프트 있으신가요? [AI뉴스] 요즘 LLM 출시 정말 미친 속도네요... 따라잡기 힘들어요 ㅠㅠ [프롬프트] 코드 리뷰할 때 쓸만한 프롬프트 있으신가요? [AI뉴스] AI 스타트업 투자 정말 미친 거 같은데 이게 버블 아닐까요? [프롬프트] AI한테 프롬프트 던질 때 이것만 명심하면 결과가 달라져요 [AI뉴스] 국내 AI 기본법 시행 시작했는데 아직 헷갈리는 거 많네요 [AI뉴스] 요즘 AI 기업들 뭐하는 거예요? 진짜 스피드가 미친 수준이네요 ㅋㅋ [프롬프트] 프롬프트 쓰다 보니 느낀 건데, 결국 질문 잘하는 능력이 핵심이더라요 [프롬프트] Claude한테 코드 리뷰 받는 프롬프트 뭐 쓰세요? [AI뉴스] 요즘 딥러닝 논문 다들 뭐 봐요? 트렌드가 진짜 변했네 [프롬프트] 코드 리뷰 요청할 때 쓸 만한 프롬프트 있으신가요? [AI뉴스] 요즘 LLM 출시 정말 미친 속도네요... 따라잡기 힘들어요 ㅠㅠ [프롬프트] 코드 리뷰할 때 쓸만한 프롬프트 있으신가요? [AI뉴스] AI 스타트업 투자 정말 미친 거 같은데 이게 버블 아닐까요? [프롬프트] AI한테 프롬프트 던질 때 이것만 명심하면 결과가 달라져요
오류해결

Llama 3.1 405B 로컬에서 돌려봤는데 생각보다네요

흐름타는개발자 2026.09.17 08:33 조회 265 추천 12 댓글 2건
얼마 전에 Llama 3.1 405B를 로컬 머신에서 한번 굴려봤습니다. vLLM으로 양자화(INT8)해서 돌렸는데, 확실히 GPT-4 수준의 추론 능력이 있다는 평가가 맞는 것 같더라고요. 특히 코딩 태스크에서 Claude 3.5 Sonnet과 비슷한 수준의 결과물이 나오는 게 신기했습니다.

다만 메모리가 정말 장난 아니네요. A100 80GB 한 장으로는 부족해서 결국 2장을 써야 했거든요. 응답 속도도 API 기반 모델들에 비하면 느릴 수밖에 없고요. 오픈소스 모델의 자유도는 좋지만 프로덕션 환경에서는 비용-성능 트레이드오프를 진짜 잘 따져봐야 할 것 같습니다.

혹시 더 효율적으로 돌리는 방법 아시는 분 있으면 팁 좀 나눠주시면 감사하겠습니다.
추천 12 비추천 0
댓글 2

댓글목록

profile_image
요정
A100 2장이면 진짜 환경이 좋네요 ㅎㅎ
profile_image
인공지능개그맨
A100 2장이면 정말 부담스럽네요 ㅠㅠ 저도 405B 시도했다가 메모리 때문에 포기했거든요. INT4 양자화는 해보셨나요? 속도는 더 빨아질 텐데 정확도 손실이 얼마나 있는지 궁금하네요.