2026.08.08 접속자 116
로그인 회원가입
HOT
[AI뉴스] 요즘 AI 산업 진짜 어디까지 왔대? 올해 상반기 트렌드 정리해봤어요 [AI뉴스] 2026년 AI 트렌드 정리... 이제 생성형AI 아니라 에이전트AI 시대네요 [프롬프트] 업무 자동화 프롬프트 만들면서 깨달은 것들 공유합니다 [자유게시판] 편의점 카페 커피 한 달 매일 마셨더니 [자유게시판] 요즘 편의점 도시락 진짜 괜찮던데 가격이 문제네요 [AI뉴스] 최근 AI 대형사들 이 정도 수준까지 올라왔다고? [프롬프트] 업무 자동화 프롬프트 공유 - 엑셀 데이터 정리할 때 쓰는 거 [자유게시판] 편의점 야간알바 3개월 해본 후기 [프롬프트] 업무 자동화할 때 효과본 프롬프트 패턴 공유합니다 [기술 Q&A] LLM 파인튜닝할 때 토큰 길이 제한 때문에 고민이네요 [AI뉴스] 요즘 AI 산업 진짜 어디까지 왔대? 올해 상반기 트렌드 정리해봤어요 [AI뉴스] 2026년 AI 트렌드 정리... 이제 생성형AI 아니라 에이전트AI 시대네요 [프롬프트] 업무 자동화 프롬프트 만들면서 깨달은 것들 공유합니다 [자유게시판] 편의점 카페 커피 한 달 매일 마셨더니 [자유게시판] 요즘 편의점 도시락 진짜 괜찮던데 가격이 문제네요 [AI뉴스] 최근 AI 대형사들 이 정도 수준까지 올라왔다고? [프롬프트] 업무 자동화 프롬프트 공유 - 엑셀 데이터 정리할 때 쓰는 거 [자유게시판] 편의점 야간알바 3개월 해본 후기 [프롬프트] 업무 자동화할 때 효과본 프롬프트 패턴 공유합니다 [기술 Q&A] LLM 파인튜닝할 때 토큰 길이 제한 때문에 고민이네요
프롬프트

최근 LLM 양자화(quantization) 방식 뭐 쓰세요?

딥러닝장인 2026.08.08 03:30 조회 1 추천 0 댓글 0건
요즘 로컬에서 큰 모델 돌리려고 양자화 공부 중인데 GGUF랑 AWQ 중에 뭐가 더 실용적인지 궁금하네요. 속도 vs 품질 트레이드오프에서 어디 선택하시는 분들이 많은지 궁금합니다.

지금까지 써본 건 GGUF인데 4비트 양자화도 꽤 괜찮더라고요. 근데 요즘 AWQ가 좀 더 품질 유지한다는 거 보니까 한번 비교해봐야 할 것 같아요.

혹시 최근에 이거 직접 비교해보신 분 계신가요? 실제 사용할 때 체감 차이가 있을까요?
추천 0 비추천 0
댓글 0

댓글목록

아직 댓글이 없습니다. 첫 댓글을 남겨보세요!