Ollama 정말 편하더라고요. 저도 비슷한 셋업으로 써봤는데 7B는 진짜 괜찮은데 13B는 VRAM 관리가 좀 까다롭긴 하네요. 혹시 양자화 모델(Q4_K_M 같은) 써봤어요? 속도 크게 안 떨어지면서도 메모리는 훨씬 효율적이더라고요.
오류해결
Llama 2를 로컬에서 돌려봤는데 생각보다 괜찮네요
요즘 오픈소스 LLM이 많아져서 한 번 직접 띄워보고 싶었거든요. 그래서 Llama 2를 Ollama로 로컬에 깔아서 며칠 써본 후기를 공유해봅니다.
우선 설치 자체는 정말 쉬웠어요. Ollama 설치하고 ollama run llama2 명령어 한 줄이면 끝이거든요. 7B 모델도 충분히 빠르고, 13B는 좀 무거운 편이지만 우리 팀 개발 PC(RTX 4070)에서는 그럭저럭 돌아갔습니다. GPU 없는 분들은 CPU로도 되긴 하는데 답 나오는 데 시간이 꽤 걸릴 거 같아요.
가장 놀랐던 건 한국어 성능인데, 역시 ChatGPT나 Claude보다는 떨어지지만 웹 개발 관련 질문 같은 건 충분히 답할 만했습니다. 물론 복잡한 논리나 창의적인 작업은 한계가 있긴 해요. 근데 코드 리뷰나 간단한 리팩토링 제안 정도는 실무에서 써도 될 정도네요.
다만 문맥 길이가 4K 정도라 긴 파일 전체를 던지기는 어렵다는 게 아쉬워요. 실제로 작업할 때는 클로드나 GPT 4 터보 같은 긴 컨텍스트를 지원하는 모델과 섞어서 써야 할 것 같습니다. 그리고 개인정보나 회사 코드 같은 민감한 거 다룰 때는 로컬에서 도는 게 확실히 마음이 편하더라고요.
결론적으로 프로토타입이나 간단한 작업에는 충분히 쓸 만하고, 뭣보다 무료거든요. 관심 있으신 분들은 한 번 설치해보시는 걸 추천드립니다. 혹시 써보신 분들 중에 더 나은 설정이나 팁 있으면 댓글로 알려주세요.
우선 설치 자체는 정말 쉬웠어요. Ollama 설치하고 ollama run llama2 명령어 한 줄이면 끝이거든요. 7B 모델도 충분히 빠르고, 13B는 좀 무거운 편이지만 우리 팀 개발 PC(RTX 4070)에서는 그럭저럭 돌아갔습니다. GPU 없는 분들은 CPU로도 되긴 하는데 답 나오는 데 시간이 꽤 걸릴 거 같아요.
가장 놀랐던 건 한국어 성능인데, 역시 ChatGPT나 Claude보다는 떨어지지만 웹 개발 관련 질문 같은 건 충분히 답할 만했습니다. 물론 복잡한 논리나 창의적인 작업은 한계가 있긴 해요. 근데 코드 리뷰나 간단한 리팩토링 제안 정도는 실무에서 써도 될 정도네요.
다만 문맥 길이가 4K 정도라 긴 파일 전체를 던지기는 어렵다는 게 아쉬워요. 실제로 작업할 때는 클로드나 GPT 4 터보 같은 긴 컨텍스트를 지원하는 모델과 섞어서 써야 할 것 같습니다. 그리고 개인정보나 회사 코드 같은 민감한 거 다룰 때는 로컬에서 도는 게 확실히 마음이 편하더라고요.
결론적으로 프로토타입이나 간단한 작업에는 충분히 쓸 만하고, 뭣보다 무료거든요. 관심 있으신 분들은 한 번 설치해보시는 걸 추천드립니다. 혹시 써보신 분들 중에 더 나은 설정이나 팁 있으면 댓글로 알려주세요.
추천 5 비추천 0
- 이전글트랜스포머 모델에서 attention weight 시각화 어떻게 하시나요?26.10.27
- 다음글로컬 LLM 써보신 분들 어떤 거 추천하세요?26.10.19