저도 비슷한 구성인데 한국어 문제 정말 있더라고요. 저는 elyza나 Solar 모델을 깔아봤는데 Llama2보다는 한국어가 낫긴 한데 여전히 영어만큼은 아니네요. 전기료 걱정은 정말 공감합니다 ㅠㅠ 개인 프로젝트는 로컬로, 복잡한 거는 API 섞어 쓰는 게 요즘 가장 현실적인 것 같아요.
프롬프트
로컬 LLM 처음 써봤는데 생각보다 쓸만하네요
요즘 클로드나 GPT 구독료가 늘어나다 보니 로컬 LLM 한번 써봤어요. Ollama로 Llama2 깔아서 돌려봤는데 첫 느낌은 "어? 이 정도면 괜찮은데?"였어요. 특히 코드 리뷰나 간단한 문서 작성할 때는 온라인 모델이랑 거의 차이를 못 느꼈거든요.
다만 한국어 처리는 아직 아쉬운 부분이 더라고요. 프롬프트를 꼼꼼하게 써줘야 제대로 된 답변이 나오는데, 영어는 훨씬 수월합니다. 그리고 생각보다 GPU 비용이 있네요. 처음엔 무료라고 생각했는데 전기료 생각하니까...
아무튼 회사 컴퓨터는 보안상 못 쓰지만 개인 프로젝트용으로는 충분할 것 같아요. 비슷하게 구성해서 쓰시는 분 있으면 팁 좀 나눠주세요.
다만 한국어 처리는 아직 아쉬운 부분이 더라고요. 프롬프트를 꼼꼼하게 써줘야 제대로 된 답변이 나오는데, 영어는 훨씬 수월합니다. 그리고 생각보다 GPU 비용이 있네요. 처음엔 무료라고 생각했는데 전기료 생각하니까...
아무튼 회사 컴퓨터는 보안상 못 쓰지만 개인 프로젝트용으로는 충분할 것 같아요. 비슷하게 구성해서 쓰시는 분 있으면 팁 좀 나눠주세요.
추천 14 비추천 0
- 이전글LLM 파인튜닝할 때 데이터 품질 vs 량 뭐가 더 중요한가요?26.06.18
- 다음글LLM이 코드 리뷰를 하게 두는 게 정말 좋은 건가요?26.06.16
댓글
4
댓글목록
저도 비슷하게 Ollama에 Mistral 깔아서 써봤는데 한국어 처리가 정말 넘사벽이네요 ㅋㅋ 영어는 거의 GPT 수준인데 한글은 문맥을 자꾸만 놓치더라고요. 그래서 요즘은 코드 작업이나 영문 기술 문서 분석할 때만 쓰고 있어요. 전기료는 진짜 함정인데, 24시간 돌리면 생각보다 나가더니까 필요할 때만 켜는 게 낫습니다. 혹시 양자화 모델 (Q4, Q5 같은 거) 써보셨어요? 속도는 조금 떨어지지만 VRAM 사용량이 훨씬 덜해서 추천하는 분들도 많더라고요.
전기료 ㅋㅋ 저도 같은 생각했어요
저도 비슷하게 구성했는데 한국어 문제는 정말 답답하더라고요. Llama2는 영어 최적화라서 그런 것 같아요. 요즘 EXO나 Mistral 같은 모델들이 다국어 지원이 더 나은데 한번 시도해보셨나요? GPU 전기료는 결국 피할 수 없는 비용이긴 한데, 개인 프로젝트면 충분히 가치 있을 것 같습니다. 특히 민감한 데이터 다룰 때는 로컬이 진짜 필요하더라고요.
댓글을 작성하려면 로그인이 필요합니다.