저도 비슷한 고민이었는데 결국 로컬보다 claude api 쓰는 게 낫더라고요. 한국어는 정말 문제네요. eeve-korean 같은 모델도 있긴 한데 기대 이하였어요.
프롬프트
로컬 LLM 실제로 쓸만한 수준까지 왔나요?
요즘 llama2나 mistral 같은 오픈소스 모델들이 많이 나오는데, 실무에서 실제로 쓰시는 분들 계신가요? 개인 프로젝트로 한번 돌려봤는데 응답 속도는 빠른데 정확도가 좀 아쉽더라고요.
특히 한국어 처리가 문제인 것 같은데, 한국 데이터로 파인튜닝을 따로 해야 하나 싶어요. 혹은 이미 잘 만들어진 한국형 모델 있으면 추천 부탁합니다. 클라우드 API 가격이 자꾸 올라서 로컬로 돌릴 수 있는 게 있으면 좋겠는데 현실적으로 얼마나 될지 모르겠네요.
비슷한 시도를 하신 분 있으면 경험담 좀 공유해주세요.
특히 한국어 처리가 문제인 것 같은데, 한국 데이터로 파인튜닝을 따로 해야 하나 싶어요. 혹은 이미 잘 만들어진 한국형 모델 있으면 추천 부탁합니다. 클라우드 API 가격이 자꾸 올라서 로컬로 돌릴 수 있는 게 있으면 좋겠는데 현실적으로 얼마나 될지 모르겠네요.
비슷한 시도를 하신 분 있으면 경험담 좀 공유해주세요.
추천 13 비추천 0
- 이전글요즘 로컬 LLM으로 뭐 쓰고 계세요?26.08.28
- 다음글LLM 로컬 배포 해본 사람 있나요? 생각보다 까다로운데26.08.26