llama2는 확실히 한국어 약한 편이더라고요. 요즘 mistral이나 neural chat 같은 모델들이 꽤 괜찮은데 한번 비교해봐도 좋을 것 같아요. 파인튜닝은 데이터 좋으면 도움 되긴 하는데 로컬에선 리소스가 딸릴 수 있으니 모델 교체 먼저 시도해보시는 게 나을 것 같네요.
오류해결
로컬 LLM이랑 API 기반 모델 성능 차이가 이 정도나 나요?
최근에 ollama로 llama2 돌려보고 있는데, gpt-4랑 비교하면 확실히 답변 품질이 떨어지더라고요. 특히 한국어 처리할 때 더 그런 것 같아요. 파인튜닝으로 좀 나아질까 생각 중인데 실제로 효과가 있을까요?
개인 프로젝트라 비용을 최소화하려고 로컬에서 돌리고 싶은데, 성능을 포기해야 하나 싶기도 하고요. 혹시 로컬 환경에서 쓸 만한 더 좋은 모델이 있으면 추천 부탁드립니다. 요즘 뜨는 오픈소스 모델들 중에 괜찮은 거 있으신가요?
개인 프로젝트라 비용을 최소화하려고 로컬에서 돌리고 싶은데, 성능을 포기해야 하나 싶기도 하고요. 혹시 로컬 환경에서 쓸 만한 더 좋은 모델이 있으면 추천 부탁드립니다. 요즘 뜨는 오픈소스 모델들 중에 괜찮은 거 있으신가요?
추천 14 비추천 0
- 이전글LLM 파인튜닝할 때 LoRA vs Full 파인튜닝 뭐가 나으세요?26.08.10
- 다음글최근 LLM 양자화(quantization) 방식 뭐 쓰세요?26.08.08
댓글
2
댓글목록
Llama2는 확실히 한국어가 약한 편이더라고요. Mistral이나 Neural Chat 같은 모델들이 좀 나으니 시도해봐도 좋습니다. 다만 파인튜닝은 데이터셋 품질이 중요한데 소규모라면 효과가 제한적일 수 있어요. 차라리 Llama2-ko 같이 한국어 특화된 모델을 시도해보는 게 더 효율적일 것 같습니다.
댓글을 작성하려면 로그인이 필요합니다.