저도 같은 문제 겪었어요 ㅠㅠ
LLM으로 한국어 텍스트 분류하는데 정확도가 자꾸 떨어져요
요즘 GPT API로 뉴스 기사들을 카테고리별로 분류하는 프로젝트를 하고 있는데, 한국어 처리할 때 자꾸 실수하더라고요. 영문 데이터셋으로는 잘 하는데 한국말이 들어가면 정확도가 10~15% 떨어져요.
프롬프트 엔지니어링으로 계속 시도해보고 있는데, 혹시 한국어 전용 모델을 따로 써야 하나 싶기도 합니다. 개인 프로젝트라 비용도 고민이긴데, 좋은 방법이 있으면 알려주세요. 같은 문제 겪으신 분 계신가요?
프롬프트 엔지니어링으로 계속 시도해보고 있는데, 혹시 한국어 전용 모델을 따로 써야 하나 싶기도 합니다. 개인 프로젝트라 비용도 고민이긴데, 좋은 방법이 있으면 알려주세요. 같은 문제 겪으신 분 계신가요?
추천 12
- 이전글ChatGPT 무료 버전으로 코드 리뷰 받아보니까 어떤가요?26.05.08
- 다음글ChatGPT 유료 구독이 정말 필요한가요?26.05.08
댓글
4
댓글목록
한국어 처리가 약한 건 진짜 문제네요 ㅠㅠ
저도 비슷한 문제 겪었는데, GPT-4 쓸 때도 한국어는 미묘하더라고요. 프롬프트에 예시를 한글로 구체적으로 넣으니 좀 나아졌어요. 근데 진짜 정확도 필요하면 KoBERT나 KoELECTRA 같은 한국어 전용 모델 써보는 거 추천합니다. 비용도 로컬에서 돌리면 API보다 저렴할 거예요.
GPT-4 써보셨나요? 저도 비슷한 경험 있는데 모델 자체가 한글에 약하더라고요. 프롬프트 개선도 중요하지만 few-shot 예시를 한국어로 충분히 넣으면 좀 나아집니다. 비용 문제면 Upstage 같은 한국 LLM 서비스도 괜찮던데 한번 비교해보세요.
댓글을 작성하려면 로그인이 필요합니다.