최근에 회사에서 AI 챗봇 프로젝트를 맡게 됐는데, 모델 선택하는 게 진짜 헷갈리네요. GPT-4, Claude, Gemini, Llama 등등 너무 많고 각각의 장단점이 뭔지 잘 모르겠어요. 혹시 어떤 기준으로 선택하는 게 맞는지 조언해주실 분 계신가요?
저희 프로젝트는 고객 상담용 챗봇이라서 정확도도 중요하지만 응답 속도도 꽤 중요한 상황입니다. API 비용도 당연히 고려해야 하고요. 지금 회사에서는 비용 절감을 원하다 보니까 가능하면 오픈소스 모델 쓰는 걸 선호하는데, 오픈소스로도 충분할까 싶기도 해요. 성능 면에서 타협이 많이 필요한 건 아닐까 우려되거든요.
요즘 업계에서는 주로 어떤 조합을 많이 쓰는지 궁금해요. 예를 들어 상담 초반엔 가벼운 모델 쓰다가 복잡한 질문 나오면 더 큰 모델로 라우팅하는 식의 방식도 있다고 들었는데, 실제로 그렇게 하시는 분들 계신가요?
그리고 하나 더 질문하자면, 미세조정(fine-tuning)을 고려해야 하는 상황과 그냥 프롬프트 엔지니어링으로 충분한 상황의 차이가 뭔지도 궁금합니다. 저희 데이터가 그렇게 많지는 않은데 굳이 미세조정까지 해야 하는 건지 잘 모르겠어요.
경험상 이런 상황에서 뭘 추천해주실 수 있을까요? 아니면 비슷한 프로젝트 경험하신 분들의 후기도 듣고 싶습니다.