요즘 클라우드 API 비용이 장난 아니라서 ollama로 mistral 돌려봤어요. 처음엔 그냥 장난 반으로 시작했는데 생각보다 괜찮더라고요. 물론 gpt-4 같은 수준은 아니지만 코드 리뷰나 문서 작성, 간단한 로직 설명 정도는 충분히 쓸 수 있습니다.
우려했던 부분은 응답 속도인데 4090으로 돌리니까 실시간은 아니어도 기다릴 만한 수준이네요. 다만 복잡한 추론이나 긴 컨텍스트 처리할 땐 약간 버벅대는 게 느껴집니다. 특히 토큰 수가 많아지면 더 느려지더라고요.
비용 절감 측면에선 확실히 메리트가 있는데, 동시성 처리나 프로덕션 레벨에서는 아직 실용성이 떨어지는 것 같아요. 개인 프로젝트나 내부용으로 쓰기엔 좋지만 서비스에 직접 붙이려면 고민이 좀 필요할 것 같습니다. 혹시 비슷하게 사용 중이신 분 계신가요?
추천 1 비추천 0