요즘 Llama 2 같은 오픈소스 모델들이 많이 나오면서 로컬에서 돌려보려는데, 실제로 얼마나 쓸만한 수준인지 모르겠어요. 클라우드 API(ChatGPT, Claude)는 비용이 계속 나가니까 차라리 로컬에서 자체 운영하는 게 낫지 않을까 싶거든요.
지금 RTX 3090으로 테스트해보고 있는데 Llama 2 70B 모델 돌려보니 응답 속도가 상당히 느리더라고요. 토큰당 몇 초씩 걸리니까 실무에 쓰기는 거의 불가능해 보였어요. 그래서 양자화해서 한번 돌려봤는데, 그러면 속도는 나아지지만 품질이 눈에 띄게 떨어지는 게 느껴졌습니다. 실제로 이런 트레이드오프를 어떻게 관리하고 계신지 궁금해요.
또 하나는 파인튜닝 문제인데요. 회사 내부 데이터로 특화된 모델을 만들고 싶은데, 로컬에서 충분히 가능한지 모르겠어요. 데이터셋 크기나 필요한 리소스 수준이 어느 정도인지 알고 싶습니다. 보안 때문에 클라우드 서비스는 못 쓰는 상황이라서 반드시 온프레미스로 해야 해요.
혹시 이런 방향으로 가신 분들이 있으면 경험담이나 실제 선택 기준 공유해주실 수 있을까요? 비용 대비 성능, 유지보수 난이도, 배포 난이도 같은 현실적인 부분들 말이에요. 그리고 정말 로컬 LLM이 프로덕션에 쓸 수 있을 정도인지도 궁금합니다.