요즘 자사 데이터로 LLM을 파인튜닝해서 써보려고 하는데 비용이 정말 장난이 아니네요. GPT-4 기반으로 하면 토큰당 비용도 비싸고, 오픈소스 모델 파인튜닝도 GPU 비용이 만만치 않더라고요.
요즘 많은 분들이 이런 상황에서 어떻게 해결하시는지 궁금합니다. LoRA 같은 방식으로 비용을 줄이신 분 계신가요? 아니면 그냥 프롬프트 엔지니어링으로 때우는 게 현실적인지 모르겠어요.
회사 예산이 좀 한정적이라서 비용 효율적인 방법이 있으면 알려주세요.
추천 3