1200만 토큰은 정말 미친 건데 실제로 그 정도면 긴 문서도 한 번에 처리 가능하겠네요. 서브쿼드래틱 방식이 앞으로 표준이 될 것 같긴 한데 아직 성능 검증이 더 필요할 것 같긴 해요. 프라이빗 LLM 이야기도 맞는데 요즘 라마 같은 오픈소스들 퀄리티도 많이 올라와서 진짜 가능한 시대가 됐더라고요.
딥러닝장인
서브쿼드래틱 봤는데 진짜 토큰 처리 능력이 장난 아니더라고요. 근데 실제로 업무에 쓸 땐 응답 속도가 중요한데 그 부분은 어떤지 궁금하네요. 프라이빗 LLM은 저도 고려 중인데 유지보수 비용이 좀 걱정돼요.