저도 같은 문제로 고생하고 있어요. 청크 나누면 정말 품질이 떨어지네요.
프롬프트
LLM 토큰 길이 제한 때문에 고민이네요
요즘 장문 문서 분석 작업에 GPT-4랑 Claude 돌려보고 있는데, 토큰 제한이 걸리는 상황이 자주 생기더라고요. 특히 30페이지 이상의 PDF를 한 번에 분석해야 할 때 문제가 돼요. 청크로 나눠서 하면 컨텍스트가 깨져서 분석 품질이 떨어지고, 그렇다고 유료 API 열심히 쓰면 비용이 장난 아니거든요.
혹시 이런 상황에서 토큰 길이 문제를 우아하게 처리하는 방법이 있나요? 요약 먼저 하고 돌리는 방식도 있을 텐데, 그럼 정보 손실이 생길까봐 걱정되고요. 혹은 다른 모델이나 솔루션을 쓰는 게 나을까요?
혹시 이런 상황에서 토큰 길이 문제를 우아하게 처리하는 방법이 있나요? 요약 먼저 하고 돌리는 방식도 있을 텐데, 그럼 정보 손실이 생길까봐 걱정되고요. 혹은 다른 모델이나 솔루션을 쓰는 게 나을까요?
추천 4 비추천 0
- 다음글Llama 3.1 405B 로컬에서 돌려본 후기26.10.31