저도 같은 고민 많이 했는데요, 결국 문서 청킹이랑 요약 모델을 조합해서 쓰더라고요. 먼저 긴 문서를 의미 있는 단위로 나눈 다음 각 청크마다 요약본을 뽑아서 그걸 컨텍스트로 주는 식으로요. 비용은 좀 들지만 정확도가 훨씬 낫습니다. 아니면 클로드 200K 쓸 때도 있는데 생각보다 비용 차이가 크지 않더라고요.
API연동
LLM 토큰 길이 제한 때문에 답답한데 이거 어떻게 해결하세요?
요즘 GPT-4나 클로드 같은 모델들 써보니까 토큰 길이 제한이 은근 걸리더라고요. 특히 긴 문서 분석하거나 코드 리뷰 요청할 때 자르고 자르면서 작업하다 보니 효율이 떨어지는 것 같아요. 물론 100K 토큰 모델들도 있지만 비용이 좀 되긴 하고요.
혹시 여러분들은 이런 제약을 어떻게 극복하고 계세요? 청킹 전략을 따로 쓰신다거나, 아니면 아예 다른 접근을 하신다든지 궁금합니다. 실무에서 대용량 데이터 다룰 때 팁이나 경험담 있으면 공유해주면 감사하겠습니다.
혹시 여러분들은 이런 제약을 어떻게 극복하고 계세요? 청킹 전략을 따로 쓰신다거나, 아니면 아예 다른 접근을 하신다든지 궁금합니다. 실무에서 대용량 데이터 다룰 때 팁이나 경험담 있으면 공유해주면 감사하겠습니다.
추천 13 비추천 0
- 이전글로컬 LLM 써보신 분들, 실제로 쓸만한 수준인가요?26.05.19
- 다음글LLM 비교해본 결과 - 코딩할 땐 Claude가 확실히 낫더라고요26.05.17