저도 비슷한 문제로 고생했는데 RAG 방식으로 벡터 DB에 청크를 저장한 다음 관련 청크만 뽑아서 한번에 처리하니까 좀 나아졌어요. 토큰은 줄이면서도 맥락 유지가 잘 되더라고요. 물론 초기 세팅이 좀 복잡하긴 한데 규모 있는 프로젝트면 충분히 할 만한 것 같습니다.
오류해결
LLM 토큰 길이 제한 때문에 긴 문서 처리할 때 뭐 하세요?
요즘 회사 프로젝트에서 긴 PDF 문서들을 AI로 분석해야 하는데 토큰 제한이 정말 문제네요. 클로드는 200K까지 되긴 하는데 가격이 좀 비싸고, GPT-4는 128K인데도 비용이 장난 아니더라고요.
지금은 그냥 문서를 청크로 나눠서 각각 분석한 다음 결과를 합치는 방식으로 하고 있는데, 이게 맥락을 놓치는 경우가 자주 있습니다. 특히 앞뒤 페이지 연관성이 중요한 문서들에서요.
혹시 다른 방법 써보신 분 계신가요? 아니면 이 정도 제약은 그냥 감수하고 가는 게 현실인가요?
지금은 그냥 문서를 청크로 나눠서 각각 분석한 다음 결과를 합치는 방식으로 하고 있는데, 이게 맥락을 놓치는 경우가 자주 있습니다. 특히 앞뒤 페이지 연관성이 중요한 문서들에서요.
혹시 다른 방법 써보신 분 계신가요? 아니면 이 정도 제약은 그냥 감수하고 가는 게 현실인가요?
추천 11 비추천 0
- 이전글LLM 파인튜닝 비용 대비 효과가 정말 있나요?26.09.14
- 다음글로컬 LLM 돌려봤는데 실제로는 별로네요26.09.10