요즘 GPT-4나 클로드 같은 모델들 써보니까 토큰 길이 제한이 은근 걸리더라고요. 특히 긴 문서 분석하거나 코드 리뷰 요청할 때 자르고 자르면서 작업하다 보니 효율이 떨어지는 것 같아요. 물론 100K 토큰 모델들도 있지만 비용이 좀 되긴 하고요.
혹시 여러분들은 이런 제약을 어떻게 극복하고 계세요? 청킹 전략을 따로 쓰신다거나, 아니면 아예 다른 접근을 하신다든지 궁금합니다. 실무에서 대용량 데이터 다룰 때 팁이나 경험담 있으면 공유해주면 감사하겠습니다.
추천 10 비추천 0