요즘 프로젝트에서 GPT-4와 Claude를 섞어서 쓰고 있는데, 토큰 제한이 생각보다 실무에서 문제가 되더라고요. 특히 긴 문서 분석이나 복잡한 코드 리뷰를 요청할 때 자꾸 컨텍스트 윈도우에 걸리는 상황이 반복되네요.
지금 우리 팀에서 하는 방식은 문서를 청크 단위로 쪼개거나, 핵심 요약본을 먼저 만든 다음 LLM에 넘기는 식인데요. 근데 이렇게 하면 한 두 번의 호출이 더 필요해져서 비용도 늘고 레이턴시도 늘어나더라고요. 요청 비용도 무시할 수 없고...
혹시 다른 분들은 이런 상황에서 어떻게 대처하시는지 궁금합니다. 더 효율적인 전략이 있을까요? 예를 들어 벡터 DB를 먼저 구축해서 쓰시는 분도 있을 것 같고, 아니면 모델을 세밀하게 파인튜닝해서 짧은 프롬프트로도 작동하게 하는 식도 있을 것 같은데요.
특히 비용을 절감하면서도 정확도를 유지하는 방법이 있으면 알려주세요. 우리 회사도 아직 AI 도구에 투자를 크게 하지 않는 편이라서 가성비 있는 방법들이 도움이 될 것 같습니다.
추천 0 비추천 0