완전 공감이에요 ㅋㅋ
프롬프트
LLM 토큰 길이 제한 때문에 고민이신 분 계신가요?
최근에 Claude 200K, GPT-4 Turbo 128K 같은 긴 컨텍스트 윈도우 모델들이 나오면서 그게 얼마나 실제로 도움이 되는지 궁금해서 테스트해봤거든요. 결론부터 말하면 길이만으로는 부족하더라고요. 같은 프롬프트를 4K 모델에 던져도 결과는 크게 차이 안 났어요.
다만 RAG 같은 걸 안 하고 바로 긴 문서를 넘길 때는 의외로 쓸 만했습니다. 특히 코드 리뷰할 때 전체 파일을 한 번에 던질 수 있으니까 맥락 손실이 확실히 줄어들어요. 근데 비용을 보면 토큰당 가격이 좀 비싼 편이라 프로덕션에서 쓰려면 고민이 되네요.
혹시 실무에서 장문 처리 모델 쓰고 있으신 분 계시면 어떤 시나리오에서 진짜 체감되는지 궁금해요. 단순히 긴 컨텍스트보다 품질이 더 중요한 건 아닐까 싶기도 하고요.
다만 RAG 같은 걸 안 하고 바로 긴 문서를 넘길 때는 의외로 쓸 만했습니다. 특히 코드 리뷰할 때 전체 파일을 한 번에 던질 수 있으니까 맥락 손실이 확실히 줄어들어요. 근데 비용을 보면 토큰당 가격이 좀 비싼 편이라 프로덕션에서 쓰려면 고민이 되네요.
혹시 실무에서 장문 처리 모델 쓰고 있으신 분 계시면 어떤 시나리오에서 진짜 체감되는지 궁금해요. 단순히 긴 컨텍스트보다 품질이 더 중요한 건 아닐까 싶기도 하고요.
추천 13 비추천 0
- 이전글LLM으로 코드 리뷰 자동화해보니 생각보다 쓸만하네요26.07.22
- 다음글LLM 파인튜닝할 때 토큰 길이 제한 때문에 고생하신 분?26.07.20
댓글
2
댓글목록
저도 비슷한 경험이 있는데, 결국 긴 컨텍스트는 RAG 안 할 때만 진짜 쓸 만하더라고요. 코드 리뷰할 때 파일 여러 개 한 번에 던지니까 맥락이 확실히 좋아졌어요. 근데 프로덕션에서는 비용 때문에 결국 임베딩+검색 조합으로 돌아갔습니다. 모델 성능이 더 중요한 건 맞는 것 같아요.
댓글을 작성하려면 로그인이 필요합니다.