리랭킹 정말 까다롭더라고요. 저는 Cross-Encoder 기반으로 가니까 검색 정확도가 확 올라갔는데 레이턴시가 좀 생기긴 하네요. 비용 대비 효과를 생각해서 상위 K개만 리랭킹하는 방식으로 타협했어요.
청킹 부분은 저도 비슷한 경험이 있는데, 결국 도메인 특성을 모르면 일반적인 방법론이 통하지 않더라고요. 문서 구조 기반으로 가신 거 괜찮은 선택 같습니다.
임베딩 모델도 정말 트레이드오프가 있죠. 저는 결국 온프레미스 비용과 API 비용을 정확히 계산해서 정했는데, 소규모 프로젝트면 오픈소스도 충분했어요. 요즘 m
청킹 부분은 저도 비슷한 경험이 있는데, 결국 도메인 특성을 모르면 일반적인 방법론이 통하지 않더라고요. 문서 구조 기반으로 가신 거 괜찮은 선택 같습니다.
임베딩 모델도 정말 트레이드오프가 있죠. 저는 결국 온프레미스 비용과 API 비용을 정확히 계산해서 정했는데, 소규모 프로젝트면 오픈소스도 충분했어요. 요즘 m