오탐 문제 완전 공감이에요 ㅠㅠ
프롬프트
Claude 3.5 Sonnet으로 코드 리뷰 자동화해봤는데 생각보다 쓸만하네요
팀에서 PR 리뷰 시간이 너무 오래 걸려서 Claude API 붙여서 자동 코드 리뷰 봇을 만들어봤어요. 처음엔 그냥 버그만 찾을 줄 알았는데 성능이 꽤 괜찮더라고요. 특히 보안 이슈나 퍼포먼스 개선점을 꽤 정확하게 잡아내는 게 인상적이었습니다.
다만 가끔 오탐(false positive)이 있어서 주니어 개발자들이 혼동할까봐 좀 걱정되네요. 그래서 결국 사람이 최종 검토하는 단계는 빼고 못했어요. API 비용도 생각보다 쌓이니까 요청 제한을 두고 돌리고 있습니다.
혹시 같은 방식으로 자동화를 해보신 분 계신가요? 오탐율 줄이는 팁이나 프롬프트 엔지니어링 노하우 있으면 궁금하네요.
다만 가끔 오탐(false positive)이 있어서 주니어 개발자들이 혼동할까봐 좀 걱정되네요. 그래서 결국 사람이 최종 검토하는 단계는 빼고 못했어요. API 비용도 생각보다 쌓이니까 요청 제한을 두고 돌리고 있습니다.
혹시 같은 방식으로 자동화를 해보신 분 계신가요? 오탐율 줄이는 팁이나 프롬프트 엔지니어링 노하우 있으면 궁금하네요.
추천 2 비추천 0
- 이전글최근 LLM 파인튜닝 시 토큰 효율성 어떻게 관리하세요?26.09.04
- 다음글LLM 파인튜닝할 때 LoRA랑 QLoRA 중 뭐 써야 하나요?26.09.01