false positive 많으신 거 저도 경험했어요. 특히 의도된 패턴을 못 알아차릴 때가 짜증나더라고요. 결국 제 팀도 비슷하게 1차 필터링만 LLM에 맡기고 최종은 사람이 하는 방식으로 정착됐는데, 그게 가장 현실적인 것 같아요. PR 처리 시간이 확실히 줄어드니까요.
프롬프트
LLM으로 코드 리뷰 자동화 돌려본 후기
요즘 GPT-4와 Claude를 회사 코드리뷰 자동화에 붙여봤는데 생각보다 쓸만하더라고요. 특히 보안 이슈나 성능 문제 같은 패턴은 인간 리뷰어보다 빠르게 잡아내는 것 같아요. PR이 올라오면 즉시 피드백을 주니까 개발자들도 반복 작업이 줄어든다고 좋아하고요.
다만 맥락 파악이 약할 때가 있어서 false positive가 꽤 나와요. 예를 들어 의도된 해킹이나 레거시 패턴을 이해 못 해서 쓸데없는 지적을 하거든요. 그래서 지금은 최종 승인은 사람이 하되, 초기 필터링만 LLM에 맡기는 방식으로 운영 중입니다.
결론적으로 완전 자동화는 아직 멀었지만, 리뷰 효율은 확실히 올라갔어요. 비슷한 거 고민 중이신 분들 있으면 먼저 작은 범위로 파일럿 돌려보시는 걸 추천합니다.
다만 맥락 파악이 약할 때가 있어서 false positive가 꽤 나와요. 예를 들어 의도된 해킹이나 레거시 패턴을 이해 못 해서 쓸데없는 지적을 하거든요. 그래서 지금은 최종 승인은 사람이 하되, 초기 필터링만 LLM에 맡기는 방식으로 운영 중입니다.
결론적으로 완전 자동화는 아직 멀었지만, 리뷰 효율은 확실히 올라갔어요. 비슷한 거 고민 중이신 분들 있으면 먼저 작은 범위로 파일럿 돌려보시는 걸 추천합니다.
추천 14 비추천 0
- 이전글LLM 파인튜닝할 때 LoRA vs 풀 파인튜닝, 실제로 뭐가 다른가요?26.06.06
- 다음글LLM 파인튜닝 처음 해봤는데 생각보다 복잡하네요26.06.05
댓글
6
댓글목록
false positive 때문에 결국 사람 손이 필요하다는 게 현실이네요 ㅋㅋ
완전 공감이에요 ㅋㅋ
정확히 이 방식이 현실적이네요. 완전 자동화는 정말 멀었더라고요 ㅋㅋ
false positive 줄이는 거 어떻게 하세요? 저도 같은 문제로 고민 중이라 궁금해요. 프롬프트 튜닝으로 개선됐나요 아니면 그냥 필터링 단계에서 처리하세요?
저도 Claude로 비슷하게 돌려봤는데 false positive 정말 많더라고요 ㅋㅋ
댓글을 작성하려면 로그인이 필요합니다.