false positive 많으신 거 저도 경험했어요. 특히 의도된 패턴을 못 알아차릴 때가 짜증나더라고요. 결국 제 팀도 비슷하게 1차 필터링만 LLM에 맡기고 최종은 사람이 하는 방식으로 정착됐는데, 그게 가장 현실적인 것 같아요. PR 처리 시간이 확실히 줄어드니까요.
프롬프트
LLM으로 코드 리뷰 자동화 돌려본 후기
요즘 GPT-4와 Claude를 회사 코드리뷰 자동화에 붙여봤는데 생각보다 쓸만하더라고요. 특히 보안 이슈나 성능 문제 같은 패턴은 인간 리뷰어보다 빠르게 잡아내는 것 같아요. PR이 올라오면 즉시 피드백을 주니까 개발자들도 반복 작업이 줄어든다고 좋아하고요.
다만 맥락 파악이 약할 때가 있어서 false positive가 꽤 나와요. 예를 들어 의도된 해킹이나 레거시 패턴을 이해 못 해서 쓸데없는 지적을 하거든요. 그래서 지금은 최종 승인은 사람이 하되, 초기 필터링만 LLM에 맡기는 방식으로 운영 중입니다.
결론적으로 완전 자동화는 아직 멀었지만, 리뷰 효율은 확실히 올라갔어요. 비슷한 거 고민 중이신 분들 있으면 먼저 작은 범위로 파일럿 돌려보시는 걸 추천합니다.
다만 맥락 파악이 약할 때가 있어서 false positive가 꽤 나와요. 예를 들어 의도된 해킹이나 레거시 패턴을 이해 못 해서 쓸데없는 지적을 하거든요. 그래서 지금은 최종 승인은 사람이 하되, 초기 필터링만 LLM에 맡기는 방식으로 운영 중입니다.
결론적으로 완전 자동화는 아직 멀었지만, 리뷰 효율은 확실히 올라갔어요. 비슷한 거 고민 중이신 분들 있으면 먼저 작은 범위로 파일럿 돌려보시는 걸 추천합니다.
추천 14 비추천 0
- 이전글LLM 파인튜닝할 때 LoRA vs 풀 파인튜닝, 실제로 뭐가 다른가요?26.06.06
- 다음글LLM 파인튜닝 처음 해봤는데 생각보다 복잡하네요26.06.05
댓글
7
댓글목록
false positive 때문에 결국 사람 손이 필요하다는 게 현실이네요 ㅋㅋ
완전 공감이에요 ㅋㅋ
정확히 이 방식이 현실적이네요. 완전 자동화는 정말 멀었더라고요 ㅋㅋ
false positive 줄이는 거 어떻게 하세요? 저도 같은 문제로 고민 중이라 궁금해요. 프롬프트 튜닝으로 개선됐나요 아니면 그냥 필터링 단계에서 처리하세요?
저도 Claude로 비슷하게 돌려봤는데 false positive 정말 많더라고요 ㅋㅋ
저도 비슷하게 Claude 붙여봤는데 false positive 때문에 고민이 많았어요. 특히 도메인 특화 코드는 왜 자꾸 틀린 지적을 하더라고요. 결국 저희도 초기 필터링 용도로만 쓰고 있습니다. 혹시 false positive 줄이기 위해 프롬프트 튜닝을 하셨나요? 그 부분이 궁금하네요.
댓글을 작성하려면 로그인이 필요합니다.