요즘 BERT 기반 모델 미세조정 중인데 모델이 어떤 부분에 집중하는지 보고 싶거든요. Attention visualization 도구들이 여러 개 있더라고요.
Transformers 라이브러리의 기본 기능도 있고, Bertviz 같은 전문 도구도 있는데 실무에서 어떤 걸 주로 쓰세요? 특히 한국어 토큰화 이후 head별 attention을 분석할 때 뭐가 가장 깔끔한 방법인지 궁금합니다.
혹시 이미지로 예쁘게 뽑아낼 수 있는 팁이 있으면 공유 부탁드려요.
추천 3 비추천 0