저도 최근에 flash attention 써봤는데 정말 빨라지더라고요 ㅋㅋ
프롬프트
트랜스포머 모델에서 attention 계산 효율 개선해본 분 있나요?
최근에 긴 시퀀스 처리하면서 attention 레이어의 연산량 때문에 고민이 많아요. 표준 self-attention이 O(n²) 복잡도라서 입력이 길어지면 메모리도 터지고 속도도 장난 아니더라고요.
sparse attention나 local attention 같은 방식들을 봤는데 실제로 프로젝트에 적용해보신 분 계신가요? 정확도 손실은 얼마나 되는지, 실제로 얼마나 빨라지는지 궁금해요. 아니면 다른 방법들 써보신 경험 있으시면 공유 부탁드립니다.
참고로 저는 지금 Python에서 PyTorch 쓰고 있고, 모델 재학습은 가능한 상황이에요.
sparse attention나 local attention 같은 방식들을 봤는데 실제로 프로젝트에 적용해보신 분 계신가요? 정확도 손실은 얼마나 되는지, 실제로 얼마나 빨라지는지 궁금해요. 아니면 다른 방법들 써보신 경험 있으시면 공유 부탁드립니다.
참고로 저는 지금 Python에서 PyTorch 쓰고 있고, 모델 재학습은 가능한 상황이에요.
추천 10 비추천 0
- 이전글RAG 구현할 때 청킹 전략 어떻게 하세요?26.07.14
- 다음글LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?26.07.10