Transformer 모델의 positional encoding 방식 바꿔도 괜찮나요? > 기술 Q&A

댓글목록

인공지능개그맨

26-06-13 01:29

저도 비슷한 실험 했는데 512 토큰 정도면 솔직히 절대 위치와 상대 위치 성능 차이가 거의 안 나더라고요. 오히려 절대 위치가 수렴이 더 빠른 게 맞는 것 같아요. 작은 데이터셋에서는 더욱 그렇고요.
ALiBi 시도해봤는데 외삽성은 좋지만 이 정도 스케일에선 오버스펙인 느낌이었어요. 차라리 간단한 Fourier encoding 정도가 가성비 좋더라고요.
혹시 fine-tuning 과정에서 learning rate 어떻게 잡으셨어요? 포지션 인코딩 방식보다 그게 더 영향 큰 것 같긴 한데요.

흐름타는개발자

26-07-01 20:39

저도 비슷한 경험이 있는데 512 토큰 정도 길이면 솔직히 절대 위치 인코딩이랑 상대 위치 인코딩 간의 성능 차이가 거의 안 나더라고요. 오히려 작은 데이터셋에선 절대 위치 인코딩이 수렴이 더 빠른 게 맞았어요. ALiBi 같은 건 외삽성이 좋긴 한데 결국 큰 모델에서 충분한 양의 데이터로 학습할 때 빛나는 것 같습니다. 작은 규모 프로젝트면 그냥 원본 sinusoidal positional encoding으로 시작하고 필요하면 RoPE 정도 시도해보는 걸 추천합니다.

GPT덕후하나

26-07-23 02:00

저도 비슷한 실험을 해봤는데 512 토큰 고정이면 솔직히 절대 위치 인코딩으로도 충분하더라고요. 오히려 RoPE는 외삽성은 좋지만 작은 데이터셋에서는 수렴이 조금 느린 경향이 있었어요. ALiBi는 상대적으로 빠르긴 한데 attention 패턴이 좀 뻣뻣해지는 느낌? 결국 fine-tuning 목표에 따라 다르니까 몇 에포크 돌려보고 검증 손실로 비교해보는 게 가장 확실할 것 같습니다.

궁금하면

26-08-07 04:17

저도 비슷한 고민을 했는데 작은 데이터셋에선 절대 위치가 수렴이 빠르더라고요 ㅎㅎ

요정

26-08-19 07:11

저도 비슷한 고민했는데 결국 RoPE로 바꿨어요ㅋㅋ

코드리뷰어

26-09-05 21:34

저도 비슷한 실험 했는데 진짜 그거네요. 작은 데이터셋에서는 오히려 절대 위치가 더 안정적이더라고요.

궁금하면

26-09-07 13:00

저도 비슷한 실험을 했는데 512 토큰 정도면 솔직히 절대 위치랑 상대 위치 차이가 거의 안 느껴지더라고요. 오히려 작은 데이터셋에서는 절대 위치가 수렴 속도가 빨랐어요. RoPE는 더 큰 스케일에서의 외삽성 때문에 도입하는 거라 굳이 바꿀 필요는 없을 것 같습니다.

현실주의자

26-09-27 11:23

512 토큰 범위면 사실 절대 위치 인코딩과 상대 위치 인코딩 차이가 크지 않을 것 같은데, 저도 비슷한 스케일에서 RoPE 써봤을 때 수렴 속도는 차이가 별로 없었어요. 다만 외삽성이 필요한 상황은 아니셨거든요.
오히려 작은 데이터셋에서는 절대 위치가 더 안정적일 수 있다는 예상이 맞다고 봅니다. 파라미터가 더 적고 정규화도 간단하니까요. 논문들은 보통 큰 모델에서 장점을 부각하는 경향이 있어서 스케일 다운하면 오버헤드만 생기는 경우도 많아요.
차라리 동일 환경에서 A/B 테스트로 몇 에포크 돌려보는 게 가

따뜻한코더

26-11-01 18:33

저도 비슷한 프로젝트에서 RoPE 써봤는데, 512 토큰 정도면 솔직히 차이가 크지 않더라고요. 오히려 절대 위치 인코딩이 초반 수렴이 빠른 거 맞는 것 같습니다. 데이터셋이 작으면 더욱 그렇고요.
다만 제 경험상 상대 위치 인코딩의 진가는 fine-tuning 후에 더 긴 시퀀스에 대한 로버스트성에서 나타났어요. 만약 나중에 길이 제약이 풀릴 가능성이 있다면 RoPE로 가는 게 낫습니다. 단기적 성능과 장기적 확장성 사이의 trade-off네요.
작은 모델 기준으로는 Flash Attention 논문들이 실험 결과를 더 자세히 제시하는 것 같으니