딥러닝 #Transformer #positionalencoding #트랜스포머 #attention
-
[논문 설명] Learnable Fourier Features for multi-dimensional spatial positional encoding 2Deep-learning 2022. 9. 5. 21:46
─ 들어가며 ─ Learnable Fourier Features for multi-dimensional spatial positional encoding 1 포스팅에서 계속됩니다. 수식: 1. 저자들이 제안하는 positional encoding이 뭐가 좋나요? + 성능을 높이기 위한 추가사항 ① continuous 위치 / Unseen 위치의 inference에서도 잘 동작한다. continuous 위치의 경우 예를 들면, train set에서 (2, 3) 위치와 (4, 5)위치는 등장하는데, discrete embedding에서는 (PEx(2)||PEy(3))과 (PEx(4)||PEy(5)) (||는 concatenate)로 표현됩니다. 여기서 inference때, 만약 ..