200630

attention..이제 그만좀 까먹어야지...

* python dictionary, dict={"key1": "value1", "key2", "value2"}

attention weight: 주어진 query (decoder hidden state of timestep t)에 대해서 모든 key(overall encoder hidden state)와의 유사도(attention score)를 각각 구하여 키와 맵핑되어있는 각각의 밸류(usually key == value) 에 반영해주고, 이 밸류를 더해서 리턴함 

 

attention input

- Q: 디코더 히든 스테이트 of timestep t

- K, V: overall encoder hidden state 

 

attention 구하는 과정..

1) score값을 구하고 여기에 softmax를 취하여 bounded/normalized attention weight를 만든다 , 예) 특정 time-step의 encoder state vector랑 특정 time-step의 decoder state vector의 내적을 구하고, 이scalar 값을 전체 overall encoder에 대해서 쭉 모으면 time-step t에 대한 attention score vector가 될 것, size: [1, 1, T_enc]

2) weight와 encoder hidden state를 곱하여 attention value = context vector를 구한다, [1, 1, T_enc] * [1, T_enc, n_hidden] = [1, 1, n_hidden]

3) context vector와 decoder timestep t의 hidden state를 연결한 뒤 다음 step을 예측한다~~

참고한곳: https://wikidocs.net/22893

https://medium.com/platfarm/%EC%96%B4%ED%85%90%EC%85%98-%EB%A9%94%EC%BB%A4%EB%8B%88%EC%A6%98%EA%B3%BC-transfomer-self-attention-842498fd3225

http://freesearch.pe.kr/archives/4724

딥러닝이 덧셈을 하는 방법, Attention Mechanism으로 살펴보기 - from __future__ import dream

어텐션 메커니즘과 transfomer(self-attention)

위키독스