순환 신경망 RNN Recurrent Neural Network, RNN 순서가 있는 데이터를 입력으로 받음 변화하는 입력에 대한 출력을 얻음 시계열(날씨, 주가 등), 자연어와 같이 시간의 흐름에 따라 변화하고, 그 변화가 의미를 갖는 데이터 관련 예제 코드는 여기를 확인해주세요. 내용 설명은 다음 제 tistory를 확인하여 간단하게 보실 수 있습니다. Deep Learning/Natural Language Processing 2022.03.28
Document Classification (RNN) document classification 관련 연습 코드는 여기를 확인해주세요! [2016] RNN for Multi-Task Learning ⓐ task 가 identical 하지만 datasets는 다르다. hidden layer structure은 공유하되, (task specific embedding + shared embedding) 두 가지의 embedding으로 동시에 학습시킨다. ⓑ hidden nodes는 서로 영향을 준다. ⓒ 각자의 hidden layer가 있어 m과 n에 대해 각각 수행하고, shared layer가 (m, n)을 같이 학습한다. RNN : Attention two main attention mechanisms ① Bahadanau attention : attent.. Deep Learning/Natural Language Processing 2022.03.28
[2014] Seq2Seq Learning with Neural Networks 시작하기 전, 내용을 보아도 이해가 잘 안 된다면 Alamar(Attention) 페이지를 소개합니다. 시각적인 부분도 잘 설명해두었고, 더할 나위 없이 완벽하다고 볼 수 있는 내용이기에 한 번쯤 보는 것을 추천합니다. https://jalammar.github.io/ Jay Alammar – Visualizing machine learning one concept at a time. Visualizing machine learning one concept at a time. jalammar.github.io [2014] Sequence-to-sequence model Sequence-to-sequence model - model의 input에 sequence를 받는다. (words, letters, f.. Lecture Review/DSBA 2022.03.16
