5. 순환 신경망(RNN)
밑바닥부터 시작하는 딥러닝 2를 바탕으로 제작하였습니다. 지금까지 본 신경망은 피드 포워드(feed forward, 앞먹임)라는 유형의 신경망입니다. 피드 포워드란 흐름이 단방향인 신경망을 말합니다. 다시 말해, 입력 신호가 다음 층(중간층)으로 전달되고, 그 신호를 받은 층은 그다음 층으로 전달하고, 다시 다음 층으로 전달하는 식으로 한 방향으로만 신호가 전달됩니다. 이러한 방식은 시계열 데이터를 잘 다루지 못한다는 문제가 있습니다. 단순한 피드 포워드는 신경망에서는 시계열 데이터의 성질(패턴)을 충분히 학습할 수 없습니다. 그래서 순환 신경망(Recurrent Neural Network, RNN)이 등장합니다. 5.1. 확률과 언어 모델 ■ word2vec을 확률 관점에서 바라보기 CBOW 모델은 이..
Deep Learning(강의 및 책)/밑바닥부터 시작하는 딥러닝 2
2022. 3. 2.