Lecture 4. Backpropagation and Neural Networks
이번 CS231n 4장의 내용은 Backpropogation과 Neural Networks입니다. 먼저 Computational graphs에 대해서 설명을 합니다. 각 노드는 연산 단계를 의미합니다. 여기서 R(W)는 저번 강의에서 봤던 regularization이 됩니다. 위 예시를 보겠습니다. 일단 f(x, y, z) = (x + y) z이고 x = -2, y = 5, z = -4라 하겠습니다. q는 x+y의 결과가 저장됩니다. 그리고 f에는 q*z의 결과가 들어갑니다. 초록색 글씨는 연산의 결과를 의미합니다. (5-2)*(-4)는 -12가 됩니다. 빨간색 글씨는 미분한 값, gradient가 됩니다. 일단 q = x+y이고 dq/dx = dq/dy = 1입니다. 그리고 f = qz에서 df/dq ..
Deep Learning(강의 및 책)/CS231
2022. 5. 2.