본문 바로가기

Deep Learning(강의 및 책)/밑바닥부터 시작하는 딥러닝

8. 딥러닝 밑바닥부터 시작하는 딥러닝을 바탕으로 제작하였습니다. 8.1. 더 깊게 ■ 더 깊은 MNIST 신경망 이와 같이 구성된 CNN을 만들고자 합니다. 여기에서 사용하는 합성곱 계층은 모두 3x3 크기의 작은 필터로, 층이 깊어지면서 채널 수가 더 늘어나는 것이 특징입니다(합성곱 계층의 채널 수는 앞 계층에서부터 순서대로 16, 16, 32, 32, 64, 64로 늘어갑니다). 또 그림과 같이 풀링 계층을 추가하여 중간 데이터의 공간 크기를 점차 줄여갑니다. 그리고 마지막 단의 완전연결 계층에서는 드롭아웃 계층을 사용합니다. 가중치 초깃값으로 He 초깃값을 사용하고, 가중치 매개변수 갱신에는 Adam을 사용하겠습니다. 이렇게 생성한 CNN의 정확도는 99.38%라는 매우 훌룡한 성능을 보여줍니다. ■ 정확도를.. Deep Learning(강의 및 책)/밑바닥부터 시작하는 딥러닝 2022. 2. 18.
7. 합성곱 신경망(CNN) 밑바닥부터 시작하는 딥러닝을 바탕으로 제작하였습니다. 7.1. 전체 구조 합성곱 신경망(Convolution neural network)은 이미지 인식과 음성 인식 등 다양한 곳에서 사용되는데, 특히 이미지 인식 분야에서 딥러닝을 활용한 기법은 거의 다 CNN을 기초로 합니다. CNN을 보기 전까지 나온 신경망들은 인접하는 계층의 모든 뉴런과 결합되어 있습니다. 이를 완전연결(fully-connected)이라고 하며 완전히 연결된 계층을 Affine 계층이라는 이름으로 구현했습니다. 예를 들어 층이 5개인 완전연결 신경망을 그림으로 그리면 이와 같이 나타낼 수 있습니다. 완전연결 신경망은 Affine 계층 뒤에 활성화 함수를 갖는 ReLU 계층(혹은 sigmoid 계층)이 이어집니다. 이 그림에서는 Af.. Deep Learning(강의 및 책)/밑바닥부터 시작하는 딥러닝 2022. 2. 18.
6. 학습 관련 기술들 밑바닥부터 시작하는 딥러닝을 바탕으로 제작하였습니다. 6.1. 매개변수 갱신 신경망 학습의 목적은 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는 것입니다. 이는 곧 매개변수의 최적값을 찾는 문제이며, 이러한 문제를 푸는 것을 최적화(optimizer)라 합니다. 이번에는 가중치 매개변수의 최적값을 효율적으로 탐색하는 방법을 알아볼 것이고, 매개변수 갱신을 구현하겠습니다. ■ 확률적 경사 하강법(SGD, Stochastic Gradient Descent) 이 전에 사용했던 방식으로 손실함수 변화량과 학습률의 곱을 이용해 가중치를 갱신하는 방식입니다. 이러한 SGD를 구현해보겠습니다. class SGD: """확률적 경사 하강법（Stochastic Gradient Descent）""" def __ini.. Deep Learning(강의 및 책)/밑바닥부터 시작하는 딥러닝 2022. 2. 15.
5. 오차역전파법 밑바닥부터 시작하는 딥러닝을 바탕으로 제작하였습니다. 5.1. 계산 그래프 계산 그래프는 계산 과정을 그래프로 나타낸 것입니다. 여기에서 그래프는 복수의 노드와 에지로 표현됩니다. 간단한 문제를 예시로 보겠습니다. 문제: 현빈 군은 슈퍼에서 1개의 100원인 사과를 2개 샀습니다. 이때 지불 금액을 구하세요. 단, 소비세가 10% 부과됩니다. 이 문제를 계산 그래프로 표현을 해보면 이와 같이 볼 수 있습니다. 처음에 사과의 100원이 'x2'노드로 흐르고 200원이 되어 다음 'x1.1'노드로 전달되어 220원이 됩니다. 이를 노드 안에 곱셈인 'x'만을 연산으로 생각하는 방법으로 새로 표현해보겠습니다. 이와 같이 노드 안에 곱셈 연산을 넣어 표현할 수 있습니다. 이런 방법으로 새로운 문제를 표현해보겠습.. Deep Learning(강의 및 책)/밑바닥부터 시작하는 딥러닝 2022. 2. 14.
4. 신경망 학습 밑바닥부터 시작하는 딥러닝을 바탕으로 제작하였습니다. 4.1. 데이터로 학습 신경망은 데이터를 보고 학습할 수 있습니다. 데이터를 보고 학습한다는 것은 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다는 뜻입니다. ■ 기계학습이란? 데이터를 통해 가중치 매개변수의 최적 값을 자동으로 구하는 학습입니다. 이미지에서 특징을 추출하고 그 특징의 패턴을 기계학습 기술로 학습해 매개변수의 최적 값을 찾습니다. 이러한 기계학습은 데이터로부터 특징을 찾아내는 역할을 기계가 하지만 이미지에 종류에 따라사 인간이 직접 이미지의 특징을 생각해내서 기계학습에 적용해야 합니다. 하지만 신경망은 이러한 과정 없이 신경망에 입력 데이터만 넣어주면 입력에 포함된 중요한 특징까지 스스로 학습을 합니다. 즉, 신경망은 모든 문제.. Deep Learning(강의 및 책)/밑바닥부터 시작하는 딥러닝 2022. 2. 7.
3. 신경망 밑바닥부터 시작하는 딥러닝을 바탕으로 제작하였습니다. 3.1. 신경망이란 ■ 신경망이란? 그림과 같이 퍼셉트론을 여러층 쌓아 만든 하나의 비선형 분류기를 의미합니다. 맨 왼쪽 줄을 입력층, 맨 오른쪽 줄을 출력층, 중간층을 은닉층이라 합니다. 은닉층의 뉴런은 사람 눈에 보이지 않기 때문에 은닉층이라는 이름을 가집니다. 은닉층과 출력층은 입력 신호(x)와 가중치(w)의 곱에 편향(b)을 더하고 나온 모든 값들의 합을 가공하여 출력신호로 만드는 함수를 사용합니다. 이러한 함수를 활성화 함수라 합니다. 3.2. 활성화 함수 ■ 활성화 함수란? 활성화 함수는 입력 신호를 통해 출력 신호를 얻어 그 값을 유용한 값으로 변환시켜주는 함수를 의미합니다. 왼쪽 그림을 보면 은닉층에서 출력층으로 전달되는 a라는 값을 y.. Deep Learning(강의 및 책)/밑바닥부터 시작하는 딥러닝 2022. 2. 7.
2. 퍼셉트론(perceptron) 밑바닥부터 시작하는 딥러닝을 바탕으로 제작하였습니다. 2-1. 퍼셉트론이란? ■ 퍼셉트론이란? 이 책에서 퍼셉트론은 '인공 뉴런'을 의미하며 이는 다수의 입력 신호를 입력으로 받아 하나의 출력 신호(1 또는 0)를 출력하는 알고리즘을 의미합니다. 이 그림은 입력으로 2개의 신호를 받은 퍼셉트론의 예를 보여줍니다. 위 그림은 위와 같은 식으로 표현할 수 있습니다. x1와 x2에 각각 고유한 가중치 값을 곱해 더하면 신호의 합을 의미합니다. 그 값이 어떠한 한계, 즉 임계값보다 크다면 1, 작거나 같으면 0이라는 값을 y에 전달됩니다. 2-2. 단순한 논리 회로 ■ AND 게이트 AND 게이트는 두 입력이 모두 1일 때만 1을 출력하고, 그 외에는 0을 출력합니다. 이 AND 게이트를 퍼셉트론으로 표현하기 .. Deep Learning(강의 및 책)/밑바닥부터 시작하는 딥러닝 2022. 2. 6.
1. 파이썬(Python) 기초 밑바닥부터 시작하는 딥러닝을 바탕으로 제작하였습니다. 1-1. 파이썬이란 ■ 파이썬은 1991년에 귀도 반 로섬(Guido van Rossum)이 발표한 고급 프로그래밍 언어로 독립적, 객체지향적, 동적 언어입니다. ■ 파이썬의 장점 영어와 유사한 문법으로 프로그램 작성이 가능하여 배우기 쉽습니다 파이썬은 동적언어이므로 컴파일 과정이 없습니다 Numpy, Matplotlib 등의 여러 라이브러리를 사용 할 수 있습니다 파이토츠, 텐서플로, 케라스 등의 딥러닝 프레임워크가 파이썬 전용 API를 제공합니다 1-2. 넘파이(Numpy) ■ 넘파이(Numpy)란? 딥러닝은 배열이나 행렬 계산이 많이 사용됩니다. 넘파이는 이러한 수치 계산을 도와주는 외부 라이브러리로 수학 알고리즘과 배열과 차원을 조작하기 위한 .. Deep Learning(강의 및 책)/밑바닥부터 시작하는 딥러닝 2022. 2. 6.

티스토리툴바