yceffort

26 posts tagged with "pytorch"

Deep Learning 03) - How do neural networks work/learn?

Posted on March, 2019

How do neural networks work/learn? 신경망은 어떻게 동작하는가? 다양한 정보를 바탕으로 부동산 가격을 예측하는 일을 해보도록 하자. 03 가장 일반적으로 할 수 있는 접근은, 각각의 데이터에 적절한 가중치를 적용한 값을 바탕으로 가격을 예측하는 것이다. 여기에는 여러가지 방식이 적용될 수 있다. Regression…

Read full post

Deep Learning 02) - Activation Function

Posted on March, 2019

Deep Learning 02) Activation Function Activation Function 활성화 함수 02 활성화 함수는 가중치가 더해진 input value를 어떻게 처리할 것인지 결정하는 함수다. 이러한 활성화 함수에는 몇가지 종류가 있다. 1. Threshold Function threshold-function $$ 1 f x \geq…

Read full post

Deep Learning 01) - Neuron

Posted on March, 2019

Deep Learning 01) Neuron Neron 뉴런은 딥러닝의 핵심이 되는 개념이다. 뉴론 하나 자체로는 별다른 기능을 할 수 없지만, 여러개의 뉴런이 모여야 진정하게 기능을 할 수 있다. 일단 뉴런의 구조를 살펴보자. neuron 뉴런은 보이는 것처럼 n개의 input signal을 받아서 output signal…

Read full post

Pytorch 09) - Transfer Learning

Posted on February, 2019

Pytorch - 09) Transfer Learning Transfer Learning 기존에 만들어진 모델을 이용하여, 새로운 모델이 조금더 빠르게 학습하고 예측을 더 높이는 방법이다. 실질적으로, CNN을 처음부터 학습시키는 일은 많지 않다. 이 모델은 고려해야할 사항이 많고, (Layer의 숫자, 활성화함수의 종류, 기타 hyper parameter…

Read full post

Pytorch 08) - CIFAR 10 학습

Posted on February, 2019

Pytorch - 08) CIFAR 10 CIFAR 10 는 열가지 단어별 이미지가 있는 데이터 셋이다. 기존에 손글씨를 분류하는 것 보다는 확실히 어려운 작업이 될 것이다. CIFAR10 전처리 작업 CIFAR10-1 Optimizer 와 Criterion training 1st try LeNet…

Read full post

Pytorch 07) - Convolutional Neural Network (2)

Posted on February, 2019

Pytorch - 07) Convolutional Neural Network (2) 이번에는 코드로 구현해보자. 먼저 첫번째 conv1애서는 1개의 필터, 20개의 특징을 추출 해 낼 것이다. 필터는 5x5 크기로, 이미지가 그리 크지 않으므로 stride는 1로 할것이다. 두번 conv2는 입력값이 20이고 (이전 conv의 ouput), 5…

Read full post

Pytorch 06) - Convolutional Neural Network (1)

Posted on February, 2019

Pytorch - 06) Convolutional Neural Network (1) Convolutional Neural Network (CNN) Fully Connected Layer의 문제점 Convolutional Neural Network (이하 CNN…

Read full post

Pytorch 05) - Image Recognition

Posted on February, 2019

Pytorch - 05) Image Recognition 마지막으루다가 손글씨 분류해보는 실습을 해보겠습니다. Dataset 텐서를 받아서 image로 보여주는 메소드를 만들자. 맛보기로 이미지를 한번 보자. image-recognition1 Model hidden layer2개에, linear와 활성화 함수로 relu를 사용했다. sigmoid…

Read full post

Pytorch 04) - Deep Nueral Network

Posted on February, 2019

Pytorch - 04) Deep Neural Network Deep Neural Network 이전 Perceptron에서 한개의 Perceptron으로는 XOR연산을 효과적으로 분류하지 못한다는 것을 이야기 했었다. perceptron-xor 그리고 이런 XOR 이 아니더라도, 선형이 아닌 형태의 데이터를 분류 할 수 없을 것이다. deep-neural…

Read full post

Pytorch 03) - Perceptron

Posted on February, 2019

Pytorch - 03) Perceptron Perceptron (마지막 정리가 되길 바라며) Perceptron은 우리 두뇌 (뉴런)의 인지능력을 모방하도록 만든 인위적인 네트워크다. perceptron 퍼셉트론은 다수의 신호를 받아서, 하나의 신호를 출력한다. 여기에서 x는 입력값이고 w는, 가중치라고 부르는 weight…

Read full post

Pytorch 02) - Linear Regression

Posted on February, 2019

Pytorch - 02) Linear Regression Linear Regression Linear Regression이 한국말로 뭐였더라? 데이터셋 만들기 대충 뭔가 있어보이는 데이터셋을 만들자. lr1 nn.Linear는 $$y = xA^{T} + b$$ 파라미터를 살펴보면 이렇게 weight와 bias…

Read full post

Pytorch 01) - Tensor

Posted on February, 2019

Pytorch - 01) Tensor Tensor 이제는 더 이상 기초를 다루지 않겠다. (마지막 기초 공부) exp sin n차원 배열 matmul 과 @ 은 서로 곱할 수 있는 크기의 매트릭스를 곱하는 식이다. 고등학교때 행렬 열심히 하기를 잘했다. autograd pytorch의 장점은 자동미분(autograd)을 지원한다는 점이다. $$x=…

Read full post

AI Programming with Python Nanodegree 끝

Posted on February, 2019

AI Programming with Python Nanodegree를 끝냈습니다. complete Pytorch를 본격적으로 배우기 위해서 큰 맘먹고 수강한 수업인데, pytorch가 정작 얼마 없어서 맥이 좀 빠졌네요. 그래도 더 공부하러 가보겠습니다. (총총)

Read full post

pytorch - Flower Classification

Posted on February, 2019

pytorch를 이용해서 꽃이미지를 구별해보도록 하자. 여기에서 활용할 데이터셋은 이거다. 총 102종류의 꽃이 있고, 각각 여러개의 이미지가 있다. 데이터셋을 다운로드 하면 train, valid, test로 나눠져 있고 이를 활용해서 꽃을 구별해보려고 한다.…

Read full post

pytorch - fashion MNIST 분류 실습

Posted on February, 2019

pytorch를 활용해서 옷 이미지를 구별하는 예제를 해봤었는데, 다시 한번 복습하는 차원에서 기본적인 기능으로 해보려고 한다. 1. 데이터셋 준비 먼저 데이터를 받기전에, 해당 데이터를 torch tensor로 바꾸고, Normalize할 수 있ㅅ는 transform을 준비했다. 그리고 굳이 test set과 train set…

Read full post

Numpy 기본적인 기능 정리

Posted on February, 2019

귀찮아서 github gist로...

Read full post

Pandas 기본적인 기능 정리

Posted on February, 2019

이것도 귀찮아서 github gist로...

Read full post

Pytorch (3-1) - CNN: 곤충 이미지 분류하기

Posted on January, 2019

pytorch에서 주는 곤충 이미지를 분류하는 작업을 해보려고 한다. 벌과 개미 이미지가 있는데, 각각의 이미지를 잠깐 살펴보면 ant1 ant2 ant3 ant4 ant5 이미지를 분석한다. RGB…

Read full post

Pytorch (3-2) - CNN: Convolutional Neural Network

Posted on January, 2019

앞서 CNN네트워크를 진행하면서 모르는 부분이 좀 있어서, 이론적인 측면을 좀더 강조해서 글을 써보려고 한다. 구조 일단 중간층이 Convolutional Layer, Pooling Layer, Fully-connted Layer로 구성되어 있다. 그리고 마지막엔 Dropouut Layer를 넣는 경우도 있고, Softmax…

Read full post

Pytorch (3) - 합성곱신경망 (CNN - Convolutional Nerual Network)

Posted on January, 2019

합성곱신경망(CNN - Convolutaional Neural Network, 이하 CNN)은 말그대로, 합성곱 연산을 사용하는 인공신경망의 한 종류다. Convolution을 활용하면 3차원 데이터의 공간적 정보를 유지한 상태로 다음 레이어로 보내는 것이 가능하다. CN N…

Read full post

Pytorch (2-4) - 이상 날씨 탐지

Posted on January, 2019

다층 퍼셉트론 마지막 예제로 이상 날씨 탐지를 진행해보자. 2011년 1월 1일 부터 2016년 12월 31일까지 서울시의 일 평균 기온데이터를 활용해 본다. 여기에서 데이터를 받을 수 있다. seoul-temperature weather…

Read full post

Pytorch (2-3) - 뉴스 카테고리 분류하기

Posted on January, 2019

뉴스 말뭉치를 다운로드 받아서 분석해보자. 말뭉치는 여기에서 받을 수 있다. 과거 뉴스 데이터를 다운로드해서, 어떤 카테코리인지 분류하는 학습을 진행해보자. 먼저 구글드라이브에 해당 파일을 업로드해서 진행했다. 물론 아래와 같은 코드로 colab docker…

Read full post

Pytorch (2-2) - 손 글씨 분류하기

Posted on January, 2019

손글씨 분류하기 (MNIST) 머신러닝의 단골 주제다. 손글씨를 분류해보자. 이전 데이터와 다른 점이라고 한다면, 이전 데이터는 표 형식이었지만, 이제는 이미지 형식으로 구성되어 있다. 데이터를 가져오자. 근데 어찌된 일인지, 데이터를 가져오는데 계속해서 여룽밍 있어서 다른 방법을 사용하였다. 여기에는 다음과 같은 필드가 있다. COL_NAMES…

Read full post

Pytorch (1) - 퍼셉트론 알고리즘과 신경망 알고리즘

Posted on January, 2019

퍼셉트론 알고리즘 퍼셉트론 알고리즘은 머신러닝 기법 중 지도학습 기법이자 분류 알고리즘에 속한다. neuron-and-perceptron 각각의 input에 입력값과 가중치를 곱한 값을 합한 다음, 바이어스 (=…

Read full post

Pytorch (2-1) - 다층 퍼셉트론

Posted on January, 2019

전에는 신경망에서 중간층을 하나로만 했지만, 이 중간층을 여러개로 늘린 것을 심층신경망 (deep neural network) 라고 한다. 벌써 부터 뭔가 있어보인다. 이는 딥러닝에서 주요 매커니즘이다. 신경망과 심층 신경망 모두 퍼셉트론을 여러개 조합해서 구성한 것으로, 다층 퍼셉트론 (multilayer perceptron, MLP…

Read full post