AlexNet

개요

CNN 모델 중 하나인 AlexNet에 대해 알아보자.

 

 

AlexNet이란?

Yann Lecun이 Lenet 모델을 통해 1998년 처음으로 도입했던 개념인 Convolution layer를 가지고 만든 모델이다.

그 모델의 이름이 바로 AlexNet이다.

 

이 AlexNet 모델은 Alex Krizhevsk와 Geoffrey Hinton등의 인물들이 제안했고, 이는 ImageNet classification 대회에서 2011년에 발표된 모델에 비해 엄청난 성능의 향상을 보여주었다.

 

Structure of AlexNet

AlexNet은 LeNet과 크게 다르지 않은 형태로 구축된 모델이다.

하지만 분명 다른 점이 존재한다.

 

1. 병렬 구조로 쌓았다는 점

2. 더 깊게 Network를 형성했다는 점

3. 그리고 Convolution layer당 많은 필터를 사용했다는 점

등등

 

이러한 차이점들이 있다.

 

Convolution layer 이외에도 Maxpooling, ReLU가 사용되었으며

학습에 있어서는 dropout, data augmentation, SGD+Momentum이 사용되었다.

 

AlexNet의 이미지 처리 과정

우선 AlexNet의 구조는 아래와 같다.

 

Structure

Input: 227x227x3(RGB)

Conv-1: nums= 96, kernel size= 11, stride= 4, padding= 0

MaxPool-1: size= 3, stride= 2

Conv-2: nums= 256, kernel size= 5, stride= 1, padding= 2

MaxPool-2: size= 3, stride= 2

Conv-3: nums= 384, kernel size= 3, stride= 1, padding= 1

Conv-4: nums= 384, kernel size= 3, stride= 1, padding= 1

Conv-5: nums= 256, kernel size= 3, stride= 1, padding= 1

MaxPool-3: size= 3, stride= 2

FC-1: 4096 fully connected layers

FC-2: 4096 fully connected layers

FC-3: 1000 fully connected layers

 

 

Input 이미지가 227x227x3이라고 할 때 output과 파라미터의 개수 그리고 연산 횟수는 아래와 같다.

 

 

Layer	Tensor output size	Params(w/ biases)	Ops
Input	227x227x3	0	0
Conv-1	55x55x96	96*(11*11*3+1)	227*227*96*11*11*3
MaxPool-1	27x27x96	0	0
Conv-2	27x27x256	256*(5*5*96+1)	27*27*256*5*5*96
MaxPool-2	13x13x256	0	0
Conv-3	13x13x384	384*(3*3*256+1)	13*13*384*3*3*256
Conv-4	13x13x384	384*(3*3*384+1)	13*13*384*3*3*384
Conv-5	13x13x256	256*(3*3*384+1)	13*13*384*3*3*256
MaxPool-3	6x6x256	0	0
FC-1	1x1x4096	4096*(9216+1)	4096*9216
FC-2	1x1x4096	4096*(4096+1)	4096*4096
FC-3	1x1x1000	1000*(4096+1)	4096*1000
Output	1x1x1000	0	0
Total		62,378,344	2,826,123,488