본문 바로가기

ML14

[CNN] DenseNet 요약 DenseNet DenseNet은 ResNet의 아이디어(Skip-Connection)를 계승한 Dense-Connectivity를 사용해 좋은 성능을 냈다. Dense Block을 제안하고 있으며, 내부적으로는 ResNet과 같은 Pre-activation 구조를 사용한다. 1. Dense-Connectivity ResNet의 Skip-Connection과 DenseNet의 Dense-Connectivity의 수식을 보면 다음과 같다. Skip-Connection | $x_{l} = f(x_{l-1}) + x_{l-1}$ Dense-Connectivity | $x_{l} = f([x_{0}, x_{1}, ..., x_{l-1}])$ Skip-Connection은 이전의 feature들을 계속해서 Add.. 2021. 8. 4.
[CNN] ResNet 요약 Problems of Deep CNN 일반적으로 네트워크가 깊고 넓을수록 성능이 더 나을 것이라는 사실이 널리 알려져 있었는데, 이에 반하는 결과들이 나타나기 시작했다. 더 Depp한 네트워크가 적어도 Train Set에서는(Overfitting이 발생하더라도) 더 나은 성능이 나타나야 하는데 트레이닝과 테스트 모두에서 더 낮은 성능을 기록한 것이다. 이는 네트워크가 깊어질수록 각 weight들을 최적화 하는것이 어렵고, Gradient Vanishing 문제가 발생할 수 있기 때문이다. ResNet은 이를 해결하고 더 깊은 레이어의 학습에도 성공했다. ResNet Residual 구조에서 추가된 Skip-Connection 이 주요한 역할을 함 Skip-connection 처음 제안되었던 Skip Co.. 2021. 8. 3.
[CNN] GoogLeNet 요약 Deep Learning CNN은 일반적으로 네트워크가 넓고 깊어질수록 성능이 좋아진다. 하지만 Overfitting, Gradient Vanishing, 연산량 등의 문제점이 발생할 수 있다. GoogLeNet GoogLeNet은 ILSVRC14에서 좋은 성적을 낸 CNN 모델. 그 전체적인 구조는 아래와 같다. 네트워크의 시작부분에서는 Inception module을 사용하지 않았는데, 논문에 따르면 해당 부분에서 Inception의 효과가 없었다고 한다. 이후로는 Inception module이 깊게 쌓여있으며, 크기를 줄어들게 하기 위한 MaxPool 레이어도 존재한다. 또한, Fully Connected layer와 Softmax Activation으로 이어지는 Classifier가 마지막 부분.. 2021. 8. 2.
Convolutional : Autoencoder / Neural Network 오토인코더에 대한 대략적인 설명은 지난 게시물에 있으므로 생략 Convolutional Model이 일반적으로 더 나은 성능을 보임 # 이미지 표시해줄 함수 선언 def show_imgs(up,down, size): plt.style.use('fivethirtyeight') plt.figure(figsize=(30,6)) plt.gray() n_img=10 for i in range(n_img): plt.subplot(2,n_img,i+1) plt.imshow(np.reshape(up[i], (size,size))) plt.axis('off') plt.subplot(2,n_img, n_img+i+1) plt.imshow(np.reshape(down[i], (size,size))) plt.axis('off.. 2021. 7. 29.

티스토리툴바