Catatan Kuliah: Convolutional Neural Network (CNN)

Pengenalan CNN

• Definisi: Metode deep learning umum untuk mengolah data gambar atau video.
• Komponen Utama: Memiliki convolution layer, berbeda dari neural network sebelumnya yang hanya terdiri dari fully connected layer.

Perbandingan Fully Connected Layer dan Convolution Layer

• Fully Connected Layer:

  • Menghubungkan setiap pixel dari gambar (termasuk 3 channel RGB) ke setiap output.
  • Contoh: Gambar 10x10 pixel dengan 3 channel menghasilkan koneksi penuh untuk 2 output.
  • Setiap koneksi memiliki weight atau parameter tersendiri.

• Convolution Layer:

  • Melihat input secara lokal, tidak menghubungkan setiap pixel secara langsung.
  • Parameter dishare untuk bagian input yang berbeda.
  • Contoh: Menghasilkan 2 output dengan parameter yang sama untuk setiap bagian spasial input.

Desain Convolution Layer

1. Kernel Size: Ukuran lokal convolution layer (1x1, 3x3, 5x5).
   • Kernel size yang sama dengan input = sama dengan fully connected layer.
2. Stride: Seberapa jauh kernel digeser setiap langkah.
   • Mengubah stride mempengaruhi informasi yang terlewat; stride besar mengurangi beban komputasi.
3. Padding: Untuk menjaga ukuran output sama dengan input, padding ditambahkan.
   • Contoh: Kernel size 3, stride 1, padding 1 (1 pixel di setiap sisi).

Struktur CNN

• Terdiri dari kombinasi convolution layer dan fully connected layer.
• Contoh: AlexNet (menang ImageNet challenge 2012) terdiri dari:
  • 5 convolution layer
  • 3 fully connected layer

Fungsi Convolution Layer dan Fully Connected Layer

• Convolution Layer: Menyediakan feature map dari gambar, mengekstrak fitur.
• Fully Connected Layer: Klasifikasi berdasarkan fitur yang diekstrak.
• Visualisasi: Penelitian untuk memahami fitur yang diekstrak oleh convolution layer.

Jenis-jenis Convolution Layer

• 2D Convolution: Versi paling umum yang dibahas.
• Lainnya: 1D, 3D, dilated, transpose, depthwise, deformable convolution.
• Penelitian AI terus berkembang, update akan ada di channel.