Residual Connection dalam Neural Network

Pengantar

• Residual connection adalah komponen dalam desain neural network yang berbentuk skip connection.
• Awalnya diperkenalkan pada Residual Network (ResNet).

Motivasi Residual Connection

• Berdasarkan eksperimen membandingkan antara:
  • Network 20 layer
  • Network 56 layer
• Diharapkan, semakin banyak layer, semakin baik performanya.
• Faktanya, network 56 layer memiliki training error dan test error lebih tinggi dibandingkan network 20 layer.
• Muncul pertanyaan:
  • Apakah transformasi identity (tidak mengubah features) lebih optimal?
  • Mengapa tidak memerlukan layer tambahan?

Konsep Skip Connection

• Skip connection melambangkan transformasi identity.
• Input dapat diteruskan tanpa modifikasi oleh layer.
• Residual, jika diperlukan, dihitung oleh cabang lain yang memiliki layer.

Manfaat Residual Connection

1. Mengurangi Vanishing Gradient
   • Residual connection membantu aliran gradien dari dua cabang.
   • Vanishing gradient adalah masalah di mana gradien menjadi sangat kecil, menyulitkan proses pelatihan.

Hasil Eksperimen

• Grafik Perbandingan Error:
  • Tanpa residual connection:
    • Network 34 layer memiliki error lebih tinggi dibandingkan network 18 layer.
  • Dengan residual connection:
    • Network 34 layer memiliki error lebih rendah dibandingkan network 18 layer.
• Ini membuktikan pentingnya residual connection dalam membangun deep network.

Penggunaan Lain dari Residual Connection

• Selain di ResNet, residual connection juga digunakan dalam:
  • ShuffleNet
  • MobileNet versi 2

Metode Penggabungan Fitur

• Pada skip connection, penggabungan fitur dapat dilakukan:
  1. Penjumlahan
  2. Concatenation
• Concatenation tidak mencampurkan informasi dari kedua fitur.
• Contoh penggunaan concatenation:
  • DenseNet
  • U-Net

Penutup

• Untuk belajar lebih lanjut, subscribe channel ini untuk mendapatkan update.