Residual Connection dalam Neural Network

Pengantar

• Residual connection adalah komponen dalam desain neural network yang berbentuk skip connection.
• Diperkenalkan dalam Residual Network (ResNet).

Motivasi Residual Connection

• Awalnya dari eksperimen yang membandingkan network 20 layer dan 56 layer.
• Hasil Eksperimen:
  • Network 56 layer memiliki training error dan test error yang lebih tinggi dibandingkan network 20 layer.
  • Pertanyaan muncul: apakah transformasi identity lebih optimal dan tidak memerlukan layer tambahan?

Konsep Transformasi Identity

• Skip connection memungkinkan input melewati tanpa diubah oleh layer tambahan.
• Residual (selisih) dihitung oleh cabang lain yang memiliki layer.

Manfaat Residual Connection

• Membantu mengurangi masalah vanishing gradient.
  • Gradien dapat mengalir dari dua cabang.
• Vanishing Gradient: Mengacu pada hilangnya gradien selama backpropagation.

Hasil Penelitian

• Grafik menunjukkan error pada network:
  • Tanpa Residual Connection:
    • Network 34 layer memiliki error lebih tinggi dibandingkan dengan network 18 layer.
  • Dengan Residual Connection:
    • Network 34 layer memiliki error lebih rendah dibandingkan dengan network 18 layer.
• Pembuktian bahwa residual connection penting dalam membangun deep network.

Penggunaan Residual Connection

• Selain ResNet, juga digunakan dalam:
  • ShuffleNet
  • MobileNet versi 2

Metode Penggabungan Features

• Pada skip connection, ada dua metode penggabungan:
  • Penjumlahan: Menggabungkan dua features.
  • Concatenation: Informasi kedua features tidak tercampur.
    • Contoh penggunaannya:
      • DenseNet
      • U-Net

Penutup

• Untuk pembelajaran lebih lanjut, disarankan untuk subscribe channel untuk update.