Back to notes
Mengapa concatenation tidak sepenuhnya menggabungkan informasi dari kedua fitur?
Press to flip
Karena concatenation hanya menempatkan fitur berdampingan tanpa proses combinatory, sehingga tidak merata menggabungkan dan memproses data dari input digabung.
Apa saja arsitektur yang menggunakan concatenation untuk menggabungkan fitur?
DenseNet dan U-Net adalah contoh arsitektur yang menggunakan concatenation untuk menggabungkan fitur.
Bagaimana residual connections membantu dalam masalah vanishing gradient?
Mereka menyediakan jalur tambahan untuk aliran gradien, mengurangi efek vanishing gradient pada pelatihan deep networks.
Apa hasil eksperimen terkait residual connections dalam network?
Dengan residual connections, deep networks seperti 34 layer memiliki error lebih rendah dibandingkan network dengan lebih sedikit layer, seperti 18, membuktikan efektivitas mereka.
Di tingkat teknis, bagaimana residual connection mengubah jalur data dalam neural network?
Residual connection mengalihkan sebagian data langsung melewati satu atau beberapa lapisan perantara, lalu menambahkan hasilnya pada output lapisan akhir dari jalur itu.
Mengapa vanishing gradient menjadi tantangan pada deep networks?
Karena gradien bisa sangat kecil sehingga sulit bagi jaringan untuk memperbarui bobot secara signifikan selama pelatihan, menghambat kemampuan belajar jaringan.
Apa yang dimaksud dengan transformasi identity dalam konteks residuals?
Transformasi identity merujuk pada kemampuan dari suatu lapisan dalam jaringan untuk meneruskan inputnya langsung sebagai output tanpa transformasi kompleks.
Apa itu residual connection dalam neural network?
Residual connection adalah komponen berupa skip connection yang memungkinkan input diteruskan tanpa modifikasi melalui layer, didefinisikan sebagai transformasi identity.
Apa perbedaan antara metode penggabungan fitur penjumlahan dan concatenation dalam neural networks?
Penjumlahan menggabungkan dua input numerik ke satu output numerik sementara concatenation menambahkannya secara linier tanpa pencampuran informasi antara kedua fitur.
Apa manfaat residu pada residual connection dalam neural network?
Mengurangi vanishing gradient dengan memungkinkan aliran gradien dari dua cabang, yang penting untuk pelatihan deep network.
Apa isu utama yang didapati ketika training network dengan lebih banyak layer tanpa residual connections?
Training network dengan banyak layer tanpa residual connections dapat menyebabkan peningkatan training dan test error, berlawanan dengan ekspektasi.
Apa keunggulan residual connections pada deep learning models?
Mereka memungkinkan pembelajaran lapisan yang lebih dalam dan kompleks sambil tetap menjaga kemampuan pelatihan secara efisien dan efektif dengan mengatasi vanishing gradient.
Mengapa residual connection diperkenalkan pada ResNet?
Untuk menangani masalah pada deep network di mana layer yang lebih banyak tidak selalu meningkatkan performa, dan residual connection membantu mengurangi training dan test error.
Bagaimana skip connection berfungsi dalam residual connections?
Skip connection memungkinkan input diteruskan langsung tanpa modifikasi, sementara cabang lain dengan layer memproses residual yang diperlukan.
Sebutkan contoh selain ResNet yang menggunakan residual connections.
Selain ResNet, residual connections digunakan di arsitektur seperti ShuffleNet dan MobileNet versi 2.
Previous
Next