Pengenalan Proyek Gesture Tangan

Aug 22, 2024

Catatan Kuliah Pertemuan Kedua

Pembukaan

  • Bismillahirrahmanirrahim, Assalamualaikum warahmatullahi wabarakatuh
  • Selamat malam semua, kita akan melanjutkan materi dari pertemuan kemarin dengan proyek yang berbeda.

Proyek Sebelumnya

  • Proyek Tangan:
    • Menggunakan landmark tangan untuk mendapatkan nilai titik (X, Y, Z).
    • Menghitung sudut untuk menentukan gerakan tangan (tekuk atau angkat).
    • Menggunakan logika sederhana untuk mendeteksi gestur (1, 2, 3, 4).

Proyek Sekarang

  • Proyek Hand Gesture Recognition:
    • Menggunakan MQTT untuk mengendalikan lampu rumah.
    • Proyek ini lebih sederhana dibandingkan proyek sebelumnya (tidak memerlukan robot).
    • Alat yang dibutuhkan:
      • Node MCU (Amica atau Lolin) atau Wemos.
      • Relay dan ESP untuk menghubungkan.

Pengantar Materi

  • MQTT (Message Queuing Telemetry Transport):
    • Protokol yang memungkinkan komunikasi antara perangkat secara jarak jauh.
    • Menggunakan broker MQTT online untuk menghubungkan perangkat.

Sistem Kerja Proyek

  1. Koneksi:
    • Perangkat (ESP) menghubungkan ke Wi-Fi.
    • ESP menghubungkan ke broker MQTT.
    • Komputer menjalankan program Python, menerima data dari ESP dan mengirim perintah.
  2. Gestur Tangan:
    • Tangan dilacak dan diklasifikasikan menggunakan model yang ada.
    • Menggunakan landmark tangan untuk mendapatkan data koordinat.

Alat dan Bahan

  • Node MCU (Amica atau Lolin), relay 1 channel, kabel listrik, lampu, fitting.
  • Siapkan juga software seperti MediaPipe untuk pengenalan tangan.

Machine Learning

  • Machine Learning: Proses yang diawasi dengan data berlabel (supervised) dan tanpa label (unsupervised).
  • Kategori:
    • Supervised: Data berlabel.
    • Unsupervised: Data tidak berlabel.
    • Reinforcement: Penguatan dalam pembelajaran.
  • Proyek ini menggunakan supervised learning.

Proses Training

  • Dataset yang digunakan untuk melatih model hand gesture. Harus ada cukup banyak data untuk akurasi yang baik.
  • Model yang digunakan:
    • Menggunakan model yang sudah ada untuk deteksi landmark tangan.
    • Transfer learning untuk memanfaatkan model yang ada.

Klasifikasi Gestur Tangan

  • Menggunakan neural network (CNN) untuk klasifikasi gestur.
  • Hasil klasifikasi akan mengirimkan perintah ke perangkat (on/off).

Implementasi Praktikum

  1. Persiapan:
    • Siapkan dataset dan instalasi software yang diperlukan.
    • Menggunakan Google Colab untuk training model.
  2. Setup:
    • Mengatur perangkat keras dan relay untuk mengendalikan lampu.
    • Menghubungkan relay dengan Node MCU.

Penutup dan Tanya Jawab

  • Diskusi mengenai pengembangan lebih lanjut dari proyek.
  • Penjelasan tentang kelebihan menggunakan MQTT.
  • Pertanyaan seputar machine learning dan implementasinya.

Kesimpulan

  • Proyek ini memberikan wawasan tentang pengenalan gestur tangan dan konsep dasar machine learning.
  • Menggunakan MQTT memungkinkan pengendalian perangkat secara jarak jauh.
  • Terima kasih atas partisipasinya, Wassalamualaikum warahmatullahi wabarakatuh.