Catatan Kuliah: Asisten AI Jaris - Bagian Dua

Pendahuluan

• Terima kasih banyak untuk para pendukung Bagian Satu dari asisten AI Jaris.
• Beralih ke GUI yang sepenuhnya fungsional yang menggabungkan kontrol suara.
• Fitur utama yang diimplementasikan dalam video ini:
  • Pemrosesan perintah suara ke aksi.
  • Umpan balik visual dinamis.
  • Interaksi aplikasi yang mulus.
  • Pengambilan informasi secara real-time menggunakan LLM.
• Hasil pembelajaran:
  • Desain GUI tingkat lanjut dengan kerangka kerja Python Kivy.
  • Integrasi model Gemini.
  • Pemrosesan perintah suara.
  • Membuat antarmuka yang responsif dan cerdas.

Prasyarat

• Pengetahuan Bagian Satu: Penonton sebaiknya telah menonton Bagian Satu untuk pemahaman yang lebih baik.
• Pengaturan Lingkungan:
  • Gunakan VS Code alih-alih PyCharm.
  • Bangun proyek dalam lingkungan Conda untuk mengakses modul Python yang diperlukan.

Pengaturan Proyek

• Instal Mini Conda:
  • Buka situs Mini Conda dan unduh berdasarkan OS Anda.
• Penyesuaian Struktur Folder:
  • Folder baru:
    • static: Berisi gambar dan aset.
    • requirements.txt: Daftar modul Python yang diperlukan.
  • Ubah nama file:
    • main.py menjadi main_without_gui.py
    • utils.py
    • constants.py
  • Buat file tambahan: create_jarvis.py, create_jarvis_gui.py, dan create_main.py.

Pengaturan Lingkungan

1. Buat lingkungan Conda:

   conda create -n jarvis_env
   

2. Aktifkan lingkungan:

   conda activate jarvis_env
   

3. Instal modul yang diperlukan dari requirements.txt.

   pip install -r requirements.txt
   

Modifikasi Kode

• Perbarui model teks ke ucapan:
  • Gunakan Google Text-to-Speech (gTTS) dan bukan milik Microsoft.
• Kunci API dan URL:
  • Simpan data sensitif dalam file .env.
  • Modifikasi constants.py untuk membaca dari .env menggunakan os.environ.get().

Pengembangan GUI

• Buat GUI intuitif dengan kerangka kerja Kivy:
  • Gunakan kivy.uix.button untuk elemen interaktif.
  • Definisikan kelas JarvisButton untuk meningkatkan antarmuka.
• Fungsionalitas inti dalam jarvis.py:
  • Atur widget menggunakan kontainer tata letak Kivy.
  • Tambahkan gambar latar belakang, tombol utama, dan bidang input.

Pengenalan Suara

• Implementasikan fungsi pengenalan suara:
  • Gunakan input mikrofon untuk mendeteksi perintah suara pengguna.
  • Jadwalkan fungsi untuk memperbarui GUI dan menangani perintah.
• Tangani perintah menggunakan fungsi khusus:
  • Integrasikan dengan model Gemini untuk pemrosesan tugas yang lebih maju.

Integrasi dengan Model Gemini

• Impor dan konfigurasikan kunci API model Gemini.
• Buat fungsi baru untuk respons Gemini:
  • Tangani kesalahan ketika model tidak dapat menghasilkan konten.
• Uji perintah untuk memvalidasi fungsionalitas asisten Jaris dengan Gemini.

Pengujian Fungsionalitas

• Uji berbagai perintah:
  • Buka YouTube, cari Wikipedia, dan hasilkan respons berdasarkan pertanyaan pengguna.
  • Pastikan responsivitas dan kecerdasan GUI.

Tugas Rumah

• Buat bidang teks yang responsif pada GUI.

Kesimpulan

• Sesi ini mencakup pembangunan GUI, integrasi perintah suara, dan pemrosesan tingkat lanjut menggunakan model Gemini.
• Dorong pemirsa untuk menyukai, berbagi, dan berlangganan.