Catatan Kuliah: Pendekatan Hugging Face dan Transformers

Pengenalan

• Hugging Face memiliki banyak model Free Trade dan fokus pada Transformers.
• Komunitas diundang untuk membuat banyak model yang dapat diakses.
• Ada model gratis dan berbayar untuk digunakan.

Teknologi dan Komunitas

• Perusahaan teknologi ingin orang-orang mencoba model yang mereka buat.
• Space dapat dibuat oleh individu atau perusahaan untuk mengembangkan model dari pre-trained models yang sudah dipublikasikan.
• Hugging Face menerbitkan banyak dataset (± 12,310).
• Komunitas sangat aktif dan terus berkembang.

Pentingnya Pre-training

• Pre-training model dengan Transformers memerlukan GPU yang mahal dan memiliki dampak lingkungan terkait emisi karbon.
• Disarankan untuk memulai dengan model gratis sebelum beralih ke yang berbayar.

User Interface dan Deployment

• Hugging Face mendukung pembuatan UI dengan Gradio untuk aplikasi pembelajaran mesin.
• Memungkinkan pengguna untuk membagikan aplikasi pembelajaran mesin yang mereka buat.

Alur Proses Model

• Dari upload dataset, setup server dataset, hingga publish model sebagai API.
• Fokus pada model-model seperti image classification yang terus diperbarui.

Transformer Models

• Transformers dimulai dari MLP dan kini digunakan dalam komputer vision dengan performa mendekati CNN.
• Banyak model vision seperti Vision Transformers dan CNN sudah tersedia.

Memahami Attention dan Transformers

• Attention dan Self-Attention adalah konsep kunci dalam Transformers.
• Pelajaran dari paper Vaswani et al. (2017) yang merumuskan perhatian multi-kepala.
• Transformasi dari RNN ke mekanisme perhatian yang lebih efisien.

Sequence to Sequence Learning

• Contoh aplikasi seperti mesin terjemahan dan analisis sentimen.
• Memahami perbedaan antara satu-ke-satu dan banyak-ke-banyak dalam konteks input/output.

Proses Attention

• Menjelaskan bagaimana perhatian memungkinkan model untuk fokus pada bagian penting dari input.
• Penelitian tentang soft attention dan hard attention.

Positional Encoding

• Menggunakan positional encoding untuk mempertahankan urutan dalam input pada model self-attention.
• Menghindari masalah yang muncul dari urutan input yang berantakan.

Arsitektur Transformer

• Menjelaskan bagaimana input, query, key, dan value berinteraksi dalam layer attention.
• Menggunakan multi-head attention untuk meningkatkan kemampuan model.

Penggunaan Hugging Face

• Hugging Face menyediakan berbagai model, termasuk BERT, GPT, dan lainnya, untuk keperluan NLP dan vision.
• Model dapat diakses dan diadaptasi untuk berbagai tugas.

Kesimpulan

• Pendekatan komunitas di Hugging Face sangat efektif untuk pengembangan dan pembelajaran model.
• Penting untuk memahami arsitektur dasar dan cara kerja model yang berbeda untuk memanfaatkan Hugging Face secara maksimal.
• Pelajari berbagai model dan arsitektur untuk aplikasi yang lebih efisien.

Pertanyaan dan Diskusi

• Diskusi terbuka untuk pertanyaan dan eksplorasi lebih lanjut di pertemuan berikutnya.