Selamat pagi para mahasiswa, saya senang ketemu lagi dengan wajah-wajah yang setiap minggu itu sama ya, rajin, saya ingat David, ada Jurike juga dan lain-lain yang mungkin yang sama juga ya, tapi senang kalian tetap konsisten ya, mempertahankan kerajinan kalian gitu. untuk bisa mengikuti program yang memang sudah dibuat dengan sangat bagus oleh jurusan yang diperuntukkan untuk kalian. Oke, hari ini kita kedatangan Pak Gunawan Lumbanggao yang akan memberikan materi yang cukup menarik.
Sebenarnya ini juga banyak banget anak-anak komputer sains terutama. Yang mulai tertarik ya, ternyata data saintis, data analis itu juga ilmu yang lagi populer sekarang. Saya harap ini bisa menjadi juga patokan ya untuk kalian bahwa di dunia praktisi atau di dunia kerja ini hal-hal yang sangat diperlukan.
Mari kita juga untuk sama-sama mendengarkan. Mungkin saya sedikit baca ya. Pengalaman dari Pak Gunawan yang sekarang ada di Home Credit Indonesia, terutama sebagai data scientist yang terakhir tentunya menjadi lead data scientist. Dan juga untuk proyek-proyeknya, kalau lihat CV-nya ini, waduh saya senang kalau memang sebenarnya nanti juga anak-anak computer science mestinya punya...
Tva yang banyak mengerjakan proyek-proyeknya, terus mengaksud juga technical skills yang ini tidak main-main yang memang sangat dikuasai oleh Pak Gunawan. Jadi mungkin sedikit itu perkenalan dari saya. Saya harap para mahasiswa juga dapat mendengarkan dengan antusias dan juga silakan mempersiapkan pertanyaan.
Nanti untuk bagaimana mekanismenya atau thrillnya, saya silakan ke Pak Gunawan sebagai pembicara untuk pagi ini. Dengan keinginan dari saya, mungkin waktunya saya persilakan Pak Gunawan. Oke, terima kasih Bu. Pak teman-teman, pas pertama kali join ini, ini kita sedikit informal aja ya, karena masih sama-sama muda. Jadi panggila gue akan pakai gue dan lo gitu ya.
Gue pas masuk Zoom Meeting ini tuh langsung inget pas dulu kuliah. Wah gue dulu kuliah tahun berapa ya? 2014, 10 tahun yang lalu gitu ya.
Pas masuk masih kuliah S1. Terus sekarang udah balik, gue bisa share ke kalian pengalaman di kerja yang udah 5 tahun sekarang di Pemkredit. Hari ini gue akan coba share.
ke teman-teman, gimana sih di financial industry, terutama di home credit Indonesia, kita lakukan yang namanya data analisis. Slidenya gue akan udah siapin supaya kita nggak boring. Kita akan ada sedikit interaksi, juga kalau nanti ada pertanyaan, teman-teman bisa share pendapatnya di chat. Jadi kita bisa saling interaktif aja.
Oke, ini sedikit background dari gue. Untuk di home credit itu... Udah 5 tahun, dulu itu dari tahun 2019. Sebenarnya sebelum masuk ke Home Credit, gue pernah jadi mobile developer tuh.
Dulu sempat pegang frontend-nya permata Mobile X. Cuma setelah itu gue lihat-lihat, wah data science ini menarik nih. Akhirnya dulu ada program semacam anti untuk data science, kalau di Home Credit itu disebutnya Data Science Academy. Kalau semacam MT tapi untuk data science. Dari situ masuk sampai sekarang sudah jadi lead data scientist.
Untuk background mungkin mirip sama teman-teman. Kalau gue dari ITB, dulunya itu ngambil elektro. Kalau pas tesisnya tentang robotics.
Jadi sedikit paham lah kalau teman-teman dari computer science itu biasanya proyeknya retret-retret ke sana. Untuk... Koneksi teman-teman feel free To connect di LinkedIn Ada yang mau cek Gitu gue Juga gue usahakan tetap ada aktif Disitu ada beberapa public repo Yang teman-teman bisa lihat gitu ya Ada beberapa gue share juga terkait Project yang pernah gue kerjain.
Salah satunya mungkin yang teman-teman kalau menarik. Gue pernah bikin semacam. Kalau teman-teman ingat dulu sempat heboh wordle gitu ya. Gue sempat bikin gimana kita bisa selesaikan wordle pakai statistik. Oke, sekian dari gue.
Kayaknya udah pada siap. Kita bisa langsung aja masuk ke materi pertama. Slide pertama ini gue mau discuss dulu nih. Apa sih itu data science?
Data science itu... apa? Nah, data science itu sebenarnya adalah tools untuk membantu kita membuat decision making. Jadi kalau kita lihat, ini gue ambil dari SkcdCD, mungkin juga udah tahu, kita bisa follow through the graph-nya.
Yang pertama, apakah kita sedang membuat decision? Kalau belum ada datanya, biasanya, oh enggak, kita cuma penasaran aja. Nah, yang kita perlukan itu data analytics. Kalau kita ingin membuat decision, lalu kita masuk ke flow-nya di situ ada berapa banyak decision yang ingin kita buat.
Kalau hanya beberapa decision yang kita buat. Contoh decision yang kita buat hanya beberapa kali. Tapi bisa life changing.
Contohnya apa? Milih jurusan. Milih kerjaan. Cari rumah. Ini obrolannya udah agak dewasa ya.
Cari mobil lah. Cari mobil. Cari motor.
Itu kan decision yang bentuknya hanya sedikit. Lalu... Oke, ini sedikit. Lalu kita lihat di bawahnya ada uncertainty atau enggak.
Ini bedainnya gimana kalau contoh sehari-hari? Contoh yang enggak ada uncertainty-nya apa misalnya? Bayar pajak. Bayar pajak kita bisa lihat.
Oh, kalau pajak untuk kendaraan sekian-sekian-sekian. Kita harus bayar sekian-sekian-sekian, berarti kita harus bikin budgetnya sekian-sekian-sekian. Yang uncertainty apa?
Kalau misalnya kita mau KPR gitu ya. APR terus bukannya floating, kita harus pertimbangkan, di masa depan ini kira-kira akan jadi gimana, besar-kecilannya dan sebagainya. Begitu juga dengan bentuk barang-barang kredit lainnya. Dan kalau uncertainty-nya ini important, baru kita pakai statistik. Tapi ketika uncertainty-nya nggak penting, itu kita hanya kembali bisa gunakan data analitik saja untuk membuat decision-nya.
Nah, bedanya apa sama machine learning? Bedanya statistik sama machine learning, itu kalau machine learning bisa dibilang payung besarnya adalah automation. Ketika kita ingin membuat decision yang sifatnya berulang.
Kalau contoh sehari-hari decision yang sifatnya berulang, itu contohnya apa? Kalau di financial industry, pasti kita sebutnya credit scoring. Credit scoring itu kan sebenarnya proses approve atau reject klien yang datang ke kita.
Klien yang datang ke kita bisa ribuan. puluhan ribu atau bahkan ratusan ribu dan kita bisa secara otomatis mendesain oh yang klien ini riski nih kita gak approve, untuk klien yang gak riski kita gak approve nah yang teman-teman perlu perhatiin, disini ada lots and lots, terus lanjutannya ada using data, terus ada flow ke atasnya, ini sering terjadi, gitu ya, kita udah gembor-gemboran mau pakai machine learning, deep learning, CNN RR LSTM, bahkan Transformer GPT, semua gitu ya tapi datanya nggak ada, itu sama aja nggak ada gunanya gitu ya, kita mau machine learning, datanya nggak ada data nggak ada ini banyak definisinya satu, memang kita nggak pernah collect datanya, contohnya apa contohnya kalau di application form kalau di dunia finansial itu ada regulasinya, apa yang kita boleh ambil, apa yang kita nggak boleh ambil, jadi ini Terbatas gitu Terus kita pengen gunain data yang gak ada misalnya Ya sama aja bohong gitu ya Yang kedua Datanya ada tapi sulit diakses Misalnya gimana Datanya ada tapi bentuknya masih Excel semua Datanya ada tapi bentuknya masih kertas semua Belum di digitalize Itu masih terjadi ya Untuk beberapa proses data gitu Nah kalau memang kita udah punya datanya Dan kita mau meng-automate membuat decision yang berulang, kita baru masuk ke machine learning. Jadi gitu ya, perbedaannya analytics, statistik, sama machine learning adalah pertama, jumlah decision yang mau kita buat. Kalau kita hanya perlu sedikit decision, kita bisa pakai statistik. Kalau ternyata uncertainty di dalam decision itu tidak penting, kita bisa lakukan analytics saja.
Kalau kita ingin membuat decision yang sifatnya berulang, Itu baru kita gunakan mesin learning. Next-nya, ini ada beberapa pitfall dalam analytics. Yang di sini teman-teman bisa baca dulu.
Sorry ini agak ngeblur ya. Tapi basically kita coba walk tour bareng-bareng. Yang di gambar pertama ada cowok ngomong ke ceweknya, I think you should give it another shot. Terus ceweknya bilang, we should break up and I can prove it. Ceweknya bilang, wah kita udah gak cocok nih.
Kita harus putus. Dan gue bisa buktiin ke lu. Dia kasih gambar yang nomor dua. Ada chart gitu ya. Ke atas sungguh Y sama sungguh X ya.
Terus ada line. Judulnya our relationship. Terus cowoknya bilang, Premis yang terakhirnya adalah Cowoknya bilang, oh mungkin lo benar Maybe you're right Terus ceweknya dengan yakin I knew the data would convince you Terus cowoknya, no I just think I can do better than someone who doesn't label their exes Jadi yang disini teman-teman adalah bias Kita udah langsung ambil konklusi gitu ya Secara tidak sadar ketika kita Kita kasih ceweknya ngeliat gambaran nomor 2 itu Organisasi kesehatan Sumbuye-nya langsung dia bilang kedekatan keintiman lah, misalnya standar skor keintiman, terus exchange dibilang sumbunya lama hubungan padahal gak di label datanya gak ada labelnya, berarti gak ada meaningnya, tapi si yang ceweknya langsung bisa bilang kayak gitu, yang cowoknya ini data apa, gitu ya bisa jadi justru sumbunya itu adalah ke jumlah berantem, jumlah berantem sumbunya waktu lah, kalau jumlah berantemnya makin berkurang, justru jangan break up dong tetepan nih Ini yang penting. Jadi ketika kita present data dalam bentuk analytics, beberapa pitfall yang sering di-skip, padahal cukup penting itu adalah gimana kita nge-present visualisasinya.
Nanti akan kita bahas ya. Yang di sini kesalahan fetalnya adalah tidak diberikan sumbu. Jadi garisnya itu no meaning.
Dan yang kedua adalah apakah kita bisa membuat garis itu koneksi antara titik-titik itu. Itu nanti kita... ada pertimbangannya juga ya itu kan asumsinya berarti kenapa garisnya bisa dihubungin kayak gitu ya berarti datanya bila saya bilang sifatnya kontinus, padahal mungkin dia cuma ngecek intervalnya sebulan sekali atau tidak sesering itu yang kedua ini ada contoh fitful di statistics coba bisa dilanjut ini menarik ya, jumlah pertama I use thin correlation implied causation Then I took a statistics class, now I don't. Terus CCW-nya bilang, sound like the class helped.
CCW-nya bilang, well, maybe. Ya, maybe. Maybe the class helped. Dengan ikut kelas bukan berarti kita langsung ngerti kalau correlation in preposition. Ini juga sering terjadi.
Ini terjadinya biasanya gini. Biasanya kita itu ambil data historical. Kita sebelum analisis data, kita harus ingat dulu. ada dua jenis, yang namanya itu observational, sama yang ada namanya, gue lupa, eksperimen. Bisa dibilang gitu ya, ada yang namanya observational study, yang kedua eksperimen.
Kita bahas dulu yang observational study. Observational study itu sifatnya post hoc, setelah kejadian. Anything yang kita lakukan dalam observational study, sifatnya hanya indikasi.
Nggak bisa kita bilang, misalnya kita analisis nih. Kita punya data quarterly sales kita nih. Quarterly sales kita, terus kita lihat di klien yang udah lama sama klien yang udah baru.
Terus kita lihat ternyata, wah ada peningkatan nih di klien yang baru. Terus langsung kita bisa simpulkan, wah kalau gitu kita harus cepat-cepat nyari klien yang baru supaya sales kita bisa naik. Gak bisa. Yang bisa kita lakukan.
untuk membuktikan bahwa korelasi yang kita lihat di observational study ini menjadi posasi adalah dengan melakukan experiment. Experiment itu kalau kita sering dengar itu istilahnya adalah A-B testing. A-B testing atau eksperimen di industri atau pada yang biasanya.
Jadi kita punya control group, kita punya treatment group, dan kita punya variable yang kita mau treatment. Hanya itu. caranya kita bisa dengan yakin bahwa variable yang kita observe itu menyebabkan hubungan sebab-akibat atau konsasi. Jadi any analytics yang kita buat berdasarkan data historical sifatnya observational study.
Meskipun ada angka korelasinya dan ternyata cukup gede 0,8, sifatnya hanya indikasi. Untuk menentukan hubungan sebab-akibatnya, kita harus lakukan eksperimen. yang dalam eksperimennya kita kontrol variable-variable lain yang bukan variable utama kita.
Baru dari sana kita bisa bilang ada hubungan sebab. Akibat Untuk statistik Yang terakhir kita bahas machine learning Ini yang paling penting Ini yang paling penting Ini yang sering terjadi Biasanya kalau kita dari Gue lihat kalau untuk teman-teman Yang dari backgroundnya engineering atau engineering ya mostly ya itu ketika mau bikin model langsung model.fit model.predict terus kalau nggak berhasil yaudah tweak haper parameternya lah disitu itu kurang tepat justru yang harus diperbaiki pertama kali ketika kita lihat bahwa performance dari machine learning model kita itu jelek adalah fixing datanya kita harus selalu ingat garbage in garbage out. Jadi nggak bisa kita sesimpel langsung model fit predict, terus performancenya tinggi, oke jalan langsung ke production. Nggak bisa kayak gitu. Itu common pitfall yang sering terjadi.
Biasanya kita habis waktu untuk nge-tweak gimana ya supaya model trainingnya cepat, gimana ya supaya kita bisa jalan paralel, gimana caranya kita bisa model yang powerful dan besar. Tapi bukan ke sana ya, utamanya justru kalau ingin improving performance adalah improving di datanya. Baru kita bicara ke model.
Oke, setelah kita sudah paham, ternyata ada tiga bisa dibilang pilarnya, data analytics, statistik, dan machine learning. Itu kita lanjut ke tipe-tipe data analytics. Kita bahas yang data analytics.
Itu ada empat, mungkin teman-teman sudah tahu. Kita mulai dari bawah, itu descriptive, diagnostic, predictive, dan prescriptive. Dari sumbu kompleksitas dan potensial value to business-nya, yang paling potensial value tentu saja yang preskriptif.
Deskriptif itu hanya berbicara tentang apa yang terjadi. Kalau teman-teman mau gampang ingatnya, yang depannya D, diagnostik sama deskriptif, itu hanya bicara tentang kejadian di masa lalu. Untuk yang depannya P, prediktif dan preskriptif, baru ngomongin yang di masa depan.
Jadi yang deskriptif analitik itu apa? Deskriptif itu understand much things about past events Reporting and analysis centered on historical data Ini yang pasti pertama kali kita lakukan ketika kita mau melakukan data analisis Kita lihat dulu nih apa sih yang terjadi Apa yang terjadi itu bentuknya misalnya Kita tahu oh ternyata penjualan kita menurun nih Dibanding bulan lalu sebesar 10% Terus 10% itu penjualannya Penjualannya menurun dari jumlah Dari jumlahnya atau dari volumenya. Karena treatmentnya bisa beda. Kalau ternyata jumlahnya yang turun, berarti yang kita harus lakukan itu akan nanti berbeda dengan ketika volume-nya yang turun. Terus lanjut kita masuk ke yang diagnostik.
Kalau diagnostik itu baru fokus ke root cause dari problemnya. Nanti gue akan jelasin lebih detail. Untuk yang predictive, baru kita bilang what might happen in the future.
6.2 predict what is likely to happen in the future based on past trends and patterns. Ini yang penting ya. Predictive itu hanya bisa memprediksi based on data yang kita punya.
Based on past patterns and trends. Jadi kalimatnya adalah kita bisa memprediksi dengan angka-angka sekian gitu ya. Kita bisa membuat prediksi dengan asumsi bahwa kejadian di masa lalu akan berulang di masa depan. Itu yang predictive.
Untuk yang prescriptive itu dari apa yang akan terjadi itu, misalnya outputnya adalah score. Kalau untuk kredit scoring, prescriptive-nya berarti untuk setting batasnya atau thresholdnya. Disebutnya sering cut-off analysis.
Kita bisa lihat, oke batas yang segini untuk orang-orang yang kita approve, batas segini untuk orang-orang yang kita reject. Sekarang kita akan masuk ke details-nya. Yang pertama, deskriptif.
Di deskriptif analytics ada empat measure. Yang pertama, measure of frequency. Itu bentuknya teman-teman bisa tahu count. Misalnya, berapa banyak klien yang female yang visit ke sales point kita.
Terus yang kedua, central limit. Central limit ada mean, ada median, ada mode. Ini tentunya rata-rata umur customer kita.
Terus ada measure of dispersion. Disini ada variance dan standard deviasi How spread up is income of our customer Dan yang terakhir ada position Atau bisa kita sebutnya sering desail analysis. Contohnya what is ratio of younger to older customer. Nah, untuk deskriptif ini yang kita sering familiar itu paling frekuensi central limit sama dispersion. Tapi seringnya kalau di industri itu justru kita lakukan juga yang measure of position.
Contoh measure of position apa? Kalau yang teman-teman udah pernah rasakan itu contohnya ya di beberapa kampus itu ada sistem grading based on percentile atau desile gitu ya berdasarkan distribusi normal kalau berdasarkan distribusi normal ya itu berdasarkan measure of position nanti kalau desile analysis kita bisa identify misalnya top 10% performer sama bottom 10 performer dan kita dari sana bisa bikin 2x2 nya misalnya matrixnya adalah dari sisi marginnya terus yang ke bawahnya misalnya dari sisi volume nah disini ada contoh untuk jenis distribusi yang kiri itu distribusi yang simetrikal, yang tengah yang positive skew, yang kanan yang negative skew. Yang perlu dipatikan adalah di sini itu rata-ratanya mirip-mirip. Yang di kiri 58, yang di tengah 57,2, yang di kanan 61,8. Kalau kita tidak nge-plot datanya, atau kita tidak hitung standar deviasinya, kalau kita ambil kesimpulan hanya dengan menggunakan rata-ratanya, bisa jadi kita menge-affect.
lebih dari 50% atau kurang dari 50% kalau kita misalnya decide oh untuk yang rata-rata kurang dari 58% kita kasih campaign something campaign A contohnya ya kita akan affect 50% of the population tapi ternyata kalau distribusinya positif skew dan kita hanya take decision based on looking at the mean kita akan offer lebih dari 50% yang akan kita campaign A padahal kita expectnya hanya 50% gitu ya penting juga untuk tetap kita lakukan visualisasi dari distribusi data kita. Next-nya, ini akan menjelaskan kenapanya. Ini adalah contoh visualisasi di mana yang paling kiri, ini disebutnya ASCOM-based quartet, itu adalah dataset yang statistiknya sama, jadi rata-ratanya sama, standar devisinya sama, korelasinya juga sama, cuma bentuk datasetnya beda banget.
Kalau kita bisa lihat yang paling kiri atas itu yang kita expect biasanya. Distribusinya normal, terus ada hubungan linearnya dan spreadnya bisa dibilang shock-even. Yang kedua itu justru hubungannya nggak linear.
Justru kita harusnya nge-fitnya bukan dengan model yang linear. Kalau ngelihat dari gambar yang kedua bisa jadi harusnya yang sifatnya kodratik atau logaritmik. Yang nomor tiga itu ada outlier ternyata. Itu data yang rapi banget gitu ya. bisa ditarik guys lurus, tapi ada satu outlier di atas yang bisa mempengaruhi hubungan linearnya.
Yang keempat, sama outlier, cuma dia datanya di satu nilai X yang sama. Semuanya X yang sama, yang BBT hanya Y-nya, kecuali satu yang outlier, menyebabkan hubungannya jadi seperti itu. Jadi kita tetap perlu lakukan visualisasi.
Tidak bisa kita hanya as simple as hitung statistik. Terus bikin model, dapat performance, selesai. Nggak bisa. Contoh yang keduanya ketika kita udah punya model itu yang di tengah.
Ini by Jan di 1980. Itu pengaruh dari inklusi satu poin tuh titik Afrika. Ini melakukan regresi antara income inequality. Biasanya gini indeksnya dengan turnout. Ketika dia masukin South Africa, itu langsung hubungannya bisa korelaksinya.
tajam ke bawah, semakin tinggi turnout income inequality-nya semakin turun tapi kalau kita exclude, jadinya lebih landai, gitu, di slope-nya dan ini penting untuk algoritma atau model yang sensitif terhadap outlier model-model linear regression itu tentunya sensitif terhadap outlier kita mungkin perlu lakukan treatment, kenapa atau kita cek dulu nih, kenapa ya data yang di South Africa kok bisa sebeda jauh itu Kalau misalnya teman-teman melihat nih yang di tengah ini, ini gimana caranya kita debug-nya? Ide-nya ya kita lihat dulu nih, yang di South Africa untuk daerah-daerah yang di sekeliling Afrikanya apakah datanya mirip sama kayak gitu atau enggak? Atau kita bisa lihat dari data generation process-nya, apakah ini kesalahan atau enggak? Yang nomor tiga itu ada dari Jan van Home di 2016. Ini semua dataset yang punya korelasi yang sama. Cuma fiturnya berbeda.
Kalau kita hanya lihat statistik dan hanya hitung korelasi, tapi kita nggak lihat visualized plot dari data set yang kita punya, jadi kita salah ambil kesimpulan. Ini untuk deskriptif. Next kita akan masuk ke yang diagnostik. Untuk yang diagnostik, ini gue pakai biasanya yang kita sebut adalah issue tree.
Kalau teman-teman cari di... browsing gitu ya, banyak cara untuk kita memetakan root cause dari problem. Ada yang namanya Facebook analisis, ada yang namanya Five Wise, dan sebagainya ya.
Di sini gue mau coba jelasin yang namanya issue 3. Jadi issue 3 itu adalah gimana kita mem-breakdown problem supaya root cause dari problem yang kita mau identify itu sifatnya M-E-C-E, yaitu M-E-C. disebutnya mutually exclusive dan collectively exhausted. Mutually exclusive itu maksudnya apa? Maksudnya ketika kita breakdown sumber masalah, penyebab dari sumber masalah ini hanya mempengaruhi sampel A.
Penyebab root cause problem nomor 2 hanya mempengaruhi sampel B. Jadi penyebabnya itu tidak saling overlapping. Kalau collectively exhaustive, itu artinya kita...
bisa identify semua root cost-nya. Contohnya yang di sini adalah yang paling mudah untuk kita melakukan dan yang sering kita pakai itu adalah algebraic structure. Algebraic structure tempatnya di sini itu adalah a main equation derived from drivers of variable. Yang paling mudah adalah profit sama dengan revenues dikurang cost.
Ketika kita breakdown by revenues dan by cost, kita bisa yakin bahwa root cost, misalnya ada pengurangan dari revenue, atau ada kenaikan dari cost, itu sifatnya pasti mutually exclusive. Collectively exhaustive-nya ya karena kita bisa identify semua komponen dari profitability-nya. Another way untuk breakdown itu bisa dari process structure. Ini biasanya kita lakukan ketika mau lakukan funnel analysis. Funnel analysis itu bisa dari...
Sales atau bisa dari marketing. Yang paling sering marketing tentunya dari awareness ke opinion, consideration, preference, dan purchase. Matrixnya, increase store in traffic, increase percent will pick up end product, increase percent of pickers that buy, increase number dollar spend per buyer. Atau kalau dari website traffic biasanya disebutnya berapa sih drop rate-nya dari step 1 ke step 2 gitu ya.
Berapa sih overall drop ratenya, berapa sih overall conversion ratenya, itu kita analisinya pakai proses structures. Yang ketiga, kita bisa pakai conceptual frameworks. Ini conceptual frameworks, contohnya yang kita bisa pakai 7P dari marketing, price, place, promotion, product, dan sebagainya. Atau the three C's of strategy, customer, company, competition. Kita bisa pakai conceptual frameworks.
Yang keempat. sentiksentasi, ini yang biasanya pertama kali kita lakukan, kalau kita lakukan descriptive analytics, ketika kita punya segmen contoh segmennya apa, usia tua usia muda, klien baru klien existing, terus by regional di pulau Jawa, di pulau Sumatera by gender yang laki-laki, yang perempuan by family status by pekerjaan dan sebagainya ya Kita bisa lakukan segmentasi. Cuma segmentasi ini biasanya kurang powerful. Dan kita harus combine sama tiga yang atasnya. Atau kita bisa lakukan algebraic structures-nya.
Yang terakhir adalah opposite words. Di sini itu contohnya supply and demand, internal dan eksternal, financial and non-financial. Jadi kita lakukan diagnostic analytics.
Kita sudah tahu misalnya ada deskriptif. Oh, dari bulan lalu ke sekarang itu ada... Penurunan penjualan 20%. Kita bisa lakukan, oh penjualan itu apa sih? Penjualan itu adalah number of customer dikali dollar spent per customer.
Berarti kita lakukan algebraic structure. Setelah kita lakukan algebraic structure, misalnya kita mau pakai framework yang segmen. Oh kita harus segmen nih. Segmen shop kita, misalnya ini bicaranya tentang coffee shop ya.
Coffee shop kita yang di mall sama yang di non-mall misalnya. Ada nggak perbedaan penurunannya ini apakah hanya yang di mall atau yang bukan di mall gitu ya. Kita bisa breakdown ke sana.
Lalu kita breakdown, oh ternyata ketemu nih. Yang bukan di mall nih yang turunnya gede banget. Ternyata bisa sampai setengah, 50% gitu ya.
Kita bisa pakai proses structure. Kenapa orang-orang pada nggak beli lagi? Oh ternyata... Dari percentage-nya lagi store traffic-nya turun nih. Karena di situ ada kompetitor misalnya.
Dan seterusnya, dan seterusnya. Ini teknik-teknik yang bisa kita pakai untuk lakukan diagnostic analytics. Kalau teman-teman mau lihat lebih detailnya bisa set aja issue 3. Oke, ini untuk diagnostic analytics. Kita nemu why-nya. Lanjut.
Kita masuk ke predictive dan prescriptive. Kita sudah tahu apa yang terjadi di masa lalu dan kita mau estimate apa yang akan terjadi di masa depan. Ini gue akan jelasin dulu contoh-contoh predictive dan prescriptive analytics yang kita lakukan di home credit, di financial industries. Yang pertama, sudah pasti ada forecasting. Forecasting ini pasti untuk penentuan budget, penentuan target.
Penentuan jumlah hiring dan sebagainya Yang kedua credit scoring Credit scoring itu tadi udah gue jelasin Bentuknya adalah predictivenya outputnya probability si orang ini akan default Prescriptive-nya adalah cut-off analysis Disini ada skor Kalau teman-teman tahu ini adalah skor yang biasanya nilainya ratusan Atau disebut dengan FICO-like score Itu kita preskriptifnya adalah menentukan batas mana nih. Orang yang mau kita reject sama orang yang mau kita probe. Yang ketiga, use case-nya di kita ada yang namanya propensity model. Propensity model itu adalah kita divide customer kita based on kemungkinan mereka melakukan purchase atau melakukan buying ke produk kita.
Ada yang high, ada yang medium, ada yang low. Kalau kita tahu, biasanya di... ilmu penjualan atau marketing gitu ya, ketika klien sudah ada intensi, kita harus tangkap secepatnya gitu ya, jadi lebih ke arahnya untuk yang propertisinti, preskriptif analyticsnya adalah untuk prioritasi. Jadi untuk kita yang sudah tahu nih, customer ini ada high chance untuk beli, langsung kita intercept sebelum lari ke komputer, misalnya kita kasih post notification, kita kasih campaign, kita kasih promo gitu ya, dan seterusnya.
Yang keempat itu portfolio risk model. Ini untuk mengekspek rate loss yang terjadi. Jadi kita sudah punya klien yang kita booking, terus kita mau lihat sampai mereka selesai pinjamannya, ada berapa sih rate loss yang akan kita tanggung.
Dari sini juga balik, prescriptive analysis berarti bentuknya budgeting dan targeting. Yang kelima ada salah satu use case juga, kita buat yang namanya attrition model. Attrition model itu... kita bentuknya, kreatif analitiknya ini kapan orang ini resign, atau untuk yang biasanya kita lakukan itu penyebabnya apa sih?
perspektifnya ya tentunya bukan exit interview ya kalau exit interview ya orangnya udah keluar gitu, perspektifnya oh ternyata orang-orang tuh kendalanya disini gitu ya, atau kalau bisa dilihat Oh ternyata dari patternnya kalau yang sakitnya setiap Senin selama 3 minggu betul-betul ini udah mau tersendiri gitu ya jadi kita bisa langsung intercept gitu belum dia belum bukan kabur ya untuk menjaga dia di kampanye kita kayak gitu Oke kita lanjut Oke kita recap dulu ya sebelum ke yang berfungsi jadi untuk yang deskripsi untuk data analyticsnya tadi kita udah bahas ada Deskriptif, ada measure of frequency Measure of dispersion Measure of position Untuk yang diagnostiknya kita bisa Pakai issue tree dan ada 5 cara Untuk kita breakdownnya Yang paling populer pakai algebraic formula Profit revenue kurang kos Ada segmentation Ada conceptual framework Itu kompetitor dan sebagainya Ada breakdown yang lain Untuk yang use case Predictive nya Yang di financial industry contohnya yang baru saja kita bahas. Sekarang kita mau bahas lebih detail terkait workflow yang kita pakai untuk lakukan data analyticsnya. Next. Ini workflow yang teman-teman sudah mungkin familiar. Tapi yang gue mau highlight di sini adalah lingkarannya.
Yang sering dilupakan itu adalah loopingnya. Jadi yang sering terjadi itu dari business request. tolong dong analisis A di B kenapa C lalu kita kerjain lalali kasih ke usernya oke selesai itu bukan looping ya kalau teman-teman komputer saya pasti udah ngerti ya yang namanya looping looping itu lebih dari satu kali Itu yang sering kita lupa.
Jadi di dalam workflow Cari DM, itu kita harus iterate quickly dan export feedback quickly. Jadi ketika dari business user ada request A, itu di awal kita bisa lakukan yang namanya business understanding, kita bisa tanya-tanya requirement detailnya seperti apa. By the way, most of the second top things that cause fails in project itu adalah inaccurate requirement jadi user-nya mintanya A, ternyata dia sebenarnya mintanya Z, gitu ya, itu yang sering terjadi that's why ketika kita lakukan analytics, kita harus iterate cepat, kita udah punya baseline analisisnya kita balik ke user, ini udah sesuai atau belum kalau belum kenapa lalali dan kita iterate lagi, jadi jangan sekali aja, gitu, terus dan selesai, finish itu gak ada loopingnya, ya oke Itu yang paling penting diingat di CRIF DM, kalau dari opini gue ya.
Yang pertama, business understanding, defining objective and success criteria. Ini yang penting, karena seringkali gimana kita nge-translate business problem ke dalam bentuk data analysis problem, itu ada miss-nya. Ini yang harus sering kita komunikasikan kepada stakeholder kita. Ngomong-ngomong tentang stakeholder, kita juga harus belajar gimana cara nge-manage mereka nah ini ada tools yang kita bisa pakai itu adalah power influence interest matrix disini nanti kita bisa petakan oh orang yang influence-nya banyak dan interest-nya banyak kita harus keep in touch keep in touch kita bikin regular meeting kita selalu ikutkan dalam diskusi gitu ya untuk yang power influence-nya sedikit tapi interest-nya banyak ini berarti orang yang JB-JB gitu ya JBJP dia, interestnya gede Tapi gak punya power atau influence Yaudah, cukup di inform aja Karena toh dia juga gak ada pengaruhnya Dan gak bisa bantu juga Di dalam proyek kita Itu untuk contoh Gimana cara kita managing stakeholder Jadi report yang kita kasih Kalau kita mau tanya expect that kita tau Oh kita harus tanya ke orang yang ini nih Untuk orang yang power Influence nya tinggi, tapi interestnya Kecil Itu kalau bisa ya kita usahakan dia punya interest lebih di project kita.
Ya kita bisa discuss dengan mereka. Gimana punya mereka dan sebagainya. Jadi kita yang lebih proaktif gitu ya. Untuk orang yang power influence-nya rendah tapi interest-nya gede. Ya ini kita biasanya.
Sanya atau peers kita gitu ya. Kita kan interest-nya sini tapi kita masih belum punya cukup influence. Atau technical members, peers dari function lain. Oke. Setelah kita tahu, define objektifnya dan menjadi data analisis problem, yang kita perlakukan adalah data understanding.
Data understanding ini perlu diperhatikan, yang paling penting adalah how the business process is translated into the database. Apa asumsinya? Kita harus keep list of assumption saat kita melakukan data analisis.
Ini adalah step data understanding. Misalnya, oh ternyata ketika client input di application form, di application formnya itu ada... checkingnya loh, kalau dia invalid itu harusnya nggak bisa, oh berarti kita bisa yakin bahwa data yang kita input itu udah ada checking di depan, oh ternyata ketika klien input KTP, KTPnya itu ternyata prefilled loh, dan prefillednya ini misalnya dari sumber yang mana gitu ya ya kita berarti, oh asumsinya ini prefilled, berarti kita bisa pakai atau nggaknya nanti tergantung mana resisnya, kayak gitu ya, jadi itu pitfall, where to look for data ini cukup jelas, kita bisa tanya ke IT kita, atau orang yang memanage database kita, data A dimana data penjualan dimana, hubungin ke kliennya gimana, dan sebagainya, ya kita bisa tanya sama orang back-endnya yang ketiga, yang paling penting itu adalah where is the source of truth, karena ini yang paling utama, ketika kita mau munculin angka kita harus tahu nih caranya gimana, caranya kita tanya kepada bisnis yang owning datanya kalau kita... ingin tahu data sales, kita tanya ke orang sales.
Kita ingin tahu data G atau data employee, ya kita tanya ke orang HR. Kita mau tanya data terkait mobile aplikasi kita, kita tanya ke orang yang bikin mobile aplikasi kita. Terus yang keempat adalah how to define segment of interest.
Ini maksudnya gimana? Ketika kita melakukan analisis, untuk mencegah supaya kita nggak lari kemana-mana, Nanti teman-teman mungkin sudah punya pengalaman juga ya ketika kita lagi explore database kita, terus kita lihat ini menarik dari kemana-mana, itu kita harus jelas. Define segment of interest-nya. Dan cara nge-segment-nya gimana.
Misalnya kita hanya mau lihat, oh gue mau fokus hanya untuk orang-orang yang masih baru atau klien yang sifat yang new. Gimana caranya gue define segment ini di database kita, kita juga harus ngerti. Yang ketiga, itu adalah step data preparation. Step preparation ini ketika kita udah tahu, oh gue mau ambil dari database A, database B, gue gabungin, jadiin data set.
dasar data set kita yang kita perlakukan adalah sanity checking sanity checking itu ya benar gak misalnya ternyata datanya data latitude longitude misalnya data latitude longitude kita perlu cek ini masih di dalam batas Indonesia gak atau ternyata itu titiknya di laut gitu ya terus kalau di laut ini kenapa ini kita harus cek yang kedua ketika kita udah ya punya datanya, kita lakukan simple agregasi atau descriptive analytics. Kita lihat, misalnya lagi analisis penjualan yang tadi, kita hitung penjualan bulan lalu, lalu kita harus cross-check dengan previous report yang udah ada, kalau udah ada ya. Atau dashboard yang dimiliki oleh tim bisnis. Bener nggak angka yang kita hitung ini sama dengan yang mereka punya di dashboard? Kalau nggak, ya berarti ada salah cara kita ngambil.
Ini yang penting ya. Yang pertama sanity checks, yang kedua cross-check. Yang ketiga, assessment of outlier.
Apakah ada di data kita yang sifatnya outlier? Contohnya, misalnya input datanya ada kode-kode tertentu nih. Misalnya, oh, tertentu negatif 999 artinya ini.
Atau 123 artinya ini. Atau kode-kode khususnya, misalnya X atau NA. Atau asumsi nulnya kayak gimana. Itu kita harus cek.
Dan sambil lakukan data preparation, kita tetap... Bikin assumption checklist kita. Yang keempat, modeling.
Nah, modeling ini nggak harus untuk predict. Jadi, modeling itu ada dua ya. Ada modeling yang kita lakukan untuk analisis atau IDE.
Ada modeling yang kita lakukan untuk memprediksi masa depan. Modeling yang kita lakukan untuk analisis itu kita bisa lakukan simple model atau regression biasa aja. Yang kita mau lihat adalah misalnya contohnya dari yang tadi. Kita sudah punya data bulanan, data bulanan penjualan, kita bisa hitung penurunannya, terus kita bisa hitung juga data-data yang lain, misalnya penjualan tadi, misalnya jumlah kontraknya sama volume-nya.
Kita bisa lakukan regresi dari variable kontrak sama volume-nya ke penurunannya. Yang mana yang paling besar mengaruhi, kita bisa lihat dari koefisien regresinya. Jadi modeling itu juga bisa kita lakukan untuk analytics.
Atau yang kedua, misalnya untuk funnel. Funnel kita mau lihat customer yang drop dari step 1 ke step 2. Kita bisa bikin aja flag-nya. Customer yang drop tag-nya 1, customer yang no drop flag-nya 0. Kita bikin variable-variable independennya demografi, dll.
Kita bikin model, modelnya akan keluarin nanti. Mana faktor yang signifikan atau melaruhi si orang ini jadi drop. Jadi ada dua jenis.
Kalau yang model yang prediktif, ya itu yang biasa kita lakukan. Misalnya untuk forecasting, untuk credit scoring, itu sifatnya beda. Di situ yang dikejar adalah performance. Modelnya harus performance. Kalau yang untuk analisis yang dikejar adalah hubungan antara variable.
Yang penting lagi di modeling adalah choosing direct model for direct analysis. Ini tentu saja kalau kita mau cari hubungan linear, kita pakai linear regression. Kalau sifat target variable-nya itu binary variable, kita pakai logistik.
Kalau kita mau cari tahu hubungan non-linear, kita pakai non-linear model. Entah itu tree model, random forest, XGBoost, LGBM, atau bahkan bisa pakai neural network. Untuk yang kelima, itu setelah kita sudah jadi modeling-nya, entah modeling yang analisis atau modeling yang kritik, kita lakukan evaluasi. Kalau di data analisis, evaluasinya dalam bentuk report.
Dalam bentuk report ini, yang penting adalah gimana cara kita mengkomunikasi ke stakeholder tadi yang di power influence matrix. Kalau yang sifatnya high level, berarti kita cukup bicara general key points-nya saja. Contohnya, sudah ketahuan nih, ada penjualan menurun di 20%, kita langsung bilang penjualan turun di 20% disebabkan oleh segmen yang bukan di mall karena proses dockerite 1, 2, 3 itu udah cukup eksekutif summary-nya selesai kalau kita bicara ke yang lebih teknikal baru kita breakdown oh ini terjadi di bulan ini jumlah total customer-nya segini yang signifikan ini dan sebagainya itu yang kita perlu latih nanti ya. Jadi gimana cara kita komunikasi ke stakeholder yang sifatnya high level atau ke teman-teman yang technical. Karena kita background dari technical, kalau untuk ngomong ke orang technical ya kita udah lancar gitu ya.
Jadi yang kita perlu coba itu nanti gimana kita komunikasi ke yang non-technical. Yang paling simple jangan gunakan jargon-jargon yang membingungkan gitu. Dan yang setelah kita udah...
bikin reportnya atau draft reportnya kita present, lalu kita ask for feedback dan kita lakukan loopingnya. Jarang sekali ketika kita lakukan analisis sekali jadi. Pasti akan ada additional requirement-nya atau ada analisis yang perlu kita terbaiki lagi. Dan kita looping balik ke business understanding dan seterusnya. Yang terakhir, kalau udah final, apakah decision-nya ternyata dari analisis yang kita buat kita mau lakukan kayak ini?
campaign ya berarti kita perlu dari analisis kita akan itu udah dapet tuh segmen yang mau kita al bikin kempennya kita perlu bikin trackernya atau file campaignnya dan monitoring untuk imetrik kalau action point dari perspektifnya adalah kita buat MP3 itu game untuk Cari DM yang penting adalah loopingnya jadi kita kita lakukan analytics itu harus itu fail quickly dan iterate fast jadi kita jangan sampai hanya sekali doang ngomong sama stakeholder-nya, karena tadi second most reason kenapa project itu fail, project artist fail itu karena requirement yang tidak sesuai, gitu oke, kita lanjut, sekarang ngobrolin tools, kalau di industry, apa sih toolsnya kalau infrastruktur, itu untuk database, biasanya nah kalau stack-stacknya itu untuk rdbms kita pakai Oracle bigdatanya pakai Spark atau PySpark dan kita juga ada Cloud untuk yang IBM itu beberapa company ada yang pakai untuk Cloudnya mungkin ada yang pakai AWS untuk database mereka yang kedua untuk visualisasi toolnya itu kita bisa beli misalnya untuk Tableau, Tableau itu yang berbayar Kalau Excel, beberapa ada yang bisa pakai subscription untuk koneksi langsung ke database, dan berbagai BI tools lainnya. Oracle juga ada BI tools-nya, bisa juga untuk Power BI, dan sebagainya. Lanjut, untuk surgical software, kalau di home credit, itu kita pakai Python. Kita bikin modelingnya itu dengan internal libraries kita. Tapi kalau di bank-bank atau di industri lainnya, kita nggak tahu ya, bisa jadi mereka menggunakan vendor atau nggak, atau mereka develop sendiri.
Yang sering dipakai biasanya Spss. Kalau SPSS itu biasanya ketika masih kuliah, untuk teman-teman yang dari jurus sosial pasti ngerti SPSS. Untuk AR, itu lebih sering dipakai di akademi.
Atau di bidang biologi. Karena untuk yang sifatnya biologi, itu library-nya lebih banyak di R. Nah, yang terakhir kita bicara dengan cloud service. Kalau cloud service ini biasanya one-stop solution for all.
Jadi mereka handle end-to-end dari database-nya ada, dari visualisasi-nya ada, analytics software-nya juga ada. Untuk Azure bahkan kita tahu kalau Microsoft kan sudah punya lesensi open AI-nya, jadi mereka sudah bisa langsung end-to-end bahkan sampai solusi AI-nya. Untuk Google Cloud Platform, kita juga sama, dan AWS ini tiga yang paling populer. Yang paling penting yang mau gue sampaikan ke teman-teman ketika kita mau gunakan tools adalah use the right tools for the right job. Maksudnya apa?
Maksudnya kita misalnya nih analisis data cuma 10 ribu gitu ya. Tapi kita maknain pakai Python gitu. Buat apa?
Kalau ternyata di Excel pivot lebih cepat dan udah selesai, why not? Pada akhirnya tools ini akan selalu berkembang gitu ya. Kita jangan terlalu fokus, ini biasanya common mistake dari teman-teman yang backgroundnya engineer, atau computer science.
Kita terlalu fokus sama mastery of the tools, tapi bukan understanding the problem. Jadi kita udah bergulat di Python-nya, kita, wah keren nih, kita bisa pakai library pandas yang 2.0, kita bisa pakai walrus operator untuk ini, selama jam kita pengen pakai, untuk analisis. Itu boleh, itu nggak salah, itu tetap boleh.
Tapi sebelum ke sana, kita harus udah siapin baseline solusinya dulu. Jadi kita harus, tadi balik ke yang workflow SDM-nya. harus iterate quickly dan fail fast.
Kita sudah harus punya solusi basenya dulu, baru kita kerjain yang lainnya. It's okay. Karena kan itu juga sebagai as a data scientist, dengan perkembangan teknologi yang cepat, itu kita juga harus keep up with the current trend. Misalnya untuk modeling library yang populer, misalnya Skcd Learn gitu ya, tapi ternyata nanti muncul library yang lain, atau sebagainya.
Itu juga kita harus keep up. Tapi yang paling penting pertama, Kalau datanya ya cuma 10 ribu atau 100 ribu, ya Excel selesai, it's okay. No problem.
Kalau baru kita ngomongin data yang sekitar sejuta, karena di Excel itu ada batasnya ya, sheetnya sampai sejuta doang. Atau gini, sebelum sejuta, oke Excel yang di local tab kita nggak bisa. Yaudah, why not pakai Excel yang di cloud?
Oh, kembutarnya kan berarti kalkulasinya di cloud-nya sana. Di cloud-nya Microsoft untuk yang online Excel. Kalau masih bisa, it's okay. Kalau nggak bisa, baru kita lanjut nih. Oh, datanya cukup.
kompleks ini dan kita perlu lakukan analisis lebih cepat, yaudah kita pindah ke Python misalnya, kita Python kita analisis pakai Pandas, kalau itu masih kurang kita perlu lakukan agresi yang lebih cepat sifatnya misalnya miliaran gitu ya atau jutaan dalam puluhan ratusan juta atau miliaran baru kita move on ke Spark jadi use the right tools for the right job kalau di industri biasanya kita lakukan agregasi dari atas ke bawah, jadi kalau datanya dari semacam panel gitu ya, dari data yang sepertijutaan kita agregasi di SPA baru kita ke pipeline untuk analisis dan sanity checking, baru finalnya kita bikin udah yang dalam untuk agregasi ke Excel, dari Excel baru kita bikin pivot dan visualisasinya itu untuk proyek data analytics, gitu teman-teman atau ya kalau mau mudah langsung pakai cloud service aja, cuma ya kelemahannya pasti berbayar gitu ya, setiap select keluar itu duit, gitu ya bisa boncos... Oke lanjut, nah ini gue mau sekarang ngomongin sample case yang credit scoring. Jadi credit scoring itu sebenarnya kalau kita mau KPR rumah sifatnya yang barang-barang yang jangka panjang itu biasanya masih ada yang namanya credit expert. Jadi credit expert ini adalah orang yang menganalisis kemampuan bayar, banyak aspek lah. Intinya dia menganalisis apakah orang ini benar-benar mampu nanti balikkan duitnya ke bank.
untuk bisnis biasanya juga ada kredit ekspertnya, nah kalau untuk consumer lending, dulu itu masih banyak kredit ekspert di tahun 2017 2015 masih-masih baru fintech belum sebanyak sekarang sekarang fintech kita sebut udah ada banyak banget dulu itu masih ada orang yang memang nganalisis nih orang ini dilihat dari apa misalnya sosmed, dilihat dari data rumahnya atau sampai di retengin gitu ya alamatnya rumahnya kayak gimana, kemampuan bayarnya kayak gimana seperti itu prosesnya dan dia akan melakukan tabulasi dan scoring untuk melihat oh yang ini bisa nih kita atur kalau sekarang, sebanyakan fintech atau bahkan bank pun udah mulai untuk menggunakan yang namanya untuk yang consumer ya, kalau yang B2B kayaknya masih ada kredit ekspertnya untuk yang consumer kita pakai yang namanya credit scoring sehingga kita bisa dapat decision apakah kita diperpotong atau enggak itu sifatnya menit dalam 1 menit udah bisa ke approve, dan kalau di Bukredit itu kita udah jalanin dari 2019 dari 2019 itu kita udah bisa approve client itu 3 menit, 3 menit udah bisa kita approve, itu real time gak perlu nunggu 1 hari sampai 2 hari kalau sekarang kayaknya semua udah hampir bisa gitu ya, banyak pilihan financial credit yang di online pun juga udah bisa instant approval gitu ya Nah, di sini bisnis problemnya adalah gimana kita bisa lakukan si credit scoring. Lanjut, objektifnya kita transisi, misalnya ini kita ingin transisi dari credit per base ke automated scorecard system untuk increase akurasi, konsistensi, dan efisiensi. Lanjut, jadi untuk credit scoring tentunya semakin cepat di-approve selain...
meningkatkan akurasi dengan kita menggunakan credit scoring, juga kita bisa meningkatkan user experience, gitu ya. Jadi si customer-nya nggak perlu nunggu lama untuk tahu, ini bisa nggak sih sebenarnya, gitu ya. Problem statement-nya, to overcome the issue of the proposed implementation, the system will use statistical model and machine algorithm to exploit the creditworthiness. Nah, lanjut, solusinya kita berarti perlu lakukan yang namanya predictive analytics. Di sini hanya Sampai predictive ya.
Jadi kalau di as a scientist biasanya kita hanya bikin model sampai output scoringnya. Untuk decision thresholdnya gitu ya, skor berapa sih yang mau kita approve atau enggak, itu biasanya kita serahkan ke team. Kalau di financial industry ada yang namanya team under.
writing. Itu dari tim underwriting akan gunakan scorecard kita, salah satu komponennya bersamaan dengan matrix yang lain, dia akan tentukan nih, batas mana nih, yang ini yang di approve, yang ini yang di reject kayak gitu ya. Jadi kalau untuk data scientist, kita hanya sampai ke predictive analytics-nya. Disini gue ambil contoh dari Kaggle Home Credit kalau teman-teman yang mau ngerti banget nih, modeling di modeling credit scorecard gue bilang, baca Kaggle Home Credit dari... top solutionnya itu udah hatam lah 80% udah hatam lah dimana cara mereka ngolah datanya dan sebagainya itu udah ada sebenarnya semua disana, gitu, ini gue coba ambil simple case-nya gunakan data demografi aja ya kita lanjut, nah yang kita lakukan pertama, sebelah kiri, kalau teman-teman mungkin udah familiar, ini di pandas, kita hanya ambil data demografi, dari yang paling kiri kita bisa lihat kolom targetnya itu namanya target disitu ya Total rows-nya ada 37.000.
Terus dari yang paling kiri kita bisa lihat ada dua variable yang punya missing values. Apa aja itu adalah kain teva members, meskipun missing values cuma dua ya. Terus ada occupation type.
Nah, lalu kita pisahkan nih mana yang sifatnya kategorikal, mana yang sifatnya numerical. Kalau pengolahannya di sini kan ada yang di sebelah kiri ada yang flag. Tapi data type-nya masih integer atau numerical, itu kita perlu buat supaya kategorical. Karena flagging itu kan essentially sebenarnya sifatnya kategorical ya, hanya yes or no atau satu ada atau nol.
Jadi key points-nya, we have a total of 307,511 rows. Total parameters-nya 19, 5-nya numerical, 14-nya kategorical. Ada 2 predictor yang punya missing values, CNTPAR members dan occupation type.
Lanjut. ya disini baru kita hitung measure of frequency central limit dispersion dan positionnya ini langsung kalau di python mudah tinggal describe input all nah disini mungkin kalau chatnya aktif teman-teman aku ada pertanyaan bisa gak teman-teman spot anything yang aneh atau anomali disini yang perlu kita deep dive dari sini aja Ini chatnya di disable gak ya? Gak tau sih. Kalau ada mungkin teman-teman bisa ketik di chat.
Dari data ini ada gak yang anomali atau yang stand out? Kalau salah jawab nilainya berkurang ya? Enggak ya harusnya ya.
Nah disini oke kita... Ya betul, dashboardnya negatif. Ada lagi nggak? Thank you Joshua Nicholas.
Nice. Ada lagi yang aneh. Dashboardnya negatif, tapi ini yang emploitnya juga. Yang emploitnya benar, negatif. Tapi ada lagi yang aneh sebenarnya.
Ayo, teman-teman. kuncinya tadi ya speed ya kalau ngomongin data analytics kuncinya adalah speed dari sini ada lagi gak yang aneh? dari kita lihat satu-satu ada yang masih mau jawab? oke, oke kita bahas aja ya Yang pertama, dari amount income total dulu nih kita lihat. Rata-ratanya 168 ribu.
Terus maksimumnya itu lihat 1 berapa tuh? Nolnya banyak ya. Nolnya ada 617 juta. Berarti kita bisa lihat, oh ini ada outlier.
Kita perlu investigate. Nanti kita harus plot nih yang mungkin total. Kita keep in check ya.
Yang kedua, sound children. Itu maksimumnya ada yang 19. Wah, ini orang punya anak 19. Bener nggak nih? Gitu ya. Cantik.
TvaA members masih mungkin, days birth ini negatif, karena ini benar, semuanya negatif, dari min sama max-nya negatif, karena sifatnya adalah menghitung, dikurangi ke days of application-nya. Jadi days of application, dikurang date of birth, jadi days birth. Jadi kalau mau bikin age dalam untuk years, nanti days birth-nya kita perlu bagi minus 365. Justru yang aneh adalah di days employed. Kalau kita lihat dari minimum value-nya, di situ ada 17.912, sedangkan maximum value-nya positif.
Ini yang aneh. Karena harusnya kalau dengan asumsi yang sama kayak daysbirth, nggak mungkin ada nilai positive. Berarti kita harus cek.
Yang selanjutnya, code gender. Gendernya ada tiga unique values-nya. Bukan cuma male, female.
Berarti kita harus cek apa nih satunya. Padahal kita lihat di saat sebelumnya, code gendernya nggak ada null value-nya. Code gendernya nggak ada null value-nya, tapi unique-nya ada tiga.
Kita harus cek satu lagi ini apa meaningnya. Apakah itu sebenarnya null yang... Ternyata tidak jadi null Gitu ya teman-teman ya Jadi dari simple describe ini Kalau kita teliti Itu ada Udah kelihatan Mana-mana yang harus kita investigate further Yang sering kejadian Karena kita suka ngoding ya Gue juga suka ngoding sih Ketika udah ini Udah ngeliat ini Aduh males banget nih Mau langsung modeling aja lah Gak bisa apa gitu kan ya Gak bisa guys Kita harus cek dulu dari sini Dari sini aja udah Tadi ya, udah beberapa poin yang harus kita lakukan analisisnya dulu Sebelum lanjut ke step selanjutnya Dari sini, kalau mau ngomongin measure of frequency Kita lihat targetnya dulu Oh, targetnya dari mean Berarti ada 8% orang yang default Dari gender Oh, sebagian besar female 202.000 dibagi 307.000 65,8% Terus kita lihat median income-nya di Startup 47 ribu ini dalam dollar atau dalam Euro ya atau dalam ini nanti kita lihat Apakah ini itu di rata rata income secara general kalau ngomongin Indonesia ya misalnya kita dapat data rata-rata income nya 10 juta itu menurut temen-temen tinggi apa rendah perbulan 10 juta perbulan enggak ya itu udah top diesel 10 juta perbulan tuh datang diesel karena WMR Jakarta aja berapa paling 6 atau 5,1 Jadi kita bisa langsung lihat, oh ini ternyata klien-klien yang high-end atau entry-level.
Dari situ kita sudah dapat background datanya. Dari umur, kita bisa lihat ini yang tua bagaimana, yang ada berapa usianya, dan sebagainya. Terus dari sini kita bisa lihat, oh ternyata di application form-nya itu ditanyakan name income-nya, education, family status-nya, housing type-nya, occupation-nya apa, punya mobil atau enggak, dan se.
Di sini juga bisa kita lihat ada orang yang tidak punya email atau data emailnya itu yang punya hanya sedikit ternyata. Cuma 5%. Jadi data email cuma sedikit-sedikit, yang punya berpun sekian dan sekian.
Itu bisa langsung kita dapat bayangan, oh ternyata kalau orang-orang yang tidak punya email ini kenapa? Apakah ini optional di application form-nya atau memang sumber datanya lain? Itu bisa langsung kita lihat.
Jadi kita punya benchmarknya. Jadi kalau analis yang sudah senior itu, biasanya untuk setiap variable itu mereka sudah ada benchmarknya. Oh, gue expect harusnya segini. Oh, gue expect harusnya segini. Oh, gue expect harusnya umurnya itu segini.
Jadi sudah bisa lihat kalau ada terjadi anomali di datasetnya. Itu yang harus dibuild by experience. Tergantung industry-nya. Oke, kita lanjut. Setelah kita tahu apa yang perlu kita analisa, kita lakukan data preparation.
Data preparation yang pertama adalah fitur engineering. Fitur engineering kita tadi bikin age dalam bentuk tahun, kita bagi days per day minus 365. Terus ternyata yang disemployed tadi itu adalah data yang di fill in. Jadi kalau yang nggak ada itu diisi dengan 365, 24, 3. Jadi kita replace sama null values.
Terus kita baru bisa bikin data years employed. Fitur yang lain yang kita bisa lakukan itu misalnya kalau kita ingin bikin interaksi antara umur sama gender misalnya, atau umur dengan years employed misalnya gini. Misalnya dari umur, orang umurnya 25, tapi years employednya baru 1. Sama orang yang umur 25, years employednya udah 5 tahun.
Kira-kira lebih dari sekian mana? Kemungkinan besar akan dibagi rezeki yang baru kerja satu-satu tahun. Jadi kita bisa bikin engineeringnya adalah rasio dari years employed ke age-nya. Dan pembentukan fitur engineering ini biasanya dilakukan dengan business knowledge.
Ya yang kayak tadi, apa yang make sense ya kita bikin. Yang kita mau tes. Bener nggak sih orang yang rasio antara years employed dengan age-nya itu semakin rezeki kalau semakin kecil.
Kita bisa bikin variabelnya Tapi disini gak dibuat ya Terus yang setelah kita udah bikin fitur-fitur Barunya baru kita lakukan Univariate analysis Basically adalah mencari hubungan antara si variable dengan targetnya. Kalau di sini gue plot name income type dan name education type. Kalau kita lihat yang dari sini, itu kan groupingnya ada 6. 1, 2, 3, sorry. Untuk yang income itu ada 7. Tapi ternyata yang valuesnya commercial associate cuma dikit banget. Jadi yang selanjutnya apakah kita bisa lakukan grouping.
Misalnya yang commercial associate, yaudah kita gabungin sama businessman. Terus yang unemployed, yaudah biar unemployed, yang student misalnya kalau nggak bisa digabungin yaudah cukup, karena jumlah count yang di kategori itu terlalu sedikit atau kalau memang itu important ya kita keep it as it is, gitu ya ini yang untuk kategorical, dari sini kita bisa lihat nih orang yang unemployed itu default rate-nya 36% gitu ya, yang maternity leave, yang lagi cuti, juga 48 persen, cuma kalau kita lihat dari count-nya ya cuma segitu, cuma 2 sama 16 apakah ini signifikan atau enggak, harusnya bisa kita nilai, oh ini enggak signifikan, kita bisa grouping ke group yang lainnya. Jadi yang bisa kita lihat perbedaannya jauh itu misalnya contoh yang working dengan commercial associate gitu ya.
Yang working 9,5 persen, commercial associate 7,4 persen, kita ingat tadi default rate baseline kita adalah 8 persen. Jadi yang work yang lebih tinggi dari baseline, all population, yang 7,4 lebih kecil. Begitu juga kita lakukan analisis untuk yang education type. Untuk yang numerical, biasanya kita plot adalah distribution plot. Kalau menurut teman-teman dari dua predator ini, mana yang lebih powerful?
Age atau years employed? Coba bisa dijawab di chat. Menurut teman-teman dari univari analisis yang numerical, dengan distribution plot ini, mana yang lebih powerful?
powerful atau punya korelasi tinggi ke targetnya. Yang age apa yang years employed. Wah, bingung. Kira-kira yang mana nih?
Kalau melihat dari plot yang analisis numerik kali ini. Yang kita lihat itu adalah seberapa overlap mereka. Kalau kita lihat yang years employed, Antara yang default sama non-default, ya overlappingnya lebih besar daripada yang age.
Jadi kita bisa simpulkan, oh yang age ini lebih strong daripada yang years employed. Dari analisis distribusinya untuk yang numerical. Yang selanjutnya itu adalah fitur selection. Ini kita bisa lakukan dengan korelasi. Jadi kita hilangkan korelasi yang rendah ke target atau yang punya korelasi.
Jadi kita pilih nih, misalnya ada dua predictor, yang satu korelasi ke targetan lebih tinggi. 0,7, yang satu 0,5, terus yang Dua parameter ini punya korelasi tinggi Satu sama lain 0,8, yaudah kita pilih salah satu Misalnya kayak gitu Atau yang kedua, untuk lihat hubungan non-linear Kita bisa lakukan seleksi Berdasarkan shape importance Lanjut Setelah kita lakukan data preparation Sudah kita sanity check Dan sebagainya, baru kita lakukan Mode linknya Ini gue simple, cuma akan pakai dua peritas aja Yang numerical age dan years employed Kita pakai status model disini Untuk lihat signifikasinya juga Dapat file modelnya sekitar 19,7 genie Untuk matrix yang biasa kita pakai Karena ini hanya untuk penentuan ranking Hanya untuk penentuan ranking Matrixnya biasanya ROC, AOC, atau genie Kalau kita care terhadap actual angkanya baru kita hitung MSA-nya, atau kalau untuk data yang sifatnya binary, ada yang namanya briar loss-nya, tapi sebenarnya itu sama aja kayak RMSA RMSA di angka yang nomor kita karena kita hanya care untuk menentukan batas maka metode yang kita pakai ini, idea untuk improve-nya ya kita tambahin predictor-nya, kita tambahin data yang lain-lain yang numerical eh sorry, sorry, serah yang demografi dan seterusnya, gitu ya jadi ini ini bisa selesai mungkin sehari kurang dan kita sudah bisa presen 20 genie cukup gak? kalau solusi sebelumnya adalah tanpa model genie 20 ya it's okay ya better than nothing daripada kita masih assigning run dengan cara yang lama yaudah it's better than nothing ini sudah bisa di implement yang sederhana kayak gini pun sudah bisa kalau memang compare sebelumnya belum ada model baru kita iterate lagi gitu ya, jadi stepnya start simple baru kita iterasi gitu oke, teman-teman ini slide terakhir dari analysis yang kita udah bahas, tadi kita udah bahas banyak mungkin langsung lanjut bisa ke oh iya lanjut ke kesimpulannya jadi intinya ini gue quote ambil dari salah satu bukan salah satu dari chief decision scientistnya di google ini wanita namanya Casey Kozirkov teman-teman bisa cari itu dia bikin blog medium blog cukup bagus kalau teman-teman tertarik tentang data analytics dia bilang the analytics game is all about optimizing inspiration per minute jadi kalau teman-teman memang pengen jadi data analis gitu ya kuncinya adalah speed Gimana cara kita bisa iterate quickly Kita harus mastery of business knowledge Dan mastery of tools Oke Sekian dari gue Mungkin kita bisa lanjut ke sesi selanjutnya Terima kasih teman-teman Baik, terima kasih Pak Gunawan Kita lanjut ke Sesi tanya jawab, mungkin masih ada kesempatan untuk 2 mahasiswa atau 3 mahasiswa yang mau bertanya silakan mungkin saya pancing dulu ya pak ya tadi kan bapak bilang lakukan selalu iterasi ya kapan sih saat tepatnya itu lakukan iterasi gitu loh, terus ataupun harus berapa kali iterasi yang prosesnya itu harus dilakukan oke, kalau bicara modeling, kalau memang datanya baru gitu ya Bu ya, biasanya itu bisa sampai 4 kali dan sifatnya entah weekly biasanya jadi kita ada weekly update dengan si stakeholder-nya, lalu kita dari situ kita update progress gitu, tapi di weekly yang pertama, kita udah bisa present solusi yang udah ready gitu ini pun udah bisa kita implement, baru kita bisa implement dari sana, kalau masih ada waktu baik ya itu saya sudah bertanya mungkin ada teman-teman yang mau bertanya, atau ini benar-benar itu ya mengagumkan, sampai udah dicerna dulu semua kebetulan ini Pak dari Computer Science School of Computer Science ini, kita ada beberapa jurusan, jadi ini juga memang sangat beragam untuk anak-anaknya. Kita ada yang mau bertanya, boleh langsung on mic, buka microphone-nya dan silakan bertanya atau mau chat.
Rehan kayaknya mau tanya nih Rehan. Kayak baru bangun tidur Rehan. Rehan Wilbert bertanya kah Rehan?
Atau angkat tangan? Oh enggak. Oke baik.
Kayaknya berarti semua sudah bisa menangkap ya apa yang telah di-sharekan oleh Pak Gunawan. Kalau begitu, oke tadi Ana. Saya mau tanya. Oh iya, silakan. Pak Kak, mau tanya.
Tadi kan Kak udah nyebutin kan tools yang dipakai itu kan mesti kayak sesuai dengan kebutuhan perusahaan kan Kak? Nah itu tapi buat kita itu Misalnya kita belajarnya Python terus Tapi tiba-tiba mesti belajar Bahasa promograman yang lain Nah itu cara supaya bisa cepat Untuk memahami bahasa promogramannya Itu gimana? Terima kasih Ini pertanyaan menarik ya Pertama untuk teman-teman yang dari computer science Kalau programming language itu Menurut gue hanya abstraksi saja Yang pertama Yang penting itu justru adalah berpikir komputasinya.
Komputasi itu higher level dari programming language-nya. Gimana caranya kita memecah masalah, jadi step-step yang bisa kita breakdown dan bisa kita lakukan. Jadi itu bukan masalah. Kayak dulu gue itu belajarnya justru C++. Baru di India Industri kita pakai Python.
It's okay. Kita learn new syntax juga nggak masalah. Toh juga ada tools yang udah bisa kita bantuin ya.
Kalau teman-teman belajar Python-nya itu benar, Maksudnya yang dipajari itu justru adalah Gimana berpikir komputasinya Any programming language yang kita akan hadapi di masa depan It's bakal easy to understand bahkan ketika bukan hanya programming language ya, ketika kita lakukan rumus di Excel gitu ya sebenarnya kan mirip sama apa yang kita bisa lakukan di Python tapi kalau kita udah understand core dari berbagai komputasinya harusnya it's okay jadi kerjain tugasnya sendiri, terus kalau lebih ke understandingnya gitu ya kalau itu udah dapet Harusnya mau nanti ada programming language Mojo, ada yang baru, ada apa, it's okay sebenarnya. Baik, apakah menjawab? Tadi yang bertanya nggak resen, saya nggak tahu siapa.
Menjawab, terima kasih. Oke, baik. Pak, ada satu lagi. Mau tanya, ini dari... Tiko, mau tanya untuk milih machine learning yang bagus itu gimana?
Terus untuk case problem seperti apa? Soalnya kemarin katanya harus tes semua machine learning. Nah kira-kira mungkin kurang lebih seperti itu sih pertanyaan. Oke. Mungkin boleh dijelasin yang maksudnya harus ngerti semua machine learning itu gimana ya?
Oh iya pak izin ini ya. Jadi kemarin itu sempat bingung kan dan nanya di kelas Kalau misalnya memilih machine learning itu bagusnya apa Soalnya kan banyak banget tuh pak Dan bapak tadi juga ada mention machine learning apa aja Dan problem cocok untuk digunain sama machine learning itu kan Nah jadi apa memang benar harus dicobain semua gitu Atau kita punya referensi sendiri Kalau misalnya machine learning ini itu cocok untuk Kalau gue ini subjektif di masing-masing orang tapi gue akan start selalu dengan XGBoost kalian belajar XGBoost sampai hatam itu selesai sih semua masalah menurut gue ya untuk data yang sifatnya tabular XGBoost selesai itu kalian masterin aja itu udah cukup baru nanti sebelum ke komplement kesana adalah untuk regresi linearnya itu kalau yang di industri masih dua itu aja belum ada kita ngomongin neural network segala macem itu masih belum ada dipakai karena kalau untuk edit scoring terutama misalnya ya Untuk model-model yang kita perlu tahu reasoning kenapa orang ini skornya segini, kita masih harus pakai model linear. Atau model yang simpatnya Tris. Kalau Tris kan ada beberapa metode interpretasinya.
Interpretasinya itu sudah ada. Jadi cuma dua itu saja. Kalau saran gue, kalian belajar XGBoost, linear regression, logistik regression, sudah cukup.
Oke Pak Terima kasih Pak Baik, terima kasih. safety call mudah-mudahan itu sudah menjawab ya masih ada lagi oke sudah gak ada mungkin terakhir mungkin sudah cara cepat ini dari Bu Sanya ada informasi ya seperti yang kita tahu juga mungkin ada teman-teman ini yang cuma magang satu semester ataupun memang ikut program kampus merdeka masih boleh ikut lagi nah ini ada kesempatan dari home credit untuk apa Anda bisa ikut dalam dari Home Credit ya. Mungkin Bu Sanya mau informasikan dulu sebentar. Waktunya ya Pak Gunawan, boleh ya Pak?
Iya, oke. Terima kasih Ibu atas kesempatannya. Jadi teman-teman mungkin tadi sudah sedikit mendengar gitu ya. Kebayang as data analyst and also data scientist yang Bukredit Indonesia itu seperti apa gitu ya. Nah kalau nih teman-teman pengen jump in langsung gitu ya ngerasain kira-kira as a data analis itu gimana sih gitu ya specifically in home credit Indonesia.
Jadi saat ini kita juga lagi buka gitu ya lowongannya untuk kampus Merdeka. Jadi internship program ini akan berlangsung selama 4,5 bulan dimana nanti untuk deadline rekrutmennya itu nanti deadline untuk teman-teman apply gitu ya itu ada sampai tanggal... tanggal 10 Juni. Nah, posisinya ada apa aja sih gitu ya. So, right now we have more than 100 seats dan juga 70 position gitu ya.
Teman-teman nanti bisa lihat di sini ataupun nanti di website kampus merdeka yang langsung, buku open aja langsung Home Credit Indonesia. Ini adalah position-position yang teman-teman bisa apply bahkan ini tuh ada dua halaman gitu ya. Jadi bisa dilihat aja bahwa banyak position analis gitu ya.
Jadi analisnya ini tidak hanya apa namanya jadi beda-beda gitu ya. Jadi contohnya nih dari HR sendiri gitu ya teman-teman bisa lihat bahwa di HR sendiri kita ada position untuk internship HR data analis. Tapi selain itu juga teman-teman bisa lihat di IT-nya apalagi ya itu banyak banget, ada lebih dari 20 position untuk teman-teman bisa apply, atau misalnya ternyata teman-teman tertarik untuk apa namanya, explore ke hal lain gitu ya, mungkin yang bukan analis ataupun IT gitu ya, bisa dilihat aja gitu ya, atau misalnya teman-teman pengen rasain, ah pengen rasain HR data analis itu kayak gimana, atau si RAM analis itu kayak gimana sih gitu ya.
Di sini juga ada anti fraud analis, ada risk analis gitu ya. Ada underwriting technology analis juga yang tadi mungkin sempat sedikit diceritakan oleh apa namanya Mas Gunawan, apa namanya, kok pekerjaannya seperti apa supaya teman-teman terbayang gitu ya. Nah, jadi kalau misalnya teman-teman tertarik gitu ya silahkan langsung aja apply ke link yang sudah aku share juga di dalam chat gitu ya. deadline-nya nanti akan sampai dengan 10 Juni untuk teman-teman apply, programnya 4,5 bulan sama.
Nah, mungkin sedikit nih kalau misalnya teman-teman pengen lihat implementation programnya itu seperti apa gitu ya di Home Credit Indonesia, yang pasti nanti teman-teman akan melalui rekrutmen proses di mana nanti rekrutmennya itu akan dilalui bersama HR interview dan juga user interview. Jadi nanti dari HR interview biasanya untuk fit. culture fitnya gitu ya dan juga minimum requirements dari kita sudah terpenuhi nanti teman-teman akan langsung ketemu dengan user yang akan menjadi mentornya langsung.
Setelah itu nanti akan ada onboarding event di mana teman-teman akan dikasih pembekalan sedikit terkait dengan company profile sendiri, kemudian apa namanya terkait dengan IT security dan hal lain-lainnya yang berkaitan dengan data protection karena betul nanti teman-teman ketika join itu akan terjun langsung nih kalau misalkan menjadi analis ya akan mengerjakannya ya datanya data real dari company yang sendiri gitu ya. Jadi memang kita juga mengutamakan yang namanya data protection makanya itu akan kita berikan di awal. Kemudian ada sesi trainingnya juga setiap bulan gitu ya soft skill and technical skill kayak contohnya soft skill itu kemarin kita ada tentang building relationship kemudian juga ada tentang communication skill gitu ya. Dan kalau technicalnya kemarin kita sempat nih bawain juga tentang Microsoft Excel gitu ya.
apa namanya as apa namanya foundation gitu ya tools yang biasa kita pakai day to day tapi tenang aja disitu juga kita bagi dua ya ada yang basic skill gitu ya khususnya untuk teman-teman yang mungkin gak berkecimpung di Excel setiap hari tapi kalau mungkin untuk yang level analis itu kita ada yang level intermediate dimana itu diajarkan langsung oleh tim operation analis yang langsung. Kemudian kita juga ada survey menti mentornya untuk apa ya help checking gitu ya dimana teman-teman selama pertanyaan program itu seperti apa feedbacknya dan juga apa yang sudah didapat both from mentee and mentornya. Kemudian setelah 4,5 bulan langsung teman-teman akan mengaksanakan final presentation project dimana disitu kesempatan teman-teman untuk menunjukkan nih what you have done in 4 and a half months program disitu berbarengan dengan mentor dan juga dengan timnya dan juga ada off-boarding event gitu ya. sebagai closing dari programnya yang akan diberikan juga CV and interview session dari tim HR as a part of preparation teman-teman terbang nih ke tempat lain atau mungkin bisa jadi di hire langsung oleh home credit gitu.
Itu aja dari aku teman-teman semuanya jadi so if you guys interested langsung aja apply ke apa namanya platformnya bisa di lolling tim kita gitu ya atau langsung cari aja gitu ya. ke website kampus mendekanya type aja home credit Indonesia disitu semuanya posisinya sudah ada gitu, itu aja dari aku Bu, terima kasih banyak baik Bu, saya nanti mungkin saya itu kan juga ada linknya gak bisa dibuka oke, boleh ke sini aja langsung ya, aku kirim nanti Bu saya juga boleh send ke saya yang saya udah kirim email kalau gak bisa langsung ke situ aja untuk langsung ke platform kampus menterikannya. Busanya, suara saya kedengeran.
Mungkin sebelum ditutup oleh Ibu Jurike, mungkin ada yang mau bertanya dulu terkait dengan program internshipnya. Iya, busanya waktunya sudah habis. Dan Ibu, saya sudah drop email dan nomor telepon saya. Nanti Ibu informasinya kasih ke saya saja.
Jadi nanti ini memang... Sebagian besar mungkin anak-anak bisa ikut ini karena memang mereka ambil sebelumnya mikrokredensial, SSI, makanya mereka boleh magang. Baik, nanti informasinya kita akan bantu karena untuk pembuatan surat dan lain-lain kita juga akan bantu.
Terima kasih untuk informasinya. Terima kasih, Bu. Teman-teman, silakan on-cam.
Kita akan ambil absennya. Teman-teman, silakan on-cam. Saya kasih satu menit untuk mempersiapkan yang rapi, yang bagus. Silakan nanti kita akan absen.
Oke, saya mulai secara keseluruhan. Kalau tidak salah ada lima. Saya akan ambil aksennya.
Halaman pertama, selanjutnya untuk yang kedua, selanjutnya yang ketiga, selanjutnya yang keempat. Bentar ya. Keempat, terus yang terakhir yang kelima.
Baik, terima kasih untuk Pak, yang sebesar-besarnya ya Pak Gunawan dan Bu Sanya. Terus mungkin juga mohon informasinya Bu, sebenarnya di sini juga ada anak-anak yang siap direkrut untuk menjadi karyawan. nanti juga kalau ada informasinya Ibu boleh sampaikan ke kita nanti mungkin saya bisa kontak Ibu juga ya, nanti mungkin Ibu silakan reply dari nomor telepon yang saya sudah kasih terakhir terima kasih banyak Pak Gunawan, semoga ini menjadi bekal juga untuk anak-anak persiapan mereka untuk menjadi mahasiswa yang lebih profesional dan siap untuk terjun di masyarakat Terima kasih Pak Gunawan.
Sama-sama Ibu. Oke baik, terima kasih. Selanjutnya saya kembalikan ke Bu Ajeng kalau ada yang mau disampaikan dan jangan lupa mahasiswa melakukan evaluasi dari yang sudah ada di screen ini.
Silakan. Terima kasih Pak Terima kasih Bu, izin diberi semuanya Sampai bertemu di event selanjutnya Thank you Terima kasih Bu Oke sudah boleh meninggalkan ruangan ya Terima kasih Bu Oke Terima kasih Bu Terima kasih Pak Terima kasih Bu