Pekan lalu, Rep. AS yang baru terpilih, Alexandria Ocasio-Cortez menjadi berita utama ketika dia mengatakan, sebagai bagian dari acara tahunan MLK Now yang keempat, bahwa teknologi dan algoritme pengenalan wajah "selalu memiliki ketidaksetaraan rasial ini yang dapat diterjemahkan, karena algoritma masih dibuat oleh manusia, dan algoritma tersebut masih dipatok pada asumsi dasar manusia. Mereka hanya otomatis. Dan asumsi otomatis - jika Anda tidak memperbaiki bias, maka Anda hanya mengotomatiskan bias. "
Apakah itu berarti bahwa algoritma, yang secara teoritis didasarkan pada kebenaran objektif matematika, dapat "rasis?" Dan jika demikian, apa yang bisa dilakukan untuk menghilangkan bias itu?
Ternyata output dari algoritma memang dapat menghasilkan hasil yang bias. Ilmuwan data mengatakan bahwa program komputer, jaringan saraf, algoritma pembelajaran mesin dan kecerdasan buatan bekerja karena mereka belajar bagaimana berperilaku dari data yang diberikan. Perangkat lunak ditulis oleh manusia, yang memiliki bias, dan data pelatihan juga dihasilkan oleh manusia yang memiliki bias.
Dua tahap pembelajaran mesin menunjukkan bagaimana bias ini dapat menyusup ke dalam proses yang tampaknya otomatis. Pada tahap pertama, tahap pelatihan, suatu algoritma belajar berdasarkan pada kumpulan data atau pada aturan atau batasan tertentu. Tahap kedua adalah tahap inferensi, di mana suatu algoritma menerapkan apa yang telah dipelajari dalam praktik. Tahap kedua ini mengungkapkan bias algoritma. Misalnya, jika suatu algoritma dilatih dengan gambar hanya wanita yang memiliki rambut panjang, maka ia akan berpikir siapa pun yang berambut pendek adalah pria.
Google terkenal diserang pada tahun 2015 ketika Foto Google menyebut orang kulit hitam sebagai gorila, kemungkinan karena mereka adalah satu-satunya makhluk berkulit gelap dalam set pelatihan.
Dan bias dapat masuk melalui banyak jalan. "Kesalahan umum adalah melatih algoritma untuk membuat prediksi berdasarkan keputusan masa lalu dari manusia yang bias," Sophie Searcy, seorang ilmuwan data senior di bootcamp Metis, pelatihan data-sains-pelatihan, kepada Live Science. "Jika saya membuat algoritma untuk mengotomatisasi keputusan yang sebelumnya dibuat oleh sekelompok petugas pinjaman, saya mungkin mengambil jalan yang mudah dan melatih algoritma pada keputusan masa lalu dari petugas pinjaman itu. Tapi kemudian, tentu saja, jika petugas pinjaman itu bias, maka algoritma yang saya bangun akan melanjutkan bias tersebut. "
Searcy mengutip contoh COMPAS, alat prediksi yang digunakan di seluruh sistem peradilan pidana A.S. untuk hukuman, yang mencoba untuk memprediksi di mana kejahatan akan terjadi. ProPublica melakukan analisis pada COMPAS dan menemukan bahwa, setelah mengendalikan penjelasan statistik lainnya, alat ini melebih-lebihkan risiko residivisme untuk terdakwa kulit hitam dan secara konsisten meremehkan risiko untuk terdakwa kulit putih.
Untuk membantu memerangi bias algoritmik, Searcy mengatakan kepada Live Science, insinyur dan ilmuwan data harus membangun set data yang lebih beragam untuk masalah baru, serta berusaha memahami dan mengurangi bias yang dibangun pada set data yang ada.
Yang pertama dan terpenting, kata Ira Cohen, seorang ilmuwan data di perusahaan analitik prediktif Anodot, insinyur harus memiliki satu set pelatihan dengan representasi yang relatif seragam dari semua jenis populasi jika mereka melatih algoritma untuk mengidentifikasi atribut etnis atau gender. "Penting untuk mewakili contoh yang cukup dari setiap kelompok populasi, bahkan jika mereka adalah minoritas dalam keseluruhan populasi yang diperiksa," kata Cohen kepada Live Science. Akhirnya, Cohen merekomendasikan untuk memeriksa bias pada set tes yang mencakup orang-orang dari semua kelompok ini. "Jika, untuk balapan tertentu, akurasi secara statistik lebih rendah secara signifikan daripada kategori lainnya, algoritma mungkin memiliki bias, dan saya akan mengevaluasi data pelatihan yang digunakan untuk itu," kata Cohen kepada LiveScience. Sebagai contoh, jika algoritme dapat mengidentifikasi dengan benar 900 dari 1.000 wajah putih, tetapi mendeteksi dengan benar hanya 600 dari 1.000 wajah Asia, maka algoritme itu mungkin memiliki bias "terhadap" orang Asia, tambah Cohen.
Menghapus bias bisa sangat menantang bagi AI.
Bahkan Google, yang dianggap sebagai pelopor AI komersial, tampaknya tidak dapat menemukan solusi komprehensif untuk masalah gorila-nya sejak 2015. Wired menemukan bahwa alih-alih menemukan cara bagi algoritme untuk membedakan antara orang-orang berwarna dan gorila, Google hanya memblokir algoritma pengenalan gambar dari mengidentifikasi gorila sama sekali.
Contoh Google adalah pengingat yang baik bahwa pelatihan perangkat lunak AI dapat menjadi latihan yang sulit, terutama ketika perangkat lunak tidak diuji atau dilatih oleh perwakilan dan kelompok orang yang beragam.
