Senyum yang dilukiskan dan penuh teka-teki dari "Mona Lisa" dikenal di seluruh dunia, tetapi wajah terkenal itu baru-baru ini menampilkan serangkaian ekspresi baru yang mengejutkan, milik kecerdasan buatan (AI).
Dalam sebuah video yang dibagikan ke YouTube pada 21 Mei, tiga klip video menunjukkan contoh Mona Lisa yang membingungkan ketika dia menggerakkan bibirnya dan memutar kepalanya. Dia diciptakan oleh jaringan saraf convolutional - sejenis AI yang memproses informasi seperti otak manusia, untuk menganalisis dan memproses gambar.
Para peneliti melatih algoritma untuk memahami bentuk umum fitur wajah dan bagaimana mereka berperilaku relatif terhadap satu sama lain, dan kemudian menerapkan informasi itu ke gambar diam. Hasilnya adalah urutan video realistis ekspresi wajah baru dari satu frame.
Untuk video Mona Lisa, AI "mempelajari" gerakan wajah dari kumpulan tiga subjek manusia, menghasilkan tiga animasi yang sangat berbeda. Sementara masing-masing dari tiga klip masih dikenali sebagai Mona Lisa, variasi dalam penampilan dan perilaku model pelatihan meminjamkan "kepribadian" yang berbeda untuk "potret hidup," Egor Zakharov, seorang insinyur dari Institut Sains dan Teknologi Skolkovo, dan Samsung AI Center (keduanya berlokasi di Moskow), dijelaskan dalam video.
Zakharov dan rekan-rekannya juga membuat animasi dari foto ikon budaya abad ke-20 seperti Albert Einstein, Marilyn Monroe dan Salvador Dali. Para peneliti menggambarkan temuan mereka, yang tidak ditinjau oleh rekan sejawat, dalam sebuah studi yang diterbitkan online 20 Mei di jurnal pracetak arXiv.
Memproduksi video asli seperti ini, yang dikenal sebagai deepfake, tidak mudah. Kepala manusia secara geometris kompleks dan sangat dinamis; Model 3D kepala memiliki "puluhan juta parameter," catat penulis penelitian.
Terlebih lagi, sistem penglihatan manusia sangat baik dalam mengidentifikasi "bahkan kesalahan kecil" dalam kepala manusia model 3D, menurut penelitian. Melihat sesuatu yang terlihat hampir seperti manusia - tetapi tidak sepenuhnya - memicu sensasi kegelisahan mendalam yang dikenal sebagai efek lembah luar biasa.
AI sebelumnya telah menunjukkan bahwa menghasilkan deepfakes yang meyakinkan adalah mungkin, tetapi diperlukan beberapa sudut dari subjek yang diinginkan. Untuk studi baru, para insinyur memperkenalkan AI ke dataset video referensi yang sangat besar yang menunjukkan wajah manusia dalam aksi. Para ilmuwan membangun landmark wajah yang akan diterapkan pada wajah apa pun, untuk mengajarkan jaringan saraf bagaimana wajah berperilaku secara umum.
Kemudian, mereka melatih AI untuk menggunakan ekspresi referensi untuk memetakan pergerakan fitur sumber. Ini memungkinkan AI untuk membuat deepfake bahkan ketika hanya memiliki satu gambar untuk bekerja, para peneliti melaporkan.
Dan lebih banyak sumber gambar memberikan hasil yang lebih rinci dalam animasi akhir. Video yang dibuat dari 32 gambar, bukan hanya satu, mencapai "realisme sempurna" dalam studi pengguna, tulis para ilmuwan.
