Ahli saraf mengajarkan komputer untuk membaca kata-kata langsung dari otak orang.
Kelly Servick, menulis untuk Science, melaporkan minggu ini di tiga makalah yang diposting ke server pracetak bioRxiv di mana tiga tim peneliti yang berbeda menunjukkan bahwa mereka dapat memecahkan kode pidato dari rekaman syaraf neuron. Dalam setiap studi, elektroda yang ditempatkan langsung di otak merekam aktivitas saraf sementara pasien bedah otak mendengarkan pidato atau membaca kata-kata dengan keras. Kemudian, para peneliti mencoba mencari tahu apa yang didengar atau dikatakan pasien. Dalam setiap kasus, para peneliti dapat mengubah aktivitas listrik otak menjadi setidaknya file suara yang agak dapat dipahami.
Makalah pertama, diposting ke bioRxiv pada 10 Oktober 2018, menggambarkan percobaan di mana para peneliti memutar rekaman pidato kepada pasien dengan epilepsi yang berada di tengah-tengah operasi otak. (Rekaman saraf yang diambil dalam percobaan harus sangat rinci untuk ditafsirkan. Dan tingkat detail tersebut hanya tersedia selama keadaan langka ketika otak terpapar ke udara dan elektroda ditempatkan di atasnya secara langsung, seperti dalam operasi otak .)
Ketika pasien mendengarkan file suara, para peneliti merekam neuron yang ditembakkan di bagian otak pasien yang memproses suara. Para ilmuwan mencoba sejumlah metode berbeda untuk mengubah data penembakan neuron menjadi pidato dan menemukan bahwa "pembelajaran mendalam" - di mana komputer mencoba memecahkan masalah kurang lebih tanpa pengawasan - bekerja paling baik. Ketika mereka memainkan hasilnya melalui vocoder, yang mensintesis suara manusia, untuk sekelompok 11 pendengar, orang-orang itu mampu menginterpretasikan kata-kata dengan tepat 75 persen dari waktu.
Anda dapat mendengarkan audio dari percobaan ini di sini.
Koran kedua, diposting 27 November 2018, mengandalkan rekaman saraf dari orang yang menjalani operasi untuk mengangkat tumor otak. Ketika para pasien membaca kata-kata dengan suku kata tunggal dengan lantang, para peneliti merekam suara yang keluar dari mulut partisipan dan neuron-neuron yang ditembakkan di daerah-daerah penghasil bicara otak mereka. Alih-alih melatih komputer secara mendalam pada setiap pasien, para peneliti ini mengajarkan jaringan saraf tiruan untuk mengubah rekaman saraf menjadi audio, menunjukkan bahwa hasilnya setidaknya cukup masuk akal dan mirip dengan rekaman yang dibuat oleh mikrofon. (Audio dari percobaan ini ada di sini tetapi harus diunduh sebagai file zip.)
Makalah ketiga, diposting 9 Agustus 2018, mengandalkan rekaman bagian otak yang mengubah kata-kata spesifik bahwa seseorang memutuskan untuk berbicara menjadi gerakan otot. Meskipun tidak ada rekaman dari percobaan ini yang tersedia secara online, para peneliti melaporkan bahwa mereka mampu merekonstruksi seluruh kalimat (juga dicatat selama operasi otak pada pasien dengan epilepsi) dan bahwa orang yang mendengarkan kalimat dapat menafsirkannya dengan benar pada pilihan ganda. Tes (dari 10 pilihan) 83 persen dari waktu. Metode percobaan itu mengandalkan identifikasi pola-pola yang terlibat dalam memproduksi suku kata individual, dan bukannya keseluruhan kata.
Tujuan dari semua percobaan ini adalah agar suatu hari memungkinkan orang yang kehilangan kemampuan berbicara (karena sklerosis lateral amyotrophic atau kondisi serupa) untuk berbicara melalui antarmuka komputer-ke-otak. Namun, ilmu untuk aplikasi itu belum ada di sana.
Menafsirkan pola saraf seseorang yang hanya membayangkan pembicaraan lebih rumit daripada menafsirkan pola seseorang yang mendengarkan atau menghasilkan pidato, lapor Science. (Namun, penulis makalah kedua mengatakan bahwa menafsirkan aktivitas otak seseorang yang membayangkan pembicaraan mungkin dilakukan.)
Penting juga untuk diingat bahwa ini adalah studi kecil. Makalah pertama mengandalkan data yang diambil dari hanya lima pasien, sedangkan yang kedua melihat enam pasien dan yang ketiga hanya tiga. Dan tidak ada rekaman saraf yang bertahan lebih dari satu jam.
Namun, sains terus bergerak maju, dan perangkat ucapan buatan yang terhubung langsung ke otak tampak seperti kemungkinan nyata di beberapa titik di ujung jalan.
