Google lewat divisi AI-nya DeepMind, merilis model AI baru bernama sign-language-to-text atau SL2T. Dalam blog resminya, DeepMind mengatakan bahwa SL2T merupakan model penerjemah multilingual, yang debut di Pixel 11 series, smartphone baru yang juga baru diumumkan Google.
Sesuai namanya, model AI ini bisa menerjemahkan bahasa isyarat ke teks. Fungsinya bisa diakses lewat fitur Gboard dan Live Transcribe. Untuk tahap awal, model ini baru bisa menerjemahkan bahasa isyarat versi Amerika (American Sign Language/ASL) ke teks berbahasa Inggris.
Lewat fitur Gboard dan Live Transcribe SL2T mengandalkan kamera ponsel untuk mengenali gestur tubuh yang dipakai dalam bahasa isyarat. Setelah dikenali, AI akan menentukan bahasa isyarat apa yang sedang pengguna sampaikan, lalu menerjemahkannya serta menampilkannya dalam bentuk teks di layar.
Jika dibayangkan, ini mirip dengan fitur dikte suara ke teks (text-to-speech/TTS) yang mengunakan mikrofon ponsel. Bedanya, fitur menerjemahkan bahasa isyarat ini menggunakan kamera untuk mengenali gestur tubuh penguna.
Di Gboard, pengguna cukup mengeklik ikon Sign Language to Text (SL2T) yang ada di bagian atas keyboard, tepatnya di sebelah kanan. Setelah itu, kamera akan tampil di layar dan pengguna bisa mulai memberikan gestur bahasa isyarat agar bisa diterjemahkan ke teks.
Sementara pada Live Transcribe, pengguna dapat langsung menggunakan bahasa isyarat untuk memberikan respons dalam percakapan dengan Gemini, tanpa harus mengetik secara manual.
Mendeteksi gestur lewat titik koordinat
Untuk mengembangkan SL2T, Google DeepMind bekerja sama dengan berbagai komunitas tuli yang ada di dunia. Dengan kemampuan AI dan dukungan komunitas, SL2T tidak hanya mengenali gerakan tangan, tetapi juga lengan, tubuh, kepala, dan wajah.
Sistem ini merekam gestur pengguna lalu memetakan gerakan tersebut menjadi titik koordinat, hingga menerjemahkannya langsung menjadi teks.
Untuk menjaga privasi, video mentah disebut tidak dikirim ke server. Sebab, Google akan mengolah rekaman itu lewat teknologi computer vision mereka yang dijuluki MediaPipe Holistic.
Nantinya, teknologi tersebut bisa menyulap video menjadi titik koordinat saja, dan data inilah yang akan dikirim ke Google untuk diproses dan diterjemahkan ke teks. Untuk tingkat akurasi penerjemahan, Google sudah melatih SL2T dengan lebih dari 100.000 jam data dari 50 lebih bahasa isyarat, termasuk sekitar 25 persen data ASL.
Model ini juga mendukung bahasa isyarat dengan satu tangan dan pengguna tangan kiri. Dalam pengujian FLEURS-ASL, Google mengklaim SL2T meraih skor 70 BLEURT secara zero-shot. Google merupakan skor tertinggi yang pernah dilaporkan untuk penerjemahan ASL ke bahasa Inggris pada benchmark tersebut.
Meski skor cukup tinggi, model ini disebut masih bisa keliru memahami tanda yang jarang digunakan, fingerspelling atau mengeja huruf menggunakan jari secara cepat, konstruksi kalimat tertentu, dan konteks waktu.
Untuk saat ini, fitur SL2T saat ini baru tersedia di ponsel Google Pixel 11 Series. Fitur terjemahan bahasa isyarat ini juga baru mendukung ASL ke bahasa Inggris saja.
Google menyebut fitur penerjemah bahasa isyarat ini akan disebar ke lebih banyak perangkat, dan dukungan jenis bahasa isyarat serta bahasa terjemahannya juga akan ditambah di masa depan, sebagaimana dirangkum KompasTekno dari blog resmi DeepMind.
(Sumber)
