Aplikasi pembelajaran bahasa baru Microsoft menggunakan kamera ponsel

Aplikasi pintar baru? bisa mengetahui nama benda berdasarkan foto? bagaimana bisa?

Delapan orang yang magang Microsoft telah mengembangkan alat pembelajaran bahasa baru yang menggunakan kamera smartphone untuk membantu orang dewasa meningkatkan kemampuan bahasa Inggris mereka dengan mempelajari kata-kata untuk hal-hal di sekitar mereka. 

Aplikasi ini, "Read My World", memungkinkan Anda mengambil gambar dengan telepon Anda untuk belajar dari perpustakaan dengan lebih dari 1.500 kata. Foto dapat berupa objek atau teks dunia nyata yang ditemukan dalam dokumen, kata Microsoft.

Aplikasi ini dimaksudkan untuk melengkapi pelatihan kelas formal atau menawarkan cara untuk belajar beberapa kata bagi mereka yang tidak punya waktu atau dana untuk berpartisipasi dalam kelas belajar bahasa.

Alih-alih pelajaran, pengguna didorong untuk mengambil foto dari hal-hal yang mereka temui dalam kehidupan sehari-hari mereka.

"Awalnya, kami merencanakan lebih banyak pendekatan gaya rencana pelajaran, tetapi melalui penelitian dan penemuan kami, kami menyadari bahwa pisau tentara Swiss mungkin lebih berguna," kata Nicole Joyal, seorang magang pengembang perangkat lunak yang bekerja pada proyek tersebut. "Kami akhirnya membangun alat yang dapat membantu Anda sepanjang hari Anda daripada sesuatu yang mengajarkan," katanya.

Read My World menggunakan kombinasi Microsoft Cognitive Services dan Computer Vision APIs untuk mengidentifikasi objek dalam foto. Ini kemudian akan menunjukkan ejaan kata dan mengucapkan pengucapan fonetis dari kata-kata kosa kata yang diidentifikasi. Foto-foto yang sesuai dengan kata-kata yang diidentifikasi juga dapat disimpan ke kamus pribadi di aplikasi untuk referensi nanti.

Akhirnya, aplikasi ini mendorong pengguna untuk mempraktekkan kata-kata mereka yang baru ditemukan melalui tiga game kosakata bawaan.

Kosakata 1.500 kata itu mungkin tampak kecil, tetapi sebenarnya mendekati jumlah kata yang dapat dipelajari oleh pelajar bahasa asing melalui studi tradisional. Menurut sebuah laporan dari BBC, misalnya, banyak pelajar bahasa berjuang untuk belajar lebih dari 2.000 hingga 3.000 kata bahkan setelah bertahun-tahun belajar. Faktanya, satu penelitian di Taiwan menemukan bahwa setelah sembilan tahun belajar bahasa asing, siswa gagal mempelajari 1.000 kata yang paling sering digunakan.

Laporan itu juga menekankan bahwa yang paling penting adalah mengambil kata-kata yang digunakan sehari-hari.

Karena aplikasi ini berfokus pada hal-hal yang Anda lihat, itu terbatas dalam hal mengganti instruksi formal. Setelah mengumpulkan umpan balik dari guru dan siswa yang menguji versi awal, tim meluncurkan fitur untuk mendeteksi kata-kata dalam dokumen juga. 

Ini bukan pengalaman seperti Lensa Google, di mana kata-kata tertulis diterjemahkan ke dalam bahasa Anda sendiri - melainkan, kata-kata pilih yang dapat diidentifikasi disorot sehingga Anda dapat mendengar bunyinya, dan melihat gambar sehingga Anda tahu apa itu.

Misalnya, aplikasi yang menunjuk pada daftar persediaan sekolah siswa dapat memilih kata-kata seperti pensil, buku catatan, gunting, dan pengikat.

Aplikasi ini, sebuah proyek dari inkubator internal Microsoft Garage Microsoft, pada awalnya akan tersedia untuk pengujian dan umpan balik untuk organisasi tertentu. Mereka yang bekerja dengan komunitas melek huruf yang rendah di sebuah LSM atau nirlaba dapat meminta undangan untuk bergabung dengan eksperimen dengan mengisi formulir.

Bagaimana menarik bukan? Aplikasi yang dapat membantu Anda belajar bahasa asing dengan memotret objek nya.. 

Microsoft akan berhenti mendukung Windows 7?

Microsoft: Beberapa Akun Outlook Diretas oleh Hacker

Google Cloud dengan CEO dan Strategi Baru

Masa Bakti Google Plus Berakhir, Kegagalan Google?

Microsoft, Adobe dan SAP Memperluas Open Data Initiative

Android Q beta Sudah Bisa Dicoba

Cara Memasang Google Camera di ASUS Zenfone Maxpro M1