SISTEM BERSENSOR GANDA

 

Gambaran Umum

Sistem bersensor ganda (multi sensor) menggunakan lebih dari satu kanal sensor / interaksinya. Contoh : suara , teks, hypertext, animasi , video, gerak isyarat, penglihatan (lewat mata), dan lain-lain.

Digunakan dalam berbagai aplikasi yang umumnya bekerja baik untuk pengguna dengan kebutuhan spesial. Dan juga untuk kenyataan buatan (virtual reality).

Indra yang digunakan

Lima indra yang digunakan (pandangan/mata, suara, sentuhan, pengecapan dan penciuman ) kita gunakan sehari-hari.

Masing – masing penting berdasarkan karakteristiknya yang unik.

Secara bersama-sama, mereka menyediakan interaksi penuh dengan dunia luar kita.

Komputer jarang bisa menyediakan interaksi yang kaya seperti itu.

Dapatkah kita menggunakan semua indra yang ada??

Secara ideal, iya

Secara praktis, tidak

Kita dapat menggunakan :

Pandangan

Suara

Sentuhan

Kita saat ini belum bisa menggunakan :

Pengecapan

Penciuman

Multi Modal Vs multi media

Sistem multi modal :

Menggunakan lebih dari satu indra atau mode interaksi

Contoh : indra visual dan aural : suatu text processor dapat mengucapkan kata-kata sebagaimana ia menampilkan kata-kata tadi ke layar.

Sistem multi media :

Menggunakan sejumlah media yang berbeda untuk mengkomunikasikan informasi

Contoh : sistem pengajaran berbasis komputer yang menggunakan video, animasi, teks dan juga citra diam

Media yang berbeda yang semuanaya menggunakan mode visual dalam interaksinya

Ia juga dapat mengggunakan suara untuk bicara dan non bicara : dua lagi media yang lain , yang sekarang menggunakan mode yang berbeda.

Berbicara

Manusia memiliki kemampuan alami yang luar biasa dalam berbicara :

Membuatnya sulit untuk menghargai kompleksitas, namun

Ia merupakan media yang mudah untuk berkomunikasi

Struktur berbicara

Phonemes – yang berjumlah sebanyak 40 buah : unit atom dasar, dimana suaranya berbeda sedikit tergantung pada konteks keberdaannya; kumpulan suara yang lebih besar disebut dengan

Allophones – semua suara dalam bahasa : berjumlah diantara 120 dan 130. Ini dibedakan lagi dalam

Morphemes – unit terkecil bahasa yang memiliki arti

Istilah yang lain :

Prosody : perubahan dalam tone dan kualitas menyebabkan variasi dalam pemberian perhatian, penekanan, jeda dan pitch dalam pemberian lebih banyak arti ke kalimat.

Co-articulation : efek konteks suara; co articulation mentransformasi himpunan phonemes ke dalam himpunan allophones

Syntax : struktur kalimat

Semantics : arti dari kalimat

Masalah pengenalan bicara

Orang yang berbeda berbicara secara berbeda pula : aksen, informasi, penekanan , idiom, volume dan seterusnya yang semuanya bisa bervariasi.

Terdapat berbagai sintaks dan kalimat yang secara semntik adalah serupa. Gangguan pada latar belakang dapat menjadi pengganggu. Orang sering mengucapkan “ummm…. Dan errr…..”

Pengenalan kata bukanlah tujuan utama dari sistem pengenalan bicara : semantiks harus juga di dapatkan. Ia sering membutuhkan kecerdasan untuk memahami kalimat : konteks dari percakapan sering harus lebih dulu diketahui, seperti halnya informasi mengenali subjekk dan terkadang sang pembicara.

Contoh :

Walaupun jika “ Errr,,,I, um , don’t like this”

Sudah dikenali, ia masih merupakan bagian informasi yang tidak berguna pada keadaan seperti ini.

Mesin ketik fonetik

Dikembangkan untuk orang finlandia yang ditulis sebagaimana pengucapannya.

Dilatihkan pada seorang pembicara , yang akan digenerasikan ke orang lainnya. Jaringan syarat dilatihkan untuk mengelompokkan bersama suara yang serupa, yang lalu dibeli dengan karakter yang bersangkutan.

Saat mengenali bicara, pengucapan suara dialokasikan ke output bersangkutan yang terdekat, dan karakter untuk output ini dicetak.

Membutuhkan kamus yang besar untuk variasi kecil (minor) untuk mengkoreksi mekanisme umum.

Tampak jelas terlihat kinerja yang buruk pada pembicara yang memang sebelumnya tidak dilatih lebih dulu.

Pengenalan bicara : apakah sekarang ini berguna?

Sistem untuk pengguna tunggal dan memiliki keterbatasan kosa kata dapat bekerja dengan memuaskan.

Namun tak ada sistem untuk kosa kata umum dan untuk pengguna umum pula yang secara komersial sukses dipasaran.

Ada potensi yang besar disini, namun demikian ini bisa terjadi pada :

Saat tangan pengguna sudah digunakan semua , sebagai contoh dalam manufakturing

Untuk pengguna yang memiliki kekurangan fisik

Untuk perlatan –peralatan yang beratnya ringan, dan juga bergerak

Sintesis bicara

Sintesis bicara adalah pembangkitan bicara, yang bermanfaat menerima informasi yang alami dan familiar.

Permasalahan sintesis bicara :

Intrusive : baik pada kebutuhan akan adanya headphones atau pun pada terjadinya noise dan derau pada tempat kerja.

Transient : sulit unutk melihat ulang dan browse

Merupakan aplikasi yang sukses pada aplikasi terbatas, biasanya pada pengguna yang termotivasi untuk mengatasi permasalahan dan memiliki sedikit alternatif :

Screen readers : membaca tampilan tekstual untuk pengguna dimanfaatkan oleh orang yang terganggu penglihatannya

Warning signal : informasi yang dibacakan yang terkadang disajikan ke pilot yang keterampilan visual dan haptic-nya telah digunakan semuanya.

Suara bukan bicara

Boings, bangs, squeks, clik dan lain-lainnya biasanya digunakan dalam antar muka untuk peringatan dan alarm bukti untuk menunjukkan bahwa hal-hal ini bermanfaat :

Kesalahan pengetikan dengan bunyi klik pada tombol

Video game sulit dinikmati tanpa suara

Auditory icons

Suara alami digunakan untuk mereprentasikan jenis objek atau aksi tindakan yang berbeda pada auditory icons( ikon bersuara).

Suara alami memiliki asosiasi semantik yang dapat dipetakan pada arti yang serupa dalam interaksi. Contoh : melempar sesuatu dapat dipresentasikan dengan suara sesuatu yang terbentur. Masalah tak semua hal memilki asosiasi arti. Contoh penyalinan.

Item dan aksi pada dekstop memiliki asosiasi suara :

Foldermemilki derau / noise kertas

Pemindahan file di iringi dengan suara menyeret

File yang besar memilki suara yang lebih keras daripada file yang kecil.

Informasi tambahan yang juga dapat disajikan :

Suara tersaring (samar-samar) mengidentifikasikan objeknya samar-samar atau aksi berlangsung dilatar belakang.

Pengguna stereo mengijinkan informasi posisi ditambahkan ke dalam objek.

Earcons

Suara sintesis yang digunakan untuk menyampaikna informasi. Motivasi jamak dikombinasikan untuk membuat satu earcons yang lebih canggih,

Pengenalan tulisan tangan

Tulisan tangan adalah mekanisme komunikasi yang lain yang sering kita gunakan.

Teknologi

Tulisan tangan terdiri dari goresan dan spasi yang kompleks . ditangkap oleh digitizing tablet : goresan ditransformasikan kedalam rangkaian dots

Tersedia tablet skala besar yang memudahkan dalam hal mendigitalkan peta dan gambar-gambar teknik. Peralatan yang lebih kecil menggabungkan dengan layar tipis untuk menampilkan informasi juga akan tersedia. Contoh produk dari apple sebagai pengorganisasian pribadi.

Pengenalan

Permasalahan :

Perbedaan personal dalam formasi huruf

Co articulation effect (efek pengucapan bersama)

Text dan Hypertext

Text adalah format umum untuk output dan sangat berguna dalam berbagai situasi. Memaksakan kemajuan linear yang tegas pada pembaca, menurut ide penulis tentang apa yang terbaik, ini bukanlah hal yang ideal.

Hypertext adalah menstrukturkan blok teks dalam pertautan atau jaringan yang dapat ditelusuri dalam berbagai cara yang berbeda.

Mengijinkan pengguna untuk mengikuti ide dan konsepnya di sepanjang informasi

Sistem hypertext terdiri dari :

Sejumlah halaman, dan

Link (kaitan), yang mengijinkan satu halaman diakses dari halaman yang lain.

Hypermedia

Sistem hypermedia adalah sistem hypertext yang menggabungkan media tambahan, seperti halnya ilustrasi, fotograf , video dan suara.

Umumnya berguna untuk tujuan-tujuan pendidikan :

Animasi dan grafik yang mengijinkan pengguna untuk melihat apa yang terjadi seperti halnya pada apa yang dibaca

Struktur hypertextual mengijinkan pengguna untuk menjelajah pada langkah yang diinginkan mengikuti urutan yang paling menarik menurut pengguna.

Permasalahan :

Tersesat dalam hyperspace : pengguna tidak yakin dimana hypertet web mereka pada saat itu. Peta dari hypertext merupakan sebagian solusi namun karena hypertext bisa menjadi hal besar ini bisa membuat kita mendapatkan persoalan baru.

Cakupan informasi yang tidak komplit , karena terdapat berbagai rute yang berbeda dalam hypertext, dimungkinkan untuk kehilangan bongkahannya dengan mengambil rute yang menghindari area-area ini.

Sulit untuk mencetak dan membawa pergi

Animasi

Animasi mengacu pada penambahan gerak citra mereka berubah dan berpindah selang waktu tertentu.

Contoh sederhana :

Jam

Jam digital detiknya berubah-ubah pada panel 7 segments

Jam analog detiknya bergerak memutar secara konstan

Jam salvador dall bilangan digitalnya melengkung dan meleleh, satu digit ke bentuk selanjutnya.

Cursor

Hourglass/jam/ disk yang berputar mengidentifikasikan sistem yang sedang sibuk

Cursor yang berkedip-kedip mengidentifikasikan posisi pengetikan secara jelas

Berbagai jenis cursor yang berbeda mengidentifikasikan fungsi-fungsi yang berbeda yang tersedia atau dalam mode yang berbeda.

Animasi digunakan untuk mendapatkan efek hebat yang mengidentifikasi berbagai informasi temporal. Bermanfaat dalam pendidikan dan pelatihan. Contoh visual data.

Video dan digital

Teknologi compact disk merupakan revolusi dalam sistem multimedia : sejumlah besar video, grafik, suara dan teks dapat disimpan dan diambil kembali pada media yang relatif murah dan gampang diakses.

Contoh :

Palenque : sistem berbasis DVI

Prototipe sistem multimedia multimodal dimana pengguna berkelana di seputar situs mayan, menggunakan video, cira, teks dan suara

Quicktime dari apple mempresentasikan standar untuk menggabungkan video kedalam antarmuka.

Aplikasi

Pengguna dengan kebutuhan spesial memilki kebutuhan khuss yang sering dilayani dengan baik oleh sistem multimedia dan atau multimodal.

Kekurangan secara visual : screen readers

Kekurangan fisik : speech input, gesture

Kekurangan dalam hal belajar : contoh dyslexia spech input output