PDF-6 - Tietojenkäsittelytieteiden laitos - Tampereen yliopisto

Käyttöliittymien perusteet 8.12.2010TAUCHI – Tampere Unit for Computer-Human InteractionTAUCHI – Tampere Unit for Computer-Human InteractionTarjolla tänäänMultimodaaliset käyttöliittymätSaila OvaskaTietojenkäsittelytieteiden laitosTampereen yliopisto• Multimodaaliset käyttöliittymät– Tietokoneen ohjaamiseen on käytössä monta erilaistaohjaustapaa ja tietokoneella on monta eri ”aistia”– ”Moniaistiset käyttöliittymät”• Multimodaalisuudesta apua etenkin ”agenteilla”– Multimodaalinen käyttöliittymä voi muistuttaa ihmistä niinpaljon, että sillä on ”älykkyyttä” ja oma ”persoonallisuus”– Persoonallisuus voidaan tehdään näkyväksi• Virtuaalisena hahmona (näytöllä tai johonkin pintaanheijastettuna)• Fyysisenä robottinaTAUCHI – Tampere Unit for Computer-Human InteractionTuttuja esimerkkejä multimodaalisistajärjestelmistäTAUCHI – Tampere Unit for Computer-Human InteractionMitä on multimodaalisuus?• Kännykän perustoiminnallisuus käyttöönmonella tavalla– Näppäily tavalliseen tapaan– Kynällä tai sormella valinta ruudulta– Puhekomento– Esimerkiksi puheteknologiamobiililaitteessa:http://www.cs.uta.fi/hci/spi/pums/sovellukset.html(vrt. viikkoharjoituksissa tehtävä 16)• Kukakumma muumaassa– Kukakumman (käyttäjän avatar) ohjauskehon liikkeillä,tulenlieskoja huutamalla(esillä JoVuoT-kurssilla, kalvot)• Esimerkiksi näppäimistön käyttö antaa palautetta käyttäjälle– Näköaistin välityksellä (merkki ilmestyy ruutuun)– Tuntoaistin välityksellä (näppäin painuu pohjaan)– Kuuloaistin välityksellä (näppäimen painaminen saa aikaan äänen)• Näppäimistön käyttö ei silti ole esimerkki multimodaalisestakäyttöliittymästä. Miksei?• Tarkat rajanvedot vaikeita– Multimedia vs. multimodaalinen käyttöliittymä– Multimodaalinen käyttöliittymä vs. keinotodellisuus (virtual reality)http://www.cs.uta.fi/kukakumma/htmls_en/index.htmlTAUCHI – Tampere Unit for Computer-Human InteractionMultimodaalinen käyttöliittymävs. multimedia• Multimodaalinen käyttöliittymäsaa käyttäjältä syötteen useillasyötelaitteilla jasyötteenantotavoilla• Multimedia tarkoittaa, ettätuloste esitetään useillamedioilla (grafiikka, teksti,animaatio, ääni, puhe, video…)TAUCHI – Tampere Unit for Computer-Human InteractionMultimodaalinen käyttöliittymävs. keinotodellisuus• Keinotodellisuus voidaan rakentaa eritavoin, esimerkiksi– CAVE (Cave Automatic VirtualEnvironment )• Huonetila, jossa osallistujilla voi ollanenällään 3d-lasit ja maailmaprojisoidaan seinille– HMD (Head Mounted Display)• Keinotodellisuuden projisointisilmikkonäyttöön– Ruudulla … esim. Second Life, WoW• tai keinotodellisuus ”lisätään” nykyisenmaailman päälle– Esimerkiksi kännykän näytöllä lisätietoareaalimaailmassa olevan luettavantagin kuvaamasta kohteesta• Teknologiaa kehittänyt VTThttp://eve.hut.fi/Saila.Ovaska@cs.uta.fi 1

Käyttöliittymien perusteet 8.12.2010TAUCHI – Tampere Unit for Computer-Human InteractionToinen esimerkki: lisätty todellisuusTAUCHI – Tampere Unit for Computer-Human InteractionMultimodaalinen käyttöliittymävs. keinotodellisuusMixed reality (MR)FyysinenympäristöLisättytodellisuus(AR)Lisättyvirtuaalisuus(AV)VirtuaalinenympäristöEriasteista keinotodellisuuttaKalvo: Eija Kaasinen, http://www.videonet.fi/ttl/rupriikki2008/13/index.html• Multimodaalisuus– Tavoitteena ottaa monta syötemodaliteettia käyttööntietyssä tehtävässä käyttäen tavallisia, yleisiä välineitä,toimien jokapäiväisessä käyttöympäristössäTAUCHI – Tampere Unit for Computer-Human InteractionHistoriaa: MIT:n mediahuoneTAUCHI – Tampere Unit for Computer-Human InteractionMediahuoneen osat• 1970-luvun puolivälistä tutkimusryhmä ArchitectureMachine Group, MIT:n Media Laboratory, johtajanaRichard Bolt• Tavoite: luonnollinen keskustelu• Käytettynä samanaikaisesti– Puheentunnistus– Katseentunnistus– Eleiden (kädenliikkeiden) tunnistus– Luonnollisen kielen käsittely• Tavallisen toimistohuoneenkokoinen tila• Etuseinä näyttötaulu, jolleprojisoidaan kuva• Mikrofoni• Ranteeseen kiinnitettyosoitinlaite• Pikkukuvissa katseen kohteenseurantalaiteTAUCHI – Tampere Unit for Computer-Human InteractionTunnetuin esimerkki mediahuoneen sovelluksista:Put-That-ThereTAUCHI – Tampere Unit for Computer-Human InteractionPut-That-There• Keskustelun kulku– "Put a large blue tanker there (osoitus)."– "Call that the Flying Cloud."– "Put the green freighter there."• "Create a blue freighter there."– Jos komentosana jää tunnistamatta, mutta mahdollisia on vain kaksi(create tai move), oikea komento on voitava päätellä tilanteenperusteella.• "Move Flying Cloud Northwest of Haiti."– Jos suunta jää tunnistamatta, järjestelmä kysyy lisäkysymyksen:"What direction?"– Koko komentoa ei siis tarvitse toistaa• "Kuin keskustelisi ystävällisen, puolikuuron hovimestarinkanssa..."Saila.Ovaska@cs.uta.fi 2

Käyttöliittymien perusteet 8.12.2010TAUCHI – Tampere Unit for Computer-Human InteractionMultimodaalisuuden luokitteluaTAUCHI – Tampere Unit for Computer-Human InteractionSynergiatavoite• Syöttölaitteiden (eri modaliteettien) käyttötavatkomentojen antamisessa ja syötteiden määrittämisessä– Eri modaliteetteja voidaan käyttää rinnakkain (esim. puhe jaosoitus) vain jos rinnakkaisuus on toteutettu laitetasolla– Eri laitteiden antamat syötteet voidaan tulkita ohjelmassayhdessä, toisiaan tukevina, tai toisistaan riippumattominaYhdistetty(combined)Riippumaton(independent)Peräkkäin(sequential)vuorottainenpoissulkevaRinnakkain(parallel)synerginensamanaikainen• Eri syöttölaitteiden kautta ohjelmalle annetutsyötteet voidaan tulkita ohjelmassa yhdessä, toisiaantukevina, tai toisistaan riippumattomina.– Vuorottainen käyttö: Esimerkiksi puhepostille jokonäppäimistöltä tai puheena annettu komento;modaliteettia ei kiinnitetä– Poissulkeva: Vaikka komento voidaan antaa erimodaliteetteja hyödyntäen, yhden modaliteetin valintasulkee muut pois– Samanaikainen: Peliohjelmat...• Tavoiteltavin vaihtoehto: synerginen käyttöTAUCHI – Tampere Unit for Computer-Human InteractionSynergisyyden asteitaTAUCHI – Tampere Unit for Computer-Human InteractionHyödyntämättömiä mahdollisuuksia• Leksikaalinen:– Esim. kontrollinäppäin + hiiren napsautus tapa valita useita kohteita– Komennon toteuttamiseksi ainoa tapa– Havaitaan helposti laitetasolla• Syntaktinen:– Esim. Put-That-There– Puhe ja osoitus vaaditaan täydelliseen komentoon• Semanttinen:– Esim. viivan piirtokomento ja värin muutoskomento– Jos värin muutoskomento annetaan kesken viivan piirron, tuloksenakaksivärinen viiva– Edellyttää eniten ohjelmistolta• Yksittäisessä järjestelmässä voi olla luokittelun eri lokeroihinsijoittuvia komentojaRajoittava kanavakahden tehokkaantietojenkäsittelijänvälillä .• Tavoite: “kaistanleveyden” kasvattaminen• Alikäytettyjä mahdollisuuksia: puhe, silmät, tuntoaisti,emootiot,...• Mahdollisuuksia on mutta niiden käyttöönoton järkevyys ei oleitsestään selvääTunnistettukatseen kohdeTAUCHI – Tampere Unit for Computer-Human InteractionEsimerkki 1: katse + hiiriKatse hiiren kiihdyttimenä: Magic PointingNäytöllä oleva kohdeOhjelma siirtää hiiriosoittimenautomaattisesti katseen kohteeseensKynnysetäisyysTAUCHI – Tampere Unit for Computer-Human InteractionEsimerkki 2: Katse + näppäimistö• Katso kohdetta• Paina näppäintä, pidäpohjassa• Katso uudelleen suurempana• Vapauta näppäin linkkiZhai, S. Morimoto, C., Ihde, S. Manual And Gaze Input Cascaded(MAGIC) Pointing. Proc. CHI 99,http://www.almaden.ibm.com/u/zhai/papers/magic/magic.pdfConservativeLiberalHiiren osoitinKohteen etäisyyshttp://hci.stanford.edu/research/GUIDe/usingEyePoint.htmlSaila.Ovaska@cs.uta.fi 3

Käyttöliittymien perusteet 8.12.2010Kuvan lähde: http://www.cs.uta.fi/~wtpc/TAUCHI – Tampere Unit for Computer-Human InteractionEsimerkki 3: Katse +kasvolihasaktivaatio• Osoittamista ohjataankatseella• Valinta tehdäänkasvolihasaktivaatiolla,esimerkiksi kurtistamallakulmia– Käytössäkatseenseuranta jakasvolihasten sähköisenaktiviteetin mittausTAUCHI – Tampere Unit for Computer-Human InteractionEsimerkki 4: kynä ja puhe• MiPad-projekti,Microsoft Research• Puheentunnistus +kynäkäyttöliittymä• ”Tap and Talk”• myös virheenkorjausyhdestä kentästäkerrallaan• videot: 2000, 2001http://research.microsoft.com/en-us/projects/mipad/default.aspxhttp://research.microsoft.com/en-us/um/redmond/groups/srg/videos/default.aspxTAUCHI – Tampere Unit for Computer-Human InteractionHaasteita – ja mahdollisuuksia• Luonnollisuus– Non-command interfaces, ”Do nothing” -käyttöliittymä– Käyttäjän luonnollisia liikkeitä ja eleitä hyväksikäyttävä• Uusia tapoja toimia, esim.– Hiirikäsi- (RSI)-ongelmissa EyePoint– Eri tavoin rajoitteisille tarjotaan sopivampia vuorovaikutustapoja• Uusilla vuorovaikutustavoilla haasteena epätarkkuus– Hiiren avulla voidaan osoittaa tarkasti– Uusilla vuorovaikutustavoilla haasteita tarkkuudessa!• Esimerkiksi vain likimääräinen tieto käyttäjän katseen kohteesta• Puheentunnistuksessa voi tulla tunnistusvirheitä• Laitteiston, syöttölaitteen ja vuorovaikutustavan erottaminen– ”Disaggregated computing”– Järjestelmä tunnistaa, missä käyttäjä on, ja tekee mahdolliseksitilanteeseen sopivat vuorovaikutustavatSaila.Ovaska@cs.uta.fi 4