Mind Express - Telenet Users

Mind Express
Veel meer dan ondersteunde communicatie
Bart Noé & Jo Cremelie
Bart Noé en Jo Cremelie zijn beide burgelijk ingenieur, afgestudeerd aan de
Universiteit van Gent in 1987 en 1994. Ze zijn sindsdien voltijds actief betrokken bij
de ontwikkeling van technologische oplossingen voor personen met een handicap. Het
bedrijf Technologie & Integratie, waar zij werkzaam zijn, ontwikkelt en produceert
zowel hardware – als softwareproducten, voornamelijk gebaseerd op spraak - en
taaltechnologie.
1. De Bliss Stem
In het begin van de jaren tachtig ontstond het idee om voor een meisje met een
meervoudige motorische en communicatieve handicap een sprekende computer te
ontwikkelen. Zij maakte toen al gebruik van een Bliss-symbolenkaart om zich
verstaanbaar te maken. Toch bleef ze beperkt in haar communicatie omdat ze steeds
afhankelijk was van een andere persoon die wou meevolgen wat ze te vertellen had.
Een koppeling van haar symbolenkaart met een ‘sprekende’ computer die de Blisssymbolen omzette naar gesproken boodschappen zou hierin een grote vooruitgang
betekenen.
In 1985 slaagde een gemotiveerd, multidisciplinair team erin een eerste prototype van
de Bliss Stem aan de ‘praat’ te krijgen. Het toestel bestond uit een speciale
rolwagentafel waarop de symbolenkaart werd aangebracht op een matrix van
magnetische sensoren. De rolwagentafel was verbonden met een stuk hardware, ‘de
spraakcomputer’. Dit apparaat was in staat het aangeduide symbool om te zetten naar
een gesproken boodschap. In het eerste prototype werd de spraak gegenereerd door
reproductie van opgenomen boodschappen. Later, bij de commercialisatie van het
prototype werd gebruik gemaakt van ‘tekst-naar-spraak algoritmes’ om de gesproken
boodschappen te genereren.
2. BlissMaster - Mind Express
Met de komst van de multimedia-computer ontstond het idee om de functionaliteit
van de Bliss Stem te vertalen in een softwareprogramma. De Bliss Stem was immers
een persoonlijk communicatiehulpmiddel, telkens gemaakt op maat van een
specifieke gebruiker. Voor de instituten was er nood aan een flexibel hulpmiddel dat
inzetbaar zou zijn voor meerdere gebruikers.
Op de viering 10 jaar Bliss Stem in 1995 werd een eerste versie van het programma,
dat toen de naam BlissMaster meekreeg, voorgesteld. Er werd een gebruikersteam
opgericht met als doel het programma kritisch te evalueren en feedback te geven over
wat er op vlak van functionaliteit kon verbeteren. Al gauw bleek dat de naam
BlissMaster de lading niet volledig dekte. Het programma kon immers ook met
andere symbolen dan de Bliss symbolen werken. Uiteindelijk kreeg het
softwareprogramma de naam “Mind Express”.
3. Het concept
Het concept van Mind Express is in wezen vrij eenvoudig. In het programma kunnen
verschillende roosters (pagina’s) opgebouwd worden bestaande uit een instelbaar
aantal vakjes.
4
6
In elk vakje kan een visueel object opgenomen worden waaraan een bepaalde actie
gekoppeld wordt. In de meeste gevallen is dit de koppeling van een gesproken
boodschap aan een symbool:
‘drinken’
Bijvoorbeeld aan het symbool voor drinken wordt het werkwoord ‘drinken’
gekoppeld. Bij selectie van het symbool zal het werkwoord ‘drinken’ uitgesproken
worden. Voor een toepassing bij ondersteunde communicatie zal men op die manier
een aantal logische kaarten samenstellen die hoofdzakelijk bestaan uit dergelijke
koppelingen.
4. De symbolenbibliotheek
Voor wat betreft de visuele objecten kan men in Mind Express beroep doen op een
aantal symbolenbibliotheken: Bliss, Beta, PCS, Vijfhoek, Rebus en Picture This.
Symbool voor ‘drinken’ volgens de verschillende symbolendatabanken
Deze databanken zijn gecategoriseerd in een aantal hoofdcategorieën met telkens een
aantal subcategorieën. Zo is bijvoorbeeld de hoofdcategorie ‘drank en voeding’
onderverdeeld in de subcategorieën ‘dessert’, ‘dranken’, ‘fruit’, ‘groenten’, ‘snoep’,
‘verpakkingen’, ‘vlees’ en ‘andere voeding’. Dit laat toe om vrij vlug themakaarten
samen te stellen.
Het gebruik van andere symbolen of foto’s is uiteraard ook mogelijk. Via de databank
‘Andere’ krijgt Mind Express toegang tot alle foto’s, ClipArts of eigen tekeningen die
op de harde schijf aanwezig. Dit voor zover ze opgeslagen zijn volgens een bepaald
beeldformaat (bmp, jpg, gif of wmf).
5. De acties
Het laten uitspreken van een bepaalde boodschap bij selectie van een bepaald
symbool is zoals reeds eerder vermeld de meest voor de hand liggende actie die
gekoppeld kan worden aan een visueel object. Hierbij kan gebruik gemaakt worden
van ‘tekst-naar-spraak technologie’ of van geluidsopnames. Bij het gebruik van tekstnaar-spraak-technologie wordt de (tekst)boodschap die toegekend wordt aan een
bepaald symbool gewoon ingetikt in het inhoudsvenster van het symbool. De tekstnaar-spraak technologie zorgt ervoor dat bij selectie van het symbool de bijhorende
ingetikte boodschap uitgesproken wordt.
Voor de koppeling van een geluidsopname aan een symbool kan gebruik gemaakt
worden van de ingebouwde opnamefaciliteit. Er bestaan tegenwoordig heel wat
interessante geluidsbestanden, te vinden op Cd-rom of op Internet, die direct gebruikt
kunnen worden. Naast deze ‘communicatieve’ acties bestaan er tal van andere acties
of commando’s die aan om het even welk visueel object kunnen gekoppeld worden.
Hierna worden de belangrijkste commando’s of functies kort belicht.
Heel erg belangrijk zijn de paginaverwijzers die toelaten om andere kaarten op te
roepen. Zo kan bijvoorbeeld aan het symbool voor eten een kaart met de symbolen en
boodschappen in verband met de voeding gekoppeld worden. Op die manier kan een
logische structuur opgebouwd worden met verschillende themakaarten. De
complexiteit ervan moet in functie van de noden en de mogelijkheden van de
gebruiker staan.
Een andere interessante functie wordt ingevuld door de niveauverwijzers. In Mind
Express kunnen aan ieder symbool drie verschillende betekenissen (niveaus) gegeven
worden. Het symbool voor ‘ik’ heeft bijvoorbeeld als eerste betekenis het persoonlijk
voornaamwoord ‘ik’ (niveau 1). Een logische tweede betekenis (niveau 2) kan de
eigennaam zijn, terwijl een derde betekenis de meervoudsvorm ‘wij’ zou kunnen zijn.
niveau 1: ik
niveau 2: Peter
niveau 3: wij
actie: ga naar niveau 2
actie: ga naar niveau 3
Het activeren van een bepaald niveau gebeurt door middel van een symbool waaraan
de respectievelijke niveauverwijzer gekoppeld is. Een symbool voor ‘naam’ zou in het
voorbeeld de niveauverwijzer ‘ga naar niveau 2’ krijgen. Selectie van het symbool
voor ‘naam’ gevolgd door de selectie van het symbool ‘ik’ resulteert dan in dit geval
in het uitspreken van de eigennaam. Het Bliss symbool voor meervoud zou in het
voorbeeld ‘ga naar niveau 3’ als actie meekrijgen.
Het werken met niveauverwijzers laat toe om met een relatief beperkt aantal
symbolen meerdere boodschappen te genereren (theoretisch 3 maal het aantal
symbolen), waarbij een vorm van woordstrategie kan toegepast worden. De uitdaging
bestaat erin de gebruiker niet te confronteren met deze technieken maar een
communicatiekaart zodanig op te bouwen dat deze gebruiker ondanks zijn of haar
beperking er gemakkelijk kan leren mee omgaan.
Mind Express bevat een grammaticamodule die ervoor zorgt dat werkwoorden
automatisch vervoegd worden. Ook meervoudsvormen van zelfstandige
naamwoorden en verbuigingen van adjectieven worden ondersteund. Mind Express is
hierin niet feilloos, maar in de meeste gevallen slaagt Mind Express erin correcte
zinnen te genereren.
Hierbij kunnen een aantal extra grammaticafuncties toegepast worden. Zo kan
bijvoorbeeld aan het woord ‘veel’ de eigenschap meervoud gegeven worden. Mind
Express zal dan het eerstvolgende zelfstandig voornaamwoord automatisch in het
meervoud weergeven of uitspreken. De hulpwerkwoorden ‘hebben’ en ‘zijn’ kunnen
de grammaticafunctie ‘voltooid deelwoord’ krijgen. Het eerstvolgende werkwoord
wordt dan automatisch omgezet in het voltooid deelwoord. Op die manier slaagt Mind
Express erin de zin ‘ik heb lekker gegeten’ te vormen na opeenvolgende aanduiding
van de symbolen voor ‘ik’, ‘hebben, ‘lekker’, ‘eten’.
Om dit te realiseren bevatten de symbolendatabanken niet alleen de grafische
informatie van een symbool maar ook de woordsoort (bijvoeglijk naamwoord,
persoonlijk voornaamwoord, zelfstandig naamwoord of werkwoord) en de bijhorende
afleidingen. Deze woordsoort en zijn afleidingen kunnen op ieder ogenblik aangepast
worden zodat ook nieuwe symbolen of foto’s voorzien kunnen worden van deze
noodzakelijke informatie.
Communiceren met behulp van Mind Express kan door een opeenvolgende selectie
van symbolen uit de communicatiekaart, een manier die vanzelfsprekend is als directe
selectie mogelijk is (aanraakscherm of muisbediening). De boodschap kan echter ook
voorbereid worden om dan later in zijn geheel te laten uitspreken. Hiertoe beschikt
Mind Express over een aantal functies en een zinsbalk waarin de gevormde zin met
symbolen of tekst wordt afgebeeld. Deze brieffuncties laten toe zinnen (of brieven) te
vormen en te laten uitspreken. De gevormde zinnen of brieven kunnen eventueel door
de gebruiker zelf bewaard worden onder een vrij niveau van een symbool of als
bestand op de harde schijf van de computer.
Deze faciliteit is erg zinvol ter voorbereiding van een communicatie (bijvoorbeeld als
er bezoek komt) of voor het bijhouden van een dagboek of agenda.
Een visueel object kan ook gekoppeld worden aan een Windows programma om het
via Mind Express op te starten. Zo kan bijvoorbeeld het symbool voor muziek of een
foto van een favoriete zanger gekoppeld worden aan de mediaplayer om op die
manier muziekbestanden te laten afspelen. Een heel concrete toepassing hiervan is de
‘jukebox’ kaart waarmee de gebruiker zijn eigen muziek zelfstandig kan beluisteren.
Tenslotte is het mogelijk om via Mind Express de omgeving te controleren. Een
symbool wordt dan door het programma gekoppeld aan een programmeerbare
afstandsbediening. Op die manier kan een gebruiker met beperkte handfunctie
bijvoorbeeld radio en televisie bedienen.
Naast de actie om via selectie van een symbool een bepaalde boodschap te laten
uitspreken zijn er dus heel wat andere acties mogelijk. Het is zelfs mogelijk om aan
één visueel object meerdere acties te koppelen (maximaal 5). Dit wordt vaak
toegepast bij de paginaverwijzers. Zo kan bijvoorbeeld het symbool voor eten eerst de
zin ‘ik heb honger’ (de eerste actie) laten uitspreken om vervolgens de kaart met
voeding op te roepen (de tweede actie). De kunst of ervaring bestaat erin een goede
keuze te maken van het visueel object waaraan de actie(s) gekoppeld wordt zodat de
toepassing voor de gebruiker bijna vanzelfsprekend wordt.
6. De bedieningsmogelijkheden
De meest natuurlijke selectiemethode is de directe aanduiding met behulp van een
aanraakscherm. Het symbool aanraken volstaat dan om de bijhorende boodschap te
activeren. Bediening via muis of trackbal kan uiteraard ook. Voor gebruikers die het
moeilijk hebben de muisknop in te drukken is het mogelijk een automatische selectie
in te stellen. Van zodra de muisindicator zich gedurende een instelbare tijd binnen
hetzelfde vakje bevindt zal de selectie automatisch gebeuren. Deze selectiemethode
wordt ook wel ‘dwelling’ genoemd en is onmisbaar voor personen die de muis via
hoofdbewegingen controleren.
Voor een gebruiker die niet in staat is een vakje te selecteren via directe selectie of
met behulp van een muis of trackbal biedt Mind Express een aantal alternatieve
bedieningsmethodes. In de bedieningsmode ‘joystick’ kan de gebruiker een vakje
selecteren met behulp van een joystick. Tegenwoordig bestaan er verschillende
uitvoeringen van een joystick.
Indien de gebruiker enkel in staat is om één of twee schakelaars te bedienen, dan kan
een selectiemethode toegepast worden op basis van een scanningsalogritme. In
principe is het zo dat alles wat in Mind Express ontwikkeld wordt bediend kan
worden met één schakelaar.
Bij scanning met één schakelaar zal Mind Express volgens een bepaalde methode en
aan een bepaald instelbaar tempo het communicatierooster overlopen. Om het
gewenste symbool te selecteren moet gewacht worden tot Mind Express het
betreffende symbool aanbiedt (lineaire scanning). Op dat ogenblik volstaat het de
schakelaar te activeren om de selectie uit te voeren. Is de gebruiker in staat een
tweede schakelaar te controleren dan kan de scanmode met twee schakelaars
toegepast worden. De tweede schakelaar wordt dan gebruikt om op eigen tempo het
communicatierooster te overlopen volgens de gekozen scanmethode. Onderstaande
tabel geeft een overzicht van de mogelijke scanmethodes.
Rij-kolom
Mind Express scant eerst de verschillende rijen en daarna de vakjes van de
geselecteerde rij.
Lineair
Alle vakjes worden één na één doorlopen, telkens van links naar rechts.
Kolom-rij
Mind Express scant eerst de verschillende kolommen en daarna de vakjes van
de geselecteerde kolom.
Zigzag
De rijen van het rooster worden zigzag gescand.
Blok
Het rooster wordt opgedeeld in blokken. Telkens één blok geselecteerd is,
wordt het resterende blok opnieuw opgedeeld in twee blokken. Dit gaat zo
verder tot een vakje overblijft.
In functie van de gebruikte scanmethode en het aantal schakelaars kunnen nog een
aantal parameters ingesteld worden om het scannen te optimaliseren voor de
gebruiker. Zo kunnen vertragingstijden voor de schakelaars ingesteld worden om
ongewenste selecties uit te filteren. Er kan gekozen worden voor selectie bij
indrukken of bij loslaten van de schakelaar. Ook de indicator (en de kleur) waarmee
het scannen visueel wordt voorgesteld kan aangepast worden enzovoort.
Een heel specifieke scanmethode is de auditieve scanning. Hierbij wordt het visueel
scannen ondersteund door een auditieve feedback. Mind Express zal in dit geval de
boodschap van het aangeboden vakje ook uitspreken. Deze optie is vooral belangrijk
voor gebruikers met een bijkomende visuele beperking.
Het is niet eenvoudig en het vraagt wat ervaring om de meest geschikte
bedieningsmethode te vinden voor een bepaalde gebruiker. Toch is dit een bijzonder
belangrijk aspect in de toepassing van Mind Express want als het ‘knopje’ niet werkt
dan kan de gebruiker met al deze technologie weinig aanvangen. Het maken van
allerlei spelletjes en oefeningen kan helpen bij het vinden en het inoefenen van de
meest geschikte bedieningsmethode.
7. Toepassingen
Mind Express is oorspronkelijk ontwikkeld als een programma waarmee oplossingen
voor ondersteunde communicatie kunnen gemaakt worden. Door zijn open structuur
is het echter mogelijk andere toepassingen uit te werken. Een aantal therapeuten heeft
daar van in het begin heel creatief gebruik van gemaakt. Hun feedback heeft ons
geholpen Mind Express te laten evolueren zodat het programma ook voor therapie en
onderwijs inzetbaar is. In wat volgt worden een aantal toepassingen aangehaald.
7.1. Ondersteunde communicatie
Het uitwerken van een woordenschat voor een gebruiker is geen eenvoudige taak. Het
gaat veel verder dan de keuze van de symbolenset en de selectiemethode. Aan de
hand van een checklist kunnen de eerste voorbereidingen aangevat worden. Deze
checklist moet rekening houden met visuele, motorische, talige en structurele
aspecten. Mind Express kan hierin helpen omdat het programma toelaat deze
verschillende aspecten uit te werken met concrete voorbeelden die vervolgens kunnen
uitgetest worden bij de gebruiker.
Het Mind Express Communicatieboek en de Mind Express Situatiekaarten zijn een
voorbeeld van een uitgewerkt communicatiesysteem. Ze bevatten een
kernwoordenschat van ongeveer 600 symbolen en randwoordenschat waarin 8
situaties zijn uitgewerkt: verzorgen, winkel, restaurant, school, weekend, vakantie,
uitstapjes en feest. De kernwoordenschat ondersteunt de gebruiker voor wat betreft de
dagdagelijkse communicatie. De situatiekaarten kunnen opgeroepen worden in functie
van de situatie waarmee de gebruiker geconfronteerd wordt en als de
kernwoordenschat niet meer volstaat.
Kernwoordenschat
Randwoordenschat: Winkelen
In het bovenstaande voorbeeld wordt telkens de eerste kaart van de woordenschat
afgebeeld. De eerste rij symbolen zijn functies die de gebruiker in staat stellen zinnen
te vormen en te laten uitspreken. Ook de niveauverwijzers ‘niveau 2’ en ‘niveau 3’
zijn opgenomen. Verder zijn er een groot aantal paginaverwijzers ingevuld.
De communicatiekaarten kunnen eventueel uitgebreid worden met een dagboek of een
agenda. Deze toepassing biedt de gebruiker de mogelijkheid om zelf (of onder
begeleiding) zinnen of brieven te maken en ze te bewaren onder een bepaald vakje.
Op die manier kan de gebruiker vrij vlot op het einde van de dag vertellen wat er
allemaal gebeurd is. Een vergelijkbare toepassing is het leefboek. Dit is bijvoorbeeld
een Mind Express bestand dat opgebouwd is als ‘sprekend’ fotoboek en het verhaal
vertelt van wie de gebruiker is. Dit boek kan voortdurend meegroeien en is een ideale
manier om de communicatie met derden op te starten.
7.2. Therapeutische en educatieve toepassingen
De verschillende acties of combinaties van acties die kunnen gekoppeld worden aan
bepaalde visuele objecten in het Mind Express rooster laten toe om vrij eenvoudig en
relatief vlug allerlei oefeningen op te bouwen. Vaak komt het neer op het creatief
toepassen van de paginaverwijzers. Hierbij is het mogelijk visuele en/of auditieve tips
of bevestigingen te geven zodat oefening en spel kunnen gecombineerd worden. Door
de toepassing van de brieffuncties is het mogelijk om de verschillende acties van de
gebruiker te registreren zodat opvolging mogelijk wordt.
Een eenvoudige toepassing is het labyrint waarmee een bepaalde selectiemethode kan
uitgetest worden. Het is de bedoeling de vis naar zijn aquarium te brengen door de
vakjes waarlangs de vis moet ‘zwemmen’ achtereenvolgens te selecteren.
Een leuke associatieoefening is opgebouwd volgens het misschien nog gekende
‘electro’ spelletje. Het komt erop aan paren te maken van objecten die op een of ander
manier bij mekaar horen. Eerst wordt een symbool in de linkerhelft aangeduid.
Vervolgens moet een associatie gemaakt worden door een symbool in de rechterhelft
te selecteren. Mind Express laat toe om hierbij visuele en/of auditieve bevestigingen
te genereren.
Een variatie op de associatieoefening is het dominospel. In het onderstaande
voorbeeld moeten ‘dominostenen’ bij elkaar gelegd worden gebaseerd op identieke
helften. Het selecteren van de overeenkomende helft volstaat om de ‘steen’ te
verplaatsen.
Ook het maken van allerlei geheugenspelletjes behoort tot de mogelijkheden. Hierbij
wordt bijvoorbeeld een kaart waarop een aantal objecten staan gedurende een
bepaalde tijd getoond. Op een volgende kaart wordt aan de gebruiker gevraagd uit een
grotere verzameling de objecten die op de eerste kaart (wel of niet) zichtbaar waren te
selecteren (of te verschuiven).
Toepassingen met betrekking tot beginnend lezen, schrijven en rekenen kunnen
gemakkelijk opgebouwd worden. Opnieuw kunnen verschillende schema’s uitgewerkt
worden:
De bovenstaande oefeningen zijn slechts een greep uit de groeiende verzameling van
toepassingen die momenteel in verschillende instituten en scholen uitgewerkt en
toegepast worden.
Dankzij de voortdurende dialoog tussen ontwikkelaars en gebruikers en door zijn
open structuur is Mind Express geëvolueerd tot een softwarepakket dat veel meer is
dan een oplossing voor ondersteunde communicatie. Het is een ‘bouwpakket’
waarmee een therapeut of een begeleider specifieke oplossingen kan uitwerken en
gebruiken bij een ruime doelgroep. Ontwikkelde toepassingen kunnen in functie van
de gebruiker gemakkelijk uitgebreid worden en uitgroeien tot een totaaloplossing
waarin communicatie, omgevingscontrole, oefening en spel vanuit één en dezelfde
gebruikersinterface ondersteund worden… één schakelaar kunnen bedienen is
voldoende.