COMIC: een project over multimodale interactie, automatisch redeneren, en mens-machine dialogen

TitleCOMIC: een project over multimodale interactie, automatisch redeneren, en mens-machine dialogen
Publication TypePresentation
Year of Publication2002
Conference NameDag van de Fonetiek 2002
AuthorsBosch, Louis ten
PublisherNederlandse Vereniging voor Fonetische Wetenschappen
Conference LocationUtrecht, The Netherlands
Abstract

Het COMIC-project (www.mpi.nl/comic) bestudeert het gebruik van multimodale in/uitvoer en van automatisch redeneren in mens-machine communicatie. Het project heeft een theoretisch en praktisch doel die overigens tamelijk verweven zijn. Het praktisch doel is het creeren van een werkend prototype voor een design-systeem dat het ontwerpen van een badkamer ondersteunt. Het design van een badkamer is gekarakteriseerd door een zeer groot aantal opties waarvan de meeste alleen aan specialisten bekend zijn. De gebruiker – die meestal geen expert is – moet door de applicatie op een informatieve manier door een oerwoud van mogelijkheden worden geleid. Dat oerwoud van mogelijkheden wordt afgegrensd door logische, fysische en esthetische regels die binnen het applicatiedomein gelden. De input van de gebruiker is multimodaal: zowel spraak als 2-dimensionale gebaren (tekeningen, handschrift, aanwijzen enz.) worden door het systeem geinterpreteerd. De automatische spraakherkenner en automatische gebarenherkenner worden gekoppeld en gevolgd door een redeneersysteem (een 'intelligente' dialoogmanager) dat fouten in de spraak/gebaarherkenning probeert op te lossen door gebruik te maken van de 'hogere-orde' kennis in en over het domein. Het onderzoeksdoel is, samengevat, uit te zoeken hoe informatie uit gebaar en spraak moet worden samengebracht en geinterpreteerd, in hoeverre automatisch redeneren kan worden toegepast in een 'medium-complex' domein, en hoe cognitieve aspecten een rol spelen in mens-machine communicatie.