Interactieve Multimodale Informatie Extractie (IMIX)

PARADIME: Parallel Dialogue Management Engine

Doel van het onderzoek is een theoretisch en experimenteel gefundeerd formeel kader te ontwikkelen voor dialoogmanagement in een multimodale omgeving, gebaseerd op het modelleren van cooperativiteit, rational agency en sociale conventies gegeven een dialoogcontext. Als uitgangspunt wordt een theoretisch kader genomen dat ontwikkeld is voor de analyse van informatiezoekende dialogen, mede gebaseerd op empirische gegevens uit telefonische inlichtingengesprekken. Dit kader, dat communicatieve handelingen semantisch definieert in termen van de veranderingen in de informatietoestand van een geadresseerde agent als die de handeling begrijpt, is in principe heel algemeen. Het kader is uitgewerkt voor gesproken informatiedialogen en is gedeeltelijk geïmplementeerd in de dialoogmanager van een experimenteel dialoogsysteem dat gesproken invoer combineert met tekstuele en visuele feedback in een Open Agent Architecture platform.

Dit project beoogt dit theoretisch kader, dat bekend staat als 'dialooghandelingentheorie' of 'Dynamic Interpretation Theory', verder uit te werken voor multimodale informatie-extractie op basis van empirisch onderzoek en computersimulatie van dialoogmanagement in het IMIX demonstratorsysteem voor RSI, gebaseerd op een multi-agent architectuur.

Project leader: Prof. dr. H.C. Bunt (UvT)