Download - El proyecto DIME - Departamento de Ciencias de la Computaciónturing.iimas.unam.mx/.../DIME-II-2005.pdf · El Proyecto DIME, DCC-IIMAS, UNAM 2006 Luis Pineda IIMAS, UNAM, México

1

El Proyecto DIME, DCC-IIMAS, UNAM 2006

Luis Pineda

IIMAS, UNAM, México

Octubre, 2005

DIMEDIME--II: Diálogos Inteligentes II: Diálogos Inteligentes

Multimodales en EspañolMultimodales en Español


ObjetivoObjetivo

� Construcción de sistemas conversacionales

– En español hablado

– Multimodales (e.g. Interfaz gráfica, robots

móviles)

� Modelos de dialógos

� Base empírica:

– Fonética & prosodia

– Inf. léxica, sintáctica & semántica

– Inf. pragmática


El proyecto DIMEEl proyecto DIME

�Modelos de diálogos

�El Corpus DIME

�El esquema DIME-DAMSL

�Predicción de actos del habla

�El Corpus DIMEx100

�Otros objetivos

�Participantes




�El Corpus DIME

�El esquema DIME-DAMLS



�Otros objetivos

�Participantes


Modelos de diálogosModelos de diálogos

� La situación conversacional

– Estado informacional

– Orientada hacia una modalidad

– Conjunto de intenciones específicas

– Conjunto de actos del habla que expresan

dichas intenciones

– Conjunto de acciones lingüísticas (actos

retóricos) o motoras que las satisfacen


Situación conversacionalSituación conversacional

sisi-1 si+1

SpAct:RhtAct SpAct:RhtAct

En cada situación sólo un pequeño conjunto

de intenciones es relevante

2



sisi-1 si+1


Input SpAct



sisi-1 si+1


RhtAct


El modelo básicoEl modelo básico

� Modelo de la conversación:

– Conjunto de modelos de diálogos

� Modelo de diálogo:

– Conjunto de situaciones

– Conjunto de actos retóricos

� Especificación declarativa a partir del

análisis de la tarea


MD = Sistema IntérpreteMD = Sistema Intérprete

Modelos de diálogo

(Exp. Reg.)

Intérprete

Acto

del

Habla

Acto

Retórico

Red de transición aumentada


Generación (acción)Generación (acción)

Actos retóricos básicos

(Específicos a la modalidad)

IntérpreteActo

Retórico

Texto

(acción)


Okey, vamos a inteligencia artificial

El robot se desplaza a IA

Esta es el área de inteligencia artificial; podemos

hacer la visita por personal académico, ara o

proyectos

¿Cómo quieres hacer la visita?

Confirmación

Acto motor

Introducción

Opción- abierta-

como

s5

Inteligenciau4

El departamento tiene las áreas de inteligencia

artificial, reconocimiento de patrones y lenguajes de

programación

¿Qué área quieres vistar?

Introducción

Opción- abierta- que

s3

Si, por favoru2

Bienvenido

Este es el departamento de ciencias de la

computación

¿Quieres una visita guiada?

Saludo

Presentación

Oferta- S/N

s1

TextoActo RetóricoPart.turno

Platicando con Golem!

3


Okeyu10

En inteligencia artificial se desarrollan los

proyectos DIME y GOLEM

Las tareas principales son la creación de

prototipos con manejadores de diálogos

inteligentes con entrada y salida hablada en

español, y visión por computadora

Terminamos con proyectos de inteligencia

artificial

¿Quieres seguir visitando inteligencia artificial?

Presentación

Elaboración

Notificación

Opción- s/n

s9

Por proyectosu8

Perdón... No te entendí!

¿Podrías repetirlo?

Error

Solicitud- repetición

s7

Por proysu6




Terminamos con inteligencia artificial

Gracias por visitar inteligencia artificial

¿Quieres seguir visitando el departamento?

Notificación

Agradecimiento

Opción- s/n

s15

nou14

En inteligencia artificial se investiga en sistemas

multimodales inteligentes, gramáticas

computacionales del español, razonamiento

gráfico y creatividad

Y también visión por computadora

Terminamos con área de inteligencia artificial

¿Quieres seguir visitando inteligencia artificial?

Presentación

Elaboración

Notificación

Opción- s/n

s13

Por áreasu12

Inteligencia artificial tiene personal académico y

áreas

Cómo quieres visitar inteligencia artificial

Introducción

Opción- abierta- como

s11




Gracias por el departamento de ciencias de la

computación

Hasta luego

Agradecimiento

Despedida

s17

No, graciasu16





El proyecto TRIPSEl proyecto TRIPS

(James (James AllenAllen))


Tipos de Modelos de DiálogoTipos de Modelos de Diálogo

� Proposicional:

– Intenciones concretas

– Interpretación de actos del habla: Claves léxicas &

modelos del lenguaje (e.g. Expresiones Regulares)

� Predicativos:

– Intenciones específicadas paramétricamente

– Interpretación de actos del habla: Claves léxicas,

modelos de lenguaje + entonación

4


Especificación FuncionalEspecificación Funcional

si

SpAct(H,C):RhtAct(H,C)

f(H,C)




�El Corpus DIME




�Otros objetivos

�Participantes


Interfaz gráficaInterfaz gráfica

Home Designer El Proyecto DIME, DCC-IIMAS, UNAM 2006

Corpus DIMECorpus DIME

� 15 sujetos

� 26 diálogos útiles

� 880 palabras por diálogo

� 185 elocuciones

� 115 turnos

� 14 minutos

� 1120 palabras (tipos)


Alófonos (T54)

D12, utt3: u: ¿Puedes mover la estufa hacia la izquierda?El Proyecto DIME, DCC-IIMAS, UNAM 2006

Sílabas fonéticas

5


Palabras (ortográfica)


Break indices de ToBI

El Proyecto DIME, DCC-IIMAS, UNAM 2006Part of Speech (P.O.S.)


BTM

LH

L UH

D H

L

H

D12, utt3: u: ¿Puedes mover la estufa hacia la izquierda?

Etiquetación prosódica con INTSINT




�El Corpus DIME




�Otros objetivos

�Participantes


DIMEDIME--DAMSLDAMSL

�DIME:

– Diálogos Inteligentes Multimodales en

Español

�DAMLS:

– Dialog Act Markup in Several Layers

– Se asume que los actos del habla son

independientes del contexto de la

transacción!

6


DimensionesDimensiones

� Estado de la comunicación

� Nivel de información

� Funciones hacia adelante

� Funciones hacia atrás

� Información multimodal (DIME)


DIMEDIME--DAMSL DAMSL tagtag setset & & formatformatutt-X = [ edo-com = {uninterp | mono | abandonada},

niv-inf = {tarea | admin-tarea | admin-com | lista-niveles | otros},

func-adelante = [ dec = {afirm | reafirm | otra},

sol-inf = {preg-s/n | preg-pro | preg-imp},

influ-acc-fut-esc = {dir-accion | opcion-abierta},

comp-acc-fut-hab = {oferta | compromiso},

conv = {abre, cierra},

performativo = {gracias | perdon | accion-perf},

exclama,

otra

],

func-atras = [ acuerdo =

[ref-ant, {acepta | acepta-parte | quiza | parte |

espera | rechaza | rechaza-parte}],

ent = [ref-ant, {SNE | ack | back-channel | repeticion | comp |

correccion}],

resp = {ref-ant | lista-ref-ant}

],

mod = [graf = {apt-obj | apt-zona | apt-trayect | apt-objs-coord |

mueve-obj | agrega-obj | quita-obj | plan-graf | visual}]

].


Estructura del diálogoEstructura del diálogo

�Los diálogos se modelan como una

secuencia de transacciones

�Cada transacción involucra dos planos:

– Obligaciones conversacionales

– Acuerdo entre interlocutores


Estructura de la transacciónEstructura de la transacción

�Especificación de la intención:

– Usuario expresa intención

– Sistema interpreta intención

�Satisfacción de la intención:

– Sistema proporciona información o

realiza acción

– Sistema solicita confirmación

– Usuario confirma y acepta acción


Balance de obligacionesBalance de obligaciones� Especificación de intención principal (usuario)

– Crea una obligación (cargo)

� Interpretación de la intención (sistema)

– Transacciones de interpretación (pueden ser varias)

– Compromiso (cargo)

� Acción principal (sistema):

– Acción multimodal (credito, credito)

– Solicitud de confirmación (cargo)

� Interpretación de la acción (usuario)

– Multimodal interpretation (visual)

– Action confirmation (cargo)






– Compromiso (cargo)


– Acción multimodal (credito, credito)




– Action confirmation (cargo)

7


Balance de acuerdoBalance de acuerdo� Especificación de acción principal (subject)


� Intention interpretation (wizard)

– Interpretation transactions (may be many)

– Se debe aceptar (credito)

� Main information or action act (wizard):

– Multimodal action (cargo)

– Request action confirmation (cargo)

� Action interpretation (subject):


– Action acceptance (credito)






– Se debe aceptar (credito)


– Acción multimodal (cargo)




– Action confirmation (credito)


La estructura básicaLa estructura básica� Intención principa (usaurio)

– utt25 : después <sil> me puedes poner <sil> [e]l el extractor de aire encima de la <sil> de la estufa


– utt26 : s: okey

� Satisfacción de la intención (sistema):

– utt27 : s: realiza acción

así está bien ?

� Interpretación de la acción (usuario):


– utt28 : u: sí

– utt29 : así está bien


La estructura básicaLa estructura básica� Intención principal (usaurio)

– utt25 : después <sil> me puedes poner <sil> [e]l el (cargo)extractor de aire encima de la <sil> de la estufa


– utt26 : s: okey (cargo)


– utt27 : s: realiza acción (credito, credito)

así está bien ? (cargo)



– utt28 : u: sí

– utt29 : así está bien (credito)


DIMEDIME--DAMLS DAMLS tagstags� Intención principal (usuario)

– utt25 : después <sil> me puedes poner <sil> [e]l el

extractor de aire encima de la <sil> de la estufa (dir-accion)

� Interpretación de intención (sistema)

– utt26 : s: okey (compromiso)


– utt27 : <ruido> <no-vocal> (mueve-obj)

así está bien ? (sol-inf)



– utt28 : u: sí

– utt29 : así está bien (resp)El Proyecto DIME, DCC-IIMAS, UNAM 2006

Estructura de acuerdoEstructura de acuerdo� Intención principal (usuario)


extractor de aire encima de la <sil> de la estufa (cargo)


– utt26 : s: okey (credito)


– utt27 : <ruido> <no-vocal> (cargo)

así está bien ? (cargo)



– utt28 : u: sí

– utt29 : así está bien (credito (2))

8


DIMEDIME--DAMSL DAMSL tagstags� Main intention (subject)


extractor de aire encima de la <sil> de la estufa

� Intention interpretation (wizard)

– utt26 : s: okey (acepta 25)

� Action act (wizard):

– utt27 : <ruido> <no-vocal> (afirm)

así está bien ?



– utt28 : u: sí

– utt29 : así está bien (acepta 27, afirm)El Proyecto DIME, DCC-IIMAS, UNAM 2006

DIMEDIME--DAMSL DAMSL tagstags (obligaciones)(obligaciones)

resp 56ahí está bien58

siu57

mueve-obj

sol-inf<s performs action> ahí está bien ? 56

compromisookeys55

resp 53arriba del frigobaru54

sol-infdónde quieres que la ponga ?53

okeys52

resp 49ésta51

siu50

sol-inf<no-vocal> en la pared de la izquierda ? s49

dir-accionme puedes mover la <sil> la alacena que está <sil> en la

pared de la izquierda hacia arriba del refrigerador ?u48


DIMEDIME--DAMLS DAMLS tagstags (acuerdo)(acuerdo)

afirm/acepta 56ahí está bien58

siu57

afirm<ruido> (s performs action) ahí está bien ? 56

acepta 48okeys55

afirmarriba del frigobaru54

espera 48dónde quieres que la ponga ?53

acepta-parte 48okeys52

afirmésta51

siu50

espera 48<no-vocal> en la pared de la izquierda ? s49

me puedes mover la <sil> la alacena que está <sil> en la

pared de la izquierda hacia arriba del refrigerador ?u48


Acuerdo entre Acuerdo entre etiquetadoresetiquetadores

�Etiquetas:

– Fronteras de transacciones

– Etiquetas DIME-DAMSL

�Factores de Acuerdo entre etiquetadores

– Cálculo automático de los coeficientes

kappa


DIMEDIME--DAMSLDAMSL

�DIME-DAMLS

– Estructura de la transacción

– Balance en los planos de obligaciones y

acuerdo

– Marcadores del discurso delimitan las

transacciones (cohesión y alcance)

– Se pueden representar con modelos de

diálogos del tipo predicativo?




�El Corpus DIME




�Otros objetivos

�Participantes

9


¿Cómo identificamos el acto del habla?

si


f(H,C)

Input SpAct


Predicción de actos del hablaPredicción de actos del habla

�Construcción de árboles de decisión

�Predictores:

– Tonos (INTSINT)

– Duraciones (diferentes unidades)

– Fronteras entre unidades (Break Indices)

�Objetivo (Target):

– Etiquetas DIME-DAMSL

�Herramientas: CART-Style (J4)


Modelos de diálogosModelos de diálogos

� Especificación de situaciones

– Tipos de actos del habla

– Información léxica (parseo superficial)

si


f(H,C)

Input SpAct




�El Corpus DIME




�Otros objetivos

�Participantes


Corpus DIMEx100Corpus DIMEx100

�Propósito:

– Creación de modelos acústicos

– Diccionarios de pronunciación

�Estructura:

– 100 hablantes

– 5,010 frases diferentes

–50 específicas por hablantes

–10 comunes a los 100 hablantes

– 6,000 *.wav archivos El Proyecto DIME, DCC-IIMAS, UNAM 2006

Niveles de Niveles de TranscripciónTranscripción

� T22: Fonémas básicos del español (México)

� T44:

– T22

– Cierres de oclusivas y africadas sordas

– Aproximantes

– Acentos y paravocales

– Codas silábicas neutralizantes

� T56: T44 + otros alófonos comunes

10


T54T54


T44


T22El Proyecto DIME, DCC-IIMAS, UNAM 2006



�El Corpus DIME




�Otros objetivos

�Participantes


Otros objetivos de DIMEOtros objetivos de DIME

�Detección y reparación de actos del habla

�Análisis de la entonación bajo el esquema

ToBI




�El Corpus DIME




�Otros proyectos

�Participantes

11


ParticipantesParticipantes� Coordinador: Luis Pineda

� Participantes:

– Hayde Castellanos, Sergio Coria, VariniaEstrada, Fernanda López, Ivonne López, Isabel López, Iván Moreno, Patricia Pérez

� Colaboradores UNAM:

– Javier Cuétara, Carlos Rodríguez

� Colaboradores externos:

– James Allen, Joaquím Llisterri, Montserrat Riera, Ivan Meza, Lucian Galescu, Luis Villaseñor

� Financiamiento: NSF/CONACyT 39380-UEl Proyecto DIME, DCC-IIMAS, UNAM 2006

Muchas gracias!Muchas gracias!

Download - El proyecto DIME - Departamento de Ciencias de la Computaciónturing.iimas.unam.mx/.../DIME-II-2005.pdf · El Proyecto DIME, DCC-IIMAS, UNAM 2006 Luis Pineda IIMAS, UNAM, México

Top Related