análisis multisistémico de la comunicación humana

Anaacutelisis multisisteacutemico de la comunicacioacuten humana

Joseacute Torregrosa

Laboratori de Fonegravetica Aplicada - LFA

Resumen En este artiacuteculo se describe el meacutetodo multisisteacutemico para el anaacutelisis de la comunicacioacuten humana Esto nos lleva a revisar en primer lugar el concepto de comunicacioacuten humana multisisteacutemica que se entiende como un intercambio de mensajes complejos a traveacutes de una modalidad combinatoria de canales fiacutesicos y somaacuteticos que son codificados y descodificados a traveacutes de diferentes sistemas semioacuteticos anaacutelogos pero distintos y que se organizan y coestructuran con el uacutenico fin de comunicar De esta forma la comunicacioacuten humana multisisteacutemica no soacutelo es posible a traveacutes del sistema linguumliacutestico que nos caracteriza y diferencia como especie sino tambieacuten por mediacioacuten de otros sistemas semioacuteticos que se organizan coestructuran y son coexpresivos con el lenguaje verbal A continuacioacuten se realiza un repaso de las investigaciones maacutes relevantes que estudian la relacioacuten que se establece entre los diferentes sistemas semioacuteticos de la comunicacioacuten humana -principalmente lenguaje paralenguaje y kineacutesica- Por tanto el anaacutelisis de la comunicacioacuten humana multisisteacutemica estudia no soacutelo la diversidad de sistemas semioacuteticos que interactuacutean y se interrelacionan sino tambieacuten los mecanismos que regulan esta relacioacuten Es por este motivo que se considera el concepto de lsquosistemarsquo basado en la Teoriacutea General de Sistemas y se justifica la seleccioacuten del teacutermino lsquomultisisteacutemicorsquo como alternativa clara y uniacutevoca Finalmente se expone el proceso del anaacutelisis multisisteacutemico la descripcioacuten de las fases analiacuteticas y los meacutetodos empleados asiacute como tambieacuten la seleccioacuten de los instrumentos de anaacutelisis que se utilizan PALABRAS CLAVE Anaacutelisis multisisteacutemico Sistema Sistemas semioacuteticos Modalidad comunicativa Lenguaje Paralenguaje Kineacutesica

Abstract In this paper a method to analyze multisystemic human communication is described Human communication is understood as an interchange of complex messages through a combinatorial modality of physical and somatic channels These messages are codified and decoded through analogous but different semiotic systems that organize internally and co-structure to each other whose essential aim is to communicate In this way multisystemic human communication not only is possible through linguistic system that characterizes us and differentiates us as species but also through other semiotic systems that are co-expressive with verbal language Some relevant investigations in this field are reviewed which deal with the relationship between different semiotic systems of human communication -mainly language paralanguage and kinesics- Therefore the analysis of multisystemic human communication examines not only the interaction of the components within each semiotic system and its interrelationship to other semiotic systems but also the mechanisms that regulate this relation Thus the concept of system based on the General Theory of Systems is reviewed too and finally the choice of the term lsquomultisystemicrsquo is justified to propose a clear and unambiguous alternative Finally will be depicted the procedure of multisystemic analysis the description of its analytical phases and methods as well as the instruments that are used KEYWORDS Multisistemic Analysis System Semiotic systems Communicative modality Language Paralanguage Kinesics

PHONICA vol 2 2006 1

Joseacute Torregrosa Anaacutelisis multisisteacutemico de la comunicacioacuten humana

Resum En aquest article es presenta el megravetode multisistegravemic per a lrsquoanagravelisi de la comunicacioacute humana En primer lloc es fa una revisioacute del concepte comunicacioacute humana multisistegravemica que srsquoenteacuten com lrsquointercanvi de missatges complexos que es transmeten mitjanccedilant una modalitat combinatograveria de canals fiacutesics i somagravetics Aquests missatges soacuten codificats i descodificats per sistemes semiogravetics semblants perograve alhora distints que es coestructuren internament i srsquointerrelacionen els uns amb els altres amb lrsquouacutenic objectiu de comunicar Aixiacute doncs la comunicacioacute humana multisistegravemica no nomeacutes eacutes possible a traveacutes del sistema linguumliacutestic que ens caracteritza y diferencia com a espegravecie sinoacute que a meacutes a meacutes hi intervenen altres sistemes semiogravetics que es coestructuren internament srsquointerrelacionen els uns amb els altres i soacuten coexpressius amb el llenguatge verbal En segon lloc es descriuen les investigacions meacutes rellevants en aquest camp que examinen la correlacioacute que es produeix entre els diferents sistemes semiogravetics de la comunicacioacute humana -principalment llenguatge parallenguatge i kinegravesica- Per tant lrsquoanagravelisi de la comunicacioacute humana multisistegravemica estudia no nomeacutes la diversitat de sistemes semiogravetics que interactuen i srsquointerrelacionen sinoacute tambeacute els mecanismes que regulen la relacioacute que srsquohi estableix Eacutes per aixograve que es considera el concepte de lsquosistemarsquo fonamentat en la Teoria General de Sistemes i es justifica la seleccioacute del mot lsquomultisistegravemicrsquo com lrsquoalternativa meacutes clara i inequiacutevoca Finalment srsquoexposa el proceacutes drsquoanagravelisi multisistegravemic la descripcioacute de les fases analiacutetiques i els megravetodes emprats aixiacute com tambeacute la seleccioacute dels instruments drsquoanagravelisi que srsquohi fan servir PARAULES CLAU Anagravelisi multisistegravemica Sistema Sistemes semiogravetics Modalitat comunicativa Llenguatge Parallenguatge Kinegravesica

1 Introduccioacuten1

Antes de entrar en detalle en la descripcioacuten del meacutetodo de anaacutelisis que se propone conviene realizar unos pequentildeos apuntes de lo que se entiende por comunicacioacuten y en concreto por comunicacioacuten humana multisisteacutemica Desde que empezoacute a estudiarse el lenguaje humano como disciplina cientiacutefica los trabajos en Linguumliacutestica han focalizado sus esfuerzos en la descripcioacuten del objeto sonoro en coacutemo se organiza se estructura se combina se jerarquiza se sistematiza se produce y se percibe un conjunto de signos y siacutembolos arbitrarios y convencionales el coacutedigo linguumliacutestico que comuacutenmente se conoce como lenguaje y su realizacioacuten inmediata la lengua y sus manifestaciones oral escrita y signada presente en el intercambio comunicativo en la interaccioacuten humana pero el lenguaje no debe ser confundido con el concepto de comunicacioacuten Efectivamente el lenguaje como sistema linguumliacutestico y la lengua como la realizacioacuten concreta del lenguaje y presente en cada acto socializante en el que interviene el ser humano es uno de los instrumentos maacutes poderosos que posee el hombre y que no soacutelo nos diferencia como especie sino que ha influido de forma decisiva para que eacutesta prevalezca y predomine sobre las demaacutes especies de nuestro entorno No obstante la comunicacioacuten humana el intercambio de informacioacuten conceptos ideas creencias conocimiento sensaciones sentimientos emociones pasiones etc a lo largo de la historia no se ha realizado uacutenicamente a traveacutes del lenguaje sino que intervinieron

1 Este trabajo se inscribe en el proyecto de investigacioacuten financiado por el Ministerio de Ciencia y

Tecnologiacutea Foneacutetica Aplicada a la Educacioacuten nordm de ref BSO2002-03479



en este proceso otra serie de mecanismos e instrumentos semioacuteticos que en definitiva permitieron que con el paso del tiempo se concretara en el lenguaje verbal A propoacutesito del origen del lenguaje se antildeade un apunte histoacuterico que se ilustra en Kendon (200235-36) teniendo como referente la obra del filoacutesofo italiano Giambattista Vico Scienza Nuova de 1744 el modo en que pudo haber sido el origen del lenguaje ldquoThrough the fantasia images were created which at first were transformed into actions that represented them These mimetic actions were either gestural or they were inscribed in sand on rock or on some other surface and it was only later that a connection was established between visual signs and aural forms which then could become the beginnings or words The further process by which visual representations of the images created by the fantasia came to serve also as signs for more general concepts or for other things than just themselves came about through Metaphorrdquo En otro pasaje citando la teoriacutea de Vico sentildeala ldquoThe first language in the first mute times of the nations must have begun with signs whether gestures or physical objects which had natural relations to the ideas to be expressedrdquo El signo linguumliacutestico es concebido como derivacioacuten de un proceso de abstraccioacuten metafoacuterica a partir de la representacioacuten de iconos creados por la imaginacioacuten que al principio era predominantemente visual En efecto nuestros ancestros sienten la necesidad de representar la realidad concreta que les rodea y su manifestacioacuten concreta se realiza a traveacutes de la semejanza icoacutenica gestual y a traveacutes de objetos cuya funcionalidad probablemente fuera motivada por la exigencia primaria de obtener alimento De esta forma este instrumento sirve para planificar y crear estrategias de captura grupal y posteriormente para dejar constancia de coacutemo se llevoacute a cabo este gran logro Sin duda esto significoacute un gran avance cualitativo en la evolucioacuten de nuestra especie Maacutes adelante este sistema de representacioacuten permitiraacute el desarrollo de lo que conocemos como lenguaje y su manifestacioacuten concreta La lengua como sistema adoptaraacute formas orales diversas en funcioacuten de su relacioacuten con el entorno de la configuracioacuten y conceptualizacioacuten de la realidad inmediata de los intercambios comunicativos en el grupo y entre grupos humanos dispersos Su manifestacioacuten praacutectica se realiza coexpresivamente a la gesticulacioacuten y a la manipulacioacuten de artefactos para la transmisioacuten e intercambio de conocimientos de forma inmediata o de generacioacuten en generacioacuten Pero la transmisioacuten e intercambio de conocimientos estaba supeditada a la continuidad o supervivencia individual o colectiva Con la escritura se lleva a cabo un proceso de seleccioacuten semioacutetica se garantiza que la transmisioacuten del conocimiento se podraacute realizar de forma segura y auacuten maacutes importante de forma masiva En este momento se produce de forma efectiva la disociacioacuten de los diferentes sistemas semioacuteticos de comunicacioacuten humana A traveacutes de la escritura podemos transmitir conocimientos pero apenas podemos representar coacutemo los expresamos y mucho menos coacutemo los movemos disponiendo de un escaso repertorio de convencionalismos graacuteficos Sin embargo tanto en el proceso de



produccioacuten como de recepcioacuten del discurso escrito nuestro sistema cognitivo caracteriza la informacioacuten asociando subjetivamente propiedades paralinguumliacutesticas2 kineacutesicas y parakineacutesicas3 que provocan incluso sensaciones sinesteacutesicas4 Lamentablemente en este proceso desde un punto de vista de la recepcioacuten no cabe sino interpretar o imaginar uacutenicamente por medio de convencionalismos de puntuacioacuten los aspectos paralinguumliacutesticos y kineacutesicos del discurso del remitente Sin embargo en la interaccioacuten cara a cara desde un punto de vista realista la comunicacioacuten se establece por medio de diferentes sistemas semioacuteticos y la lengua es uno de ellos aunque no es imprescindible En la interaccioacuten intervienen diversos sistemas semioacuteticos de forma simultaacutenea de forma alterna y en combinacioacuten aunque tambieacuten pueden darse situaciones en las que el intercambio de informacioacuten puede verse obstaculizado por la ausencia de alguno de estos sistemas semioacuteticos es lo que se denomina como interaccioacuten reducida5 En oposicioacuten a este tipo de interaccioacuten la interaccioacuten completa consiste en ldquola forma maacutes baacutesica y maacutes compleja de la comunicacioacuten humana pone en movimiento los diversos canales transmisores somaacuteticos (hellip) que funcionan consciente o inconscientemente para emitir mensajes intencional o no intencionalmenterdquo (Poyatos opcit28)

2 Investigaciones relevantes

El anaacutelisis de la comunicacioacuten humana entendida como la interaccioacuten e interrelacioacuten multisisteacutemica entre distintos sistemas semioacuteticos ha sido objeto de estudio en investigaciones pioneras (Birdwhistell 19701979 Kendon 1972 1975 1980 1983 1987 1990 Condon 1979 1980 McNeill 1985 Poyatos 1981 1984) que centran fundamentalmente la atencioacuten en la relacioacuten que se establece entre lenguaje verbal y kineacutesica y Poyatos especiacuteficamente entre lenguaje verbal paralenguaje y kineacutesica A pesar de utilizar meacutetodos de anaacutelisis diversos concluyen en sentildealar un origen comuacuten Birdwhistell (1979) desarrolloacute una sofisticada metodologiacutea de corte estructuralista que le permitioacute analizar de forma exhaustiva la relacioacuten que se establece entre entonacioacuten enunciados verbales y conducta no verbal en individuos norteamericanos obteniendo resultados reveladores ldquo() Dado que aparecen regularidades en el flujo del movimiento y en el flujo del comportamiento audible alrededor de determinadas formas sintaacutecticas es posible que los lsquolenguajesrsquo hablado y del movimiento corporal no constituyan sistemas independientes en el nivel de la comunicacioacuten Se interfluyen entre

2 Poyatos (1994I137) ldquocualidades no verbales y modificadores de la voz y sonidos y silencios

independientes con que apoyamos o contradecimos las estructuras verbales y kineacutesicas simultaacuteneas o alternantesrdquo

3 Poyatos (opcit140) ldquoequivalentes a las paralinguumliacutesticas con relacioacuten al lenguaje verbal (hellip) intensidad campo velocidad y duracioacutenrdquo

4 Poyatos (opcit69) ldquosensacioacuten fisioloacutegica que se experimenta en una parte del cuerpo que no es la estimulada o dicho de otro modo el proceso psicoloacutegico en virtud del cual un tipo de estiacutemulo sensorial produce una sensacioacuten subjetiva secundaria que pertenece a otro sentidordquo

5 Poyatos (opcit152) ldquo(hellip) cuando la emisioacuten yo percepcioacuten de las conductas corporales externas (incluyendo el lenguaje) sea o no cara a cara se ve impedida en uno o maacutes canales por alguna anomaliacutea somaacutetica agentes fiacutesicos externos o un acuerdo entre los comunicantesrdquo



siacute y probablemente son interdependientes seguacuten una loacutegica que auacuten desconocemosrdquo (1979112) Tras largos antildeos visionando de forma repetida filmaciones realizadas en el campo de la psicoterapia e investigaciones experimentales William Condon (1979 1980) advierte ciertas regularidades entre lenguaje verbal y los movimientos corporales de los pacientes filmados El meacutetodo de anaacutelisis que utiliza es el lsquomicroanaacutelisisrsquo esto es utilizando un proyector de peliacuteculas y un osciloscopio sincronizado con las filmaciones analiza los datos linguumliacutesticos y kineacutesicos de cada filmacioacuten fotograma a fotograma Desarrolla una teoriacutea sobre la sincronizacioacuten entre movimientos corporales y lenguaje verbal tanto individualmente (autosincroniacutea interaccional) como en interaccioacuten con otro u otros individuos (sincroniacutea interaccional) (Condon 197954-57) La autosincroniacutea interaccional en un proceso que se manifiesta generalmente de forma inconsciente durante las interacciones comunicativas configurando de forma progresiva secuencias de movimientos riacutetmicos cohesionados a las emisiones verbales a fin de constituir una comunicacioacuten armoacutenica En base a este planteamiento ha podido establecer un patroacuten riacutetmico de caraacutecter linguumliacutestico-gestual que se manifiesta durante el habla normal de una persona ldquo() In speech there is a continuous flow of CVCs (patroacuten consonante-vocal-consonante) some louder some softer but ongoing What is emerging is that the body is precisely locked in and integrated with this flow so that the body will hold quietly on a consonant and speed up on a vowelrdquo (Condon 197963) A partir de esta teoriacutea ha llegado a la conclusioacuten de que el habla y los movimientos corporales configuran una unidad semioacutetica completa en base a la cual cree que se ha desarrollado el sistema de comunicacioacuten humana Por su parte Kendon (1972 1980) a partir de las investigaciones realizadas por Condon examina la relacioacuten temporal entre lengua y gesticulacioacuten a diversos niveles utilizando la misma teacutecnica de anaacutelisis empleada por Condon el microanaacutelisis Observa que los movimientos corporales que se desarrollan de forma coestructurada a las emisiones verbales realizan un patroacuten gestual jeraacuterquico similar al que se produce en el anaacutelisis de la entonacioacuten De esta forma mediante la ayuda de un linguumlista dividiacutea el discurso en unidades siguiendo unos criterios de caraacutecter prosoacutedico El resultado de contrastar los datos extraiacutedos del anaacutelisis meloacutedico con los datos de tipo kineacutesico le lleva a establecer una correlacioacuten meloacutedico-kineacutesica y a determinar la estructura de la secuenciacioacuten kineacutesica En Kendon (198776) se explica coacutemo se estructura y organiza la secuencia kineacutesica ldquoIf one observes manual gesticulation in a speaker it is possible to show how such movements are organized as excursions in which the gesticulating limb moves away from a rest position engages in one or more of a series of movement patterns and is then returned to its rest positionrdquo Al segmentar el desarrollo de la estructura kineacutesica observa que las unidades kineacutesicamente maacutes relevantes -que denomina lsquostrokersquo6 o lsquodynamic peak of the movement- se alinean estrechamente con la estructura meloacutedica y especialmente con las unidades tonales -seguacuten el paradigma de anaacutelisis meloacutedico de la escuela britaacutenica y concretamente de Crystal amp Davy (1969)- Asimismo establecioacute

6 Kendon (198778) define lsquostrokersquo como ldquothe most accented part of the movementrdquo



la siguiente correlacioacuten linguumliacutestico-gestual siacutelaba toacutenica - lsquostrokersquo La unidad kineacutesica dinaacutemicamente maacutes relevante se manifiesta de forma simultaacutenea con la unidad tonal meloacutedicamente maacutes relevante o lsquostressed syllablersquo Determina ademaacutes que precediendo a la manifestacioacuten de la miacutenima unidad de movimiento puede desarrollarse opcionalmente una lsquopreparation phasersquo y sucediendo al lsquostrokersquo una lsquoretraction phasersquo A la estructura compuesta de lsquo(preparation phase) + stroke + (retraction phase)rsquo la denomina lsquogesture phrasersquo Observa ademaacutes que la lsquogesture phrasersquo coincide estrechamente con los lsquotone groupsrsquo7 -tambieacuten denominados como lsquotone unitrsquo (1980 1987) configurando de esta forma unidades de significado ldquoA Tone Unit (hellip) is a phonologically defined unit of speech production however it quite closely matches units of speech that may be defined in terms of units of content or lsquoidea unitsrsquo The association between Gesture Phrases and Tone Units arises because Gesture Phrases like Tone Units mark successive units of meaningrdquo Las lsquogestural phrasersquo se pueden agrupar configurando una unidad kineacutesica de nivel superior que denomina lsquogestural unitrsquo y que se corresponde en el plano meloacutedico con la lsquolocutionrsquo que coincide con una frase completa Por una parte a partir de la correlacioacuten que observa entre el movimiento corporal que se manifiesta con las emisiones verbales o lsquogesticulationrsquo8 por otra parte de los resultados de investigaciones realizadas en el campo de la neurologiacutea en relacioacuten con la produccioacuten de gestos y finalmente de otras investigaciones que analizan el desarrollo gestual en nintildeos llega a la conclusioacuten de que ambos sistemas se organizan de forma independiente y se coestructuran hasta tal punto que pueden ser considerados como dos aspectos de un mismo proceso ldquo() these estudies of how gesticulation is related to the speech it accompanies indicate that it is organized separately but brought into coordination with speech because it is being employed in the service of the same overall aim The detailed rhythmic coordination of gesticulation with speech arises at the level of the organization of the execution of motor acts The forms that gestures assume are organized directly from original conceptual representations in parallel with linguistic forms but independently of themrdquo (kendon 198778) y ldquoAnalysis of how gesticulation is organized in relation to speech and analyses in how gesture is used by children both are compatible with the view that gesture and speech must be considered separate representational modes that may nevertheless be coordinated and closely associated in utterance because they may be employed together in the service of the same enterpriserdquo (Kendon 198780) McNeill (1985) retoma la liacutenea de investigacioacuten iniciada por Kendon y se centra fundamentalmente en la demostracioacuten de que la lsquogesticulacioacutenrsquo -seguacuten el sentido que propone Kendon (1972)- y el lenguaje verbal son dos sistemas semioacuteticos que se estructuran de forma independiente pero que interactuacutean e interrelacionan para alcanzar

7 Kendon (1972184) entiende por grupo tonal ldquo(hellip) the smallest grouping of syllables over which a

completed intonation tune occursrdquo 8 Siguiendo el teacutermino que propone Kendon (1972) para diferenciarlos de aquellos gestos cuya

manifestacioacuten no requiere la intervencioacuten del lenguaje verbal Los pantomimos los emblemas y el lenguaje signado corresponde al tipo de gesto que se desarrolla sin que sea necesaria la intervencioacuten del lenguaje



la comunicacioacuten Es por esto que tambieacuten hace referencia a la sincronizacioacuten paralela que se puede observar entre los gestos y las unidades linguumliacutesticas Su argumento principal consiste en la demostracioacuten de que los gestos y el habla forman parte de una misma estructura psicoloacutegica y participan de igual forma en un estadio computacional comuacuten -a partir de 1992 lo denominaraacute lsquogrowth pointrsquo- Para demostrar esta afirmacioacuten se basa en cuatro hechos fundamentales los gestos aparecen soacutelo durante el habla ldquoGestures and speech overwhelmingly occur together We can understand this on the ground that they are parallel products of a common computational stagerdquo (McNeill opcit353) tienen funciones semaacutenticas y pragmaacuteticas paralelas al habla ldquoDuring this stage (= common computational stage) semantic and pragmatic functions are decided on and both speech and gesture perform these functions in parallelrdquo (McNeill opcit354) estaacuten sincronizados con las unidades linguumliacutesticas del habla ldquoSpeakers tend to perform gestures at the same time they produce semantically and pragmatically parallel linguistic itemsrdquo (McNeill opcit360) y finalmente de forma paralela al habla las lesiones neuronales que deriven en los tipos de afasia de Broca y Wernicke afectan a la manifestacioacuten gestual ldquoGesture and speech are affected in parallel ways by the neurological damage that produces Brocarsquos and Wernickersquos types of aphasiardquo (McNeill opcit361) A partir de la intervencioacuten e interaccioacuten multisemioacutetica que se produce en los intercambios comunicativos entre seres humanos Poyatos concibe y desarrolla el concepto de la triple estructura baacutesica de la comunicacioacuten (Lenguaje Paralenguaje y Kineacutesica) Sin embargo el mismo autor reconoce que ldquo(hellip) a medida que analizaba los niveles maacutes profundos de la interaccioacuten cara a cara me daba cuenta de que una transcripcioacuten que contuviera soacutelo los tres sistemas era tambieacuten insuficienterdquo (Poyatos opcit155) lo que le lleva a ampliar el modelo de transcripcioacuten con la adicioacuten de sistemas semioacuteticos que forman parte del contexto interactivo (Proxeacutemica Croneacutemica -teacutermino que acuntildea eacutel mismo9- Contexto Situacional) o somaacuteticos (reacciones quiacutemicas o deacutermicas) que en mayor o menor grado interactuacutean e interrelacionan entre siacute y con los demaacutes sistemas semioacuteticos de la estructura triple baacutesica De esta forma desarrolla un modelo de transcripcioacuten total del discurso (Poyatos opcit157) que permite analizar de forma exhaustiva la comunicacioacuten humana multisisteacutemica y los mecanismos que la regulan Por tanto la comunicacioacuten humana multisisteacutemica no se basa exclusivamente en un mero intercambio linguumliacutestico de conceptos sino que intervienen otros sistemas semioacuteticos que se coestructuran se organizan y son coexpresivos con el lenguaje verbal Ademaacutes con respecto al movimiento corporal que se manifiesta simultaacuteneamente con la emisioacuten verbal no soacutelo parece que ha jugado un papel fundamental en la formacioacuten configuracioacuten y desarrollo de lo que hoy conocemos como lenguaje como se indicaba al principio sino que ademaacutes a raiacutez de las investigaciones que se han descrito y las que se describen maacutes adelante parece ser que tanto el lenguaje como la gesticulacioacuten o kineacutesica se originan se organizan y estructuran en un estadio computacional comuacuten que precede a su manifestacioacuten acuacutestica y gestual De esta manera la geacutenesis organizacioacuten y estructura de la entonacioacuten como (sub)sistema integrado en el sistema linguumliacutestico es

1 Ver nap 10 en Poyatos opcit159



anterior a su manifestacioacuten meloacutedica Es por ello que se aprecia cierto paralelismo con el concepto que Cantero (1995 1999 2002) denomina lsquofuncioacuten prelinguumliacutesticarsquo de la entonacioacuten

3 Anaacutelisis multisisteacutemico

Hasta aquiacute se ha intentado justificar el hecho de que la interaccioacuten humana es un complejo sistema comunicativo y que reducir su descripcioacuten uacutenicamente al anaacutelisis de uno de los sistema semioacuteticos que intervienen en el proceso interactivo es obviar una importante cantidad de informacioacuten que soacutelo seriacutea justificable a partir de la inabarcabilidad material del sistema comunicativo humano como objeto de estudio y que llevariacutea a centrar o focalizar su investigacioacuten no soacutelo en un anaacutelisis maacutes profundo de los elementos que interactuacutean y se interrelacionan sino tambieacuten de los mecanismos que regulan esta interaccioacuten pero sin perder la visioacuten de conjunto Esto nos conduce a revisar el concepto de sistema los elementos que lo integran y las propiedades de su interrelacioacuten De este modo se entiende por sistema no soacutelo la simple suma de los elementos de que se compone sino que es algo maacutes que la simple suma de sus elementos esto es las relaciones que se establecen entre los diferentes elementos que lo integran las acciones y reacciones que se derivan de la interrelacioacuten y las propiedades sineacutergicas que resultan y que son caracteriacutesticas propias del sistema A partir de un enfoque sisteacutemico10 la comunicacioacuten es un sistema complejo11 integrado por (sub)sistemas que a su vez se componen de elementos conjuntos de elementos o (sub)sistemas con caracteriacutesticas y propiedades anaacutelogas y distintas que interactuacutean e interrelacionan entre siacute (coestructuracioacuten intrasisteacutemica) y simultaacuteneamente con cada uno de los demaacutes (sub)sistemas integrantes De la interaccioacuten e interrelacioacuten -intrasisteacutemica e intersisteacutemica12- de los elementos partes o (sub)sistemas de que se compone el sistema complejo se generan elementos sineacutergicos con propiedades anaacutelogas distintas y que son propias del sistema complejo El concepto de comunicacioacuten es por tanto maacutes complicado y requiere una definicioacuten completa basada en los aspectos fundamentales que se derivan de la interaccioacuten e interrelacioacuten entre las diversas disciplinas cientiacuteficas que tienen directa o indirectamente como objeto de estudio la comunicacioacuten (Linguumliacutestica Psicologiacutea Sociologiacutea Pedagogiacutea Antropologiacutea Informaacutetica Ciberneacutetica Biologiacutea Ecologiacutea Fiacutesica Quiacutemica entre otras) Como consecuencia de esta interdisciplinariedad de la interaccioacuten e interrelacioacuten de estos (sub)sistemas se distinguen y diferencian elementos anaacutelogos y distintos A su vez estos aspectos fundamentales o elementos anaacutelogos se agrupan se coestructuran se organizan y se interrelacionan activa e interactivamente como partes de un sistema complejo que los integra

2 Basado en los principios de la Teoriacutea General de Sistemas 3 Se entiende por sistema complejo aquel que estaacute integrado por elementos o subsistemas que presentan

las caracteriacutesticas de interaccioacuten interrelacioacuten y sinergia propias de todo sistema 4 Se sigue la terminologiacutea propuesta en Poyatos (opcit140)



Los elementos o subsistemas que forman parte integral activa e interactiva en la comunicacioacuten humana multisisteacutemica consisten en emisor coacutedigo mensaje receptor canal interferencia y retroalimentacioacuten Fuente Emisora una persona un grupo de personas una sociedad un paiacutes la Administracioacuten un televisor etc Fuente Receptora una persona un grupo de personas una sociedad un paiacutes un televisor Coacutedigo constituido por un nuacutemero finito de signos y sentildeales que el ser humano combina para crear un nuacutemero supuestamente infinito de (multi)mensajes (Multi)Mensaje conjunto de ideas emociones opiniones formadas a partir de un coacutedigo compartido que codifica la fuente emisora para que descodifique la fuente receptora y se transmita a traveacutes de una combinatoria diversa de canales fiacutesicos y somaacuteticos Canal Medio o modalidad fiacutesica o somaacutetica a traveacutes de la cual se puede garantizar la transmisioacuten del mensaje De esta manera las ondas sonoras de los sonidos del lenguaje son transmitidas a traveacutes de un medio fiacutesico que es el aire y se perciben a traveacutes de la modalidad somaacutetica auditiva la kineacutesica o gestualidad se realiza a traveacutes del movimiento de los miembros y partes del cuerpo se transmite a traveacutes del campo visual (espacio) y se percibe a traveacutes de la modalidad somaacutetica visual Interferencia Impedimento deficiencia alteracioacuten perturbacioacuten obstaacuteculo u omisioacuten que se produce durante el proceso comunicativo con la que no se garantiza una transmisioacuten efectiva pero siacute que se garantiza la transmisioacuten efectiva de la interferencia La interferencia se puede producir en cualquiera de los elementos o (sub)sistemas que forman parte integral activa e interactiva en la comunicacioacuten Por ejemplo la fuente emisora puede presentar una deficiencia o carecer de la facultad de producir la fonacioacuten o la fuente receptora puede presentar una deficiencia o carecer de la facultad de percibir sonidos que se produzca una alteracioacuten u omisioacuten articulatoria en la produccioacuten de los sonidos que se altere consciente o inconscientemente la intensidad del objeto sonoro la interaccioacuten de ruido en el medio alteraciones de tipo somaacutetico (pe estrabismo) el silencio como ausencia de reaccioacuten Retroalimentacioacuten reaccioacuten respuesta que garantiza no soacutelo que la emisioacuten la transmisioacuten y la recepcioacuten del mensaje se ha realizado de forma efectiva sino tambieacuten la presencia manifiesta de interaccioacuten De esta forma el modelo de anaacutelisis multisisteacutemico como (sub)sistema no puede entenderse sino desde un punto de vista multidisciplinar o multisisteacutemico en la investigacioacuten de la comunicacioacuten humana entendida como un (sub)sistema que integra (sub)sistemas semioacuteticos de codificacioacuten y descodificacioacuten muacuteltiple de cuya interaccioacuten e interrelacioacuten consciente o inconsciente emergen unidades de significado muacuteltiple que son transmitidas a traveacutes de una modalidad combinatoria de canales fiacutesicos y somaacuteticos potencialmente muacuteltiple



Este planteamiento surge en primer lugar como consecuencia de la necesidad de analizar a traveacutes de meacutetodos y teacutecnicas de anaacutelisis empleados por las diferentes disciplinas cientiacuteficas y por la interrelacioacuten entre eacutestas comprender sistematizar y dar explicacioacuten de ciertos fenoacutemenos de la comunicacioacuten humana multisisteacutemica mediante un modelo de anaacutelisis deductivo-inductivo (reduccionista y globalizador) con el cual generar conocimiento nuevo que a su vez sea aplicable sobre la base del modelo de anaacutelisis inicial implementando su potencial analiacutetico que permita asimismo crear nuevas fuentes de conocimiento Este modelo de anaacutelisis se aplica como alternativa a la metodologiacutea utilizada en otros campos cientiacuteficos En segundo lugar surge por una cuestioacuten de tipo terminoloacutegico Se ha indicado que el anaacutelisis multisisteacutemico se concibe como un (sub)sistema complejo que integra a su vez (sub)sistemas entre los cuales existe una interrelacioacuten De esta interrelacioacuten surgen elementos anaacutelogos y distintos que no son caracteriacutesticos de los elementos o de los (sub)sistemas que interactuacutean e interrelacionan sino que son propios del sistema En Garciacutea Cuadrado (1995206-207) se menciona el meacutetodo de anaacutelisis sisteacutemico que ldquopermite abordar la estructura el funcionamiento y las relaciones del sistemardquo lo cual implica el anaacutelisis de los elementos integrantes del sistema y las relaciones que se dan entre ellos y con el sistema Antildeade que este proceso se lleva a cabo ldquopor medio de la evaluacioacuten sisteacutemica o metodologiacutea en donde la informacioacuten sobre todos los aspectos del sistema resulta imprescindible para poder realizar la evaluacioacuten del mismordquo Y concluye que de esta forma ldquoa la hora de abordar el desarrollo de un sistema de informacioacuten es preciso llevar a cabo el anaacutelisis del mismo para su posterior disentildeo o proceso planificador Es decir es preciso comprender el sistema en su totalidad llevando a cabo un proceso de clasificacioacuten e interpretacioacuten de hechos diagnoacutestico de problemas etc especificando lo que el sistema debe hacerrdquo En contrapartida a este planteamiento Colle (20025) adopta un enfoque diametralmente opuesto y sentildeala que la perspectiva de anaacutelisis deductivo-inductivo ldquono es realmente fiel a los principios de la Teoriacutea Sisteacutemicardquo ya que ldquo(hellip) el meacutetodo analiacutetico (cartesiano) es reduccionista mientras el meacutetodo sisteacutemico es laquoglobalizadorraquo obliga a percibir cualquier objeto como parte de un todo como relacionado con su entorno Y la comprensioacuten del objeto estaraacute relacionada con la comprensioacuten del entornordquo Sin embargo maacutes adelante indica que ldquoEn todo sistema las relaciones son circulares los objetos interactuacutean y los fenoacutemenos estaacuten ligados en muacuteltipes causalidades Por ello es igualmente racional y sobre todo mucho maacutes enriquecedora la observacioacuten sisteacutemica de relaciones finesmedios que la analiacutetica de relaciones causasefectosrdquo En resumen el teacutermino anaacutelisis sisteacutemico no soacutelo es ambiguo sino que ocasiona incluso problemas de caraacutecter metodoloacutegico ya que esencialmente hace referencia al sistema pero expliacutecitamente no estaacute claro que contemple tambieacuten los (sub)sistemas de que consta puesto que eacuteste -como ya se ha visto anteriormente- puede integrar (sub)sistemas que a su vez pueden estar constituidos por maacutes (sub)sistemas y asiacute hasta la miacutenima unidad el (sub)sistema simple En cuanto a la problemaacutetica metodoloacutegica la perspectiva globalizadora seguacuten Colle (opcit) ldquoobliga a percibir cualquier objeto como



parte de un todo [sistema] como relacionado con su entorno [(sub)sistemas]13rdquo pero es que el entorno tambieacuten forma parte integral del sistema y la comprensioacuten del objeto no soacutelo se establece en base a la comprensioacuten de los demaacutes elementos o (sub)sistemas que forman parte del entorno sisteacutemico sino tambieacuten de la propia comprensioacuten del objeto y de su interrelacioacuten con los demaacutes elementos o (sub)sistemas y con el entorno sisteacutemico Es por esto que el teacutermino lsquomultisisteacutemicorsquo como alternativa al teacutermino lsquosisteacutemicorsquo nos parece uniacutevoco ya que se concibe en esencia como conjunto o (sub)sistema que integra otros (sub)sistemas que interactuacutean y se interrelacionan y el resultado de esta interaccioacuten constituiraacute los principios generales del (sub)sistema que los integra A su vez estos principios generales como propios del (sub)sistema interactuacutean y se interrelacionan entre siacute y con los demaacutes (sub)sistemas del entorno Es decir el sistema se concibe como conjunto pero este mismo conjunto implica en esencia la existencia no soacutelo de una cantidad x de elementos o (sub)sistemas sino la relacioacuten circular -como aduce Colle- que se establece entre ellos (intrasisteacutemica) y entre ellos y los demaacutes elementos o (sub)sistemas de su entorno (intersisteacutemica) Otro concepto que es ampliamente utilizado en la literatura que estudia la comunicacioacuten humana multisisteacutemica y la relacioacuten existente entre los diferentes sistemas semioacuteticos es el teacutermino lsquomultimodalrsquo (McNeill et al 2000 Gibbon et al 2000 Krauss et al 2000 Quek et al 2000 2001 2002 Cassell 2001 Kettebekov et al 2001 2002 Vallbonesi et al 2002a 2002b Esposito etal 2002 Kita et al 2003 Loehr 2004 Eisenstein et al 2004 2005 Oumlzyuumlrek 2005) Concretamente la utilizacioacuten del teacutermino multimodal hace alusioacuten a la interrelacioacuten de los diferentes sistemas semioacuteticos en virtud de los cuales se codifica se emite se percibe y se descodifica la informacioacuten en esencia se refiere al modo en que se percibe la informacioacuten codificada a traveacutes de lenguaje y kineacutesica (auditiva y visual) en los intercambios comunicativos De esta forma se hace referencia a la modalidad acuacutestica o auditiva refirieacutendose a la lengua y visual refirieacutendose a la kineacutesica gestos o gesticulacioacuten En Poyatos (1984) utilizando el teacutermino lsquomultichannelrsquo se alude a los diferentes canales baacutesicos de la comunicacioacuten humana -McNeill (1985350) tambieacuten utiliza el teacutermino lsquochannelsrsquo para referirse tanto al habla como a los gestos que la acompantildean- en base a los cuales desarrolla la teoriacutea de la lsquoEstructura Triple Baacutesicarsquo a partir de la cual considera lsquosistemas semioacuteticosrsquo baacutesicos a Lenguaje Paralenguaje y Kineacutesica y cuya denominacioacuten alternaraacute en (1994I22) como lsquosistemas somaacuteticosrsquo o tambieacuten lsquomodalidadesrsquo (1994I153) Volviendo nuevamente al teacutermino lsquomultimodalrsquo De Ruiter y Levelt (2003) se plantean su definicioacuten desde el principio ldquoWhen two humans communicate with each other in a face-to-face situation they do not only exchange speech Other so-called channels or modalities such as gaze (eg eye contact) facial expression intonation voice quality and gestures (eg pointing) also play an important role in both the semantic and the socio-emotional aspects of communicationrdquo y maacutes adelante manifiestan la posible ambiguumledad que ofrece el teacutermino y aducen que el concepto puede inducir a posibles confusiones ya que el teacutermino lsquo(multi)modalidadrsquo se utiliza indistintamente para referirse tanto a modalidades perceptivas -auditiva y visual- como a canales semioacuteticos ldquoThe word multimodality suggests that the concept refers to more than one perceptual

5 Los corchetes son nuestros



modality (eg auditory perception and vision) However this interpretation of the concept is too narrow to capture the phenomena in which multimodal communication researchers are generally interestedrdquo Para evitar confusiones proponen el teacutermino lsquocanal semioacuteticorsquo y lo definen de esta manera ldquoTo remedy this definitional problem we propose the notion of a semiotic channel A semiotic channel is a set of identifiable behavioral units that (1) cannot be performed simultaneously with each other and (2) can be performed simultaneously with (almost) all behavioral elements in other semiotic channelsrdquo y ilustran la definicioacuten con el siguiente ejemplo ldquoFor example facial expression and voice quality constitute two different semiotic channels for it is not possible to have two different facial expressions or two different voice qualities at the same time whereas all voice qualities can in principle be combined with all facial expressionsrdquo Thies (20035) va maacutes allaacute y citando a Gibbon et al (2000) incluso manifiesta la existencia de submodalidades en cada una de las principales modalidades (auditiva y visual) ldquo(hellip) the existence of at least two central modalities an acoustic and a visual channel with strong interplay between the two These modalities each subdivide into further submodalities Above and beyond the speech sounds a speaker produces the acoustic modality also subsumes the prosodic features pitch speech tempo frequency as well as voice quality The visual modality embraces features such as body movement posture and orientation as well as gaze and facial expressionrdquo En cualquier caso parece haber unanimidad a raiacutez de las investigaciones en el campo de la comunicacioacuten humana de que eacutesta no se produce uacutenicamente a traveacutes del lenguaje sino que en este proceso intervienen otros sistemas semioacuteticos que a su vez integran al menos otros (sub)sistemas de codificacioacuten y descodificacioacuten que se autoestructuran entre siacute e interrelacionan con los demaacutes sistemas semioacuteticos que intervienen en la comunicacioacuten humana Por tanto parece maacutes pertinente y uniacutevoca la utilizacioacuten del teacutermino lsquomultisisteacutemicorsquo como alternativa a (multi)modalidad o (multi)channel-s o semiotic channel En tercer lugar el enfoque multisisteacutemico surge con el fin de disentildear y desarrollar un modelo de representacioacuten abstracto y simplificado de la realidad capaz de integrar diferentes modelos e instrumentos de anaacutelisis y que permita analizar y comprender de forma completa la naturaleza los sistemas y mecanismos que regulan la comunicacioacuten humana Desde una perpectiva sisteacutemica se entiende el meacutetodo de anaacutelisis multisisteacutemico como un (sub)sistema complejo (modelo de anaacutelisis) que integra a su vez (sub)sistemas (fundamentalmente Lenguaje Paralenguaje y Kineacutesica) que interactuacutean e interrelacionan entre siacute (coestructuracioacuten intrasisteacutemica e intersisteacutemica) De la interaccioacuten e interrelacioacuten emergen propiedades sineacutergicas (categoriacuteas generales de representacioacuten) que son propias del sistema y no de los (sub)sistemas que integra Las categoriacuteas generales de representacioacuten se constituyen asimismo en elementos o (sub)sistemas integrantes que interactuacutean entre siacute y se interrelacionan con los demaacutes (sub)sistemas del entorno sisteacutemico De esta manera una de las caracteriacutesticas principales del enfoque multisisteacutemico radica



en la multidiciplinariedad del meacutetodo En primer lugar por los diferentes modelos instrumentos y teacutecnicas de anaacutelisis de que consta con la finalidad de generar nuevas liacuteneas de investigacioacuten en cada uno o en la combinacioacuten de varios aacutembitos cientiacuteficos propiciadas por un lado por las aportaciones de nuevos campos de investigacioacuten y por otro por los propios avances que se generan en cada una de las disciplinas cientiacuteficas En segundo lugar por la aplicabilidad del conocimiento generado con el objetivo de encontrar soluciones pertinentes a determinadas cuestiones que se planteen en los diferentes campos de investigacioacuten que tienen por objeto de estudio la comunicacioacuten humana La interaccioacuten e interrelacioacuten entre los diversos componentes que integra el meacutetodo por tanto se constituyen como caracteriacutesticas fundamentales ya que como consecuencia de la relacioacuten entre componentes resulta factible planificar disentildear e implementar nuevos componentes con los que poder generar nuevas fuentes de conocimiento Otra caracteriacutestica del enfoque multisisteacutemico consiste en la retroalimentacioacuten El enfoque multisisteacutemico se origina netamente con vocacioacuten retroactiva El conocimiento generado a traveacutes de la aplicacioacuten de determinados modelos instrumentos y teacutecnicas de anaacutelisis debe revertir cualitativamente en la planificacioacuten redisentildeo o restructuracioacuten e implementacioacuten de la meacutetodologiacutea y teacutecnicas empleadas o en la configuracioacuten de nuevas versiones multianaliacuteticas aplicables en futuras investigaciones

4 Procedimiento de anaacutelisis multisisteacutemico

A continuacioacuten se detalla el procedimiento e instrumentos que se utilizan para realizar el anaacutelisis multisisteacutemico El procedimiento de anaacutelisis multisisteacutemico consta de cuatro fases diferenciadas La fase inicial consiste en realizar el proceso de digitalizacioacuten del corpus de datos que se va a analizar La metodologiacutea teacutecnica e instrumentos que intervienen en el proceso de digitalizacioacuten se explica en el punto 5 Una vez se ha digitalizado todo el material la segunda fase consiste en realizar el anaacutelisis intrasisteacutemico de los datos que dependeraacute de las necesidades de la investigacioacuten proyectada El ejemplo que se propone consiste en estudiar la relacioacuten que se establece entre entonacioacuten y movimiento corporal que se desarrollan de forma simultaacutenea en el discurso audiovisual Desde un enfoque sisteacutemico el anaacutelisis intrasisteacutemico estudia las relaciones interactivas que se establecen entre los diferentes elementos que integra un sistema semioacutetico de los elementos que surgen como resultado de la correlacioacuten y de los mecanismos que la regulan De esta forma en el anaacutelisis intrasisteacutemico de la entonacioacuten se estudian las relaciones que se establecen entre los diferentes segmentos tonales coacutemo se organizan y estructuran entre siacute cuaacutel es el resultado de esta coestructuracioacuten y los mecanismos que la regulan El procedimiento analiacutetico se explica en el punto 6



En el anaacutelisis intrasisteacutemico de los movimientos corporales se estudian las relaciones que se establecen entre los movimientos de las diferentes partes somaacuteticas coacutemo se organizan y estructuran entre siacute cuaacutel es el resultado de esta coestructuracioacuten y los mecanismos que la regulan La tercera fase consiste en realizar el anaacutelisis intersisteacutemico de los datos a partir de los resultados obtenidos en el anaacutelisis intrasisteacutemico con el objetivo de estudiar las relaciones que se establecen entre los diferentes sistemas semioacuteticos cuaacutel es el resultado de esta correlacioacuten y los mecanismos que la regulan Finalmente desde un enfoque sisteacutemico los resultados obtenidos del anaacutelisis multisisteacutemico son susceptibles de ser sometidos a un proceso de validacioacuten o evaluacioacuten multisisteacutemica en virtud del cual se puedan planificar disentildear e implementar nuevos modelos multianaliacuteticos en futuras investigaciones Para poder realizar la evaluacioacuten multisisteacutemica nos parece necesario el desarrollo de aplicativos informaacuteticos implementados con dispositivos de simulacioacuten virtual que permitan no soacutelo el desarrollo experimental en investigacioacuten multisisteacutemica sino tambieacuten su aplicabilidad como herramienta en didaacutectica

5 Digitalizacioacuten

Desde que empezoacute a estudiarse la comunicacioacuten humana multisisteacutemica -entendida como el proceso en virtud del cual se activan diversos sistemas semioacuteticos que interactuacutean e interrelacionan de forma coestructurada con el objetivo de comunicar- la tecnologiacutea ha avanzado en paralelo a los descubrimientos que iban surgiendo permitiendo realizar anaacutelisis cada vez maacutes focalizados y maacutes detallados de la interaccioacuten humana Es por esto que el viacutedeo -aunque la mayoriacutea de los aparatos no incorporan dispositivos para el posterior visionado fotograma a fotograma- o la caacutemara de viacutedeo que permiten realizar grabaciones del televisor o directamente de nuestro entorno inmediato posibilitan el posterior visionado de forma repetida de las secuencias que son susceptibles de ser analizadas La informaacutetica y el desarrollo de la tecnologiacutea multimedia ha posibilitado en primer lugar el desarrollo e implementacioacuten de software especiacutefico para el tratamiento y anaacutelisis de la sentildeal acuacutestica y en segundo lugar de sonido e imagen La informaacutetica han resultado ser imprescindible en este tipo de investigaciones porque las grabaciones el tratamiento y anaacutelisis de los datos se realizan en formato digital y el soporte fiacutesico sobre el cual se realizan las grabaciones permite una mayor durabilidad y mejor conservacioacuten de los datos ademaacutes de una capacidad de almacenamiento masiva Ahora los aparatos de viacutedeo han quedado obsoletos -aunque todaviacutea resultan viables- como consecuencia de las ventajas que ofrecen los programas informaacuteticos para realizar investigaciones en el campo de la comunicacioacuten humana multisisteacutemica Es posible por tanto realizar grabaciones en viacutedeo y posteriormente convertir la sentildeal analoacutegica en digital para su tratamiento y anaacutelisis informaacutetico Igualmente conectando el ordenador personal al televisor mediante las conexiones oportunas se pueden realizar



grabaciones directamente en formato digital y a continuacioacuten mediante un programa especiacutefico realizar con precisioacuten los ajustes necesarios para su posterior anaacutelisis Asimismo es igualmente posible conectar la caacutemara de viacutedeo al ordenador personal a traveacutes de dispositivos conectores para almacenar en formato digital los datos registrados en nuestro entorno inmediato Algunas caacutemaras de viacutedeo que se comercializan actualmente ya permiten el almacenamiento de datos directamente en soporte digital A continuacioacuten se propone el programa informaacutetico Pinnacle Studio versioacuten 81270 de Pinnacle Systems Inc no soacutelo porque permite realizar las operaciones de captura directa almacenamiento edicioacuten grabacioacuten y almacenamiento de los datos en formato digital sino tambieacuten porque la manipulacioacuten del software resulta bastante sencilla La Fig1 muestra el aacuterea de trabajo de Pinnacle Studio en modo captura En la imagen el modo de captura de datos seleccionado corresponde a la caacutemara de viacutedeo Es el primer paso que se debe realizar la seleccioacuten de la fuente de captura y este programa ofrece dos alternativas desde caacutemara de viacutedeo o DV y desde Viacutedeo o VCR Posteriormente antes de iniciar la captura se realizan los ajustes necesarios seguacuten la naturaleza e intereacutes de la investigacioacuten

Fig1 Seleccioacuten de dispositivo de captura

Una vez se inicia la captura de datos la interfaz informa en tiempo real del tamantildeo de la muestra del tiempo de captura de la memoria disponible en disco duro al mismo tiempo que permite acceso audiovisual de la muestra en proceso de captura Cuando ha finalizado la captura de datos y la muestra audiovisual ha sido almacenada convenientemente en el disco duro del ordenador personal el siguiente paso consiste en seleccionar los fragmentos que interesa que sean analizados Para realizar la seleccioacuten y corte de los fragmentos se debe pasar al aacuterea de trabajo de Pinnacle Studio en modo edicioacuten cuyo aspecto es el que muestra la Fig2



Fig2 Aacuterea de Edicioacuten

Esta pantalla se compone de tres elementos fundamentales el aacutelbum situado en el margen superior izquierdo el reproductor de viacutedeo con dispositivos de control baacutesicos y el contador de fotogramas que estaacute situado en la parte superior derecha y finalmente la ventana de la peliacutecula ubicada en la mitad inferior de la pantalla El aacutelbum contiene la muestra que se ha capturado El programa informaacutetico detecta y registra de forma automaacutetica los cortes naturales en el viacutedeo y los divide en escenas creando de esta forma la aparicioacuten de un nuevo icono En el aacutelbum de la Fig2 el programa detectoacute 6 escenas El reproductor de viacutedeo permite visualizar la muestra o las escenas de la muestra cuantas veces sea necesario sin que afecte a la calidad de los datos digitalizados Los controles de reproduccioacuten permiten reproducir de forma convencional la muestra capturada o situarse en una posicioacuten exacta mediante el contador de fotogramas situado en la parte inferior derecha del reproductor Finalmente el deslizador que se encuentra ubicado en la parte inferior del reproductor permite visualizar el punto exacto en que se encuentra la reproduccioacuten asiacute como del tamantildeo de la muestra visualizada y del que falta hasta el final La ventana de la peliacutecula es la parte maacutes interesante y de mayor importancia en el aacuterea de edicioacuten Trasladando la muestra de viacutedeo o escenas de la muestra a la ventana de la peliacutecula se pueden realizar los cortes audiovisuales necesarios para configurar definitivamente el viacutedeo que seraacute utilizado para su posterior tratamiento y anaacutelisis acuacutestico y kineacutesico



Fig3 Seleccioacuten de escena de la muestra de viacutedeo

La Fig3 muestra la seleccioacuten y traslado de una escena de la muestra de viacutedeo Esta operacioacuten se realiza de forma directa Situando el cursor sobre la escena deseada se arrastra hasta la ventana de la peliacutecula sin mayor complicacioacuten Cuando la escena queda situada en la ventana de la peliacutecula en el aacutelbum apareceraacute con una sentildeal en el margen superior derecho que indica que la escena ha sido seleccionada y se encuentra en la ventana de la peliacutecula Haciendo doble click en la escena seleccionada y depositada en la ventana de la peliacutecula se abre una nueva ventana que muestra especiacuteficamente los datos de la escena seleccionada seguacuten se muestra en la Fig4 En el margen superior izquierdo se muestran los siguientes datos nombre de la escena (Viacutedeo 2) y el fotograma en que se inicia la escena seleccionada con respecto a la muestra de viacutedeo capturada En el margen superior derecho se indica el tamantildeo de la muestra expresado en fotogramas La muestra de la figura ha sido capturada a 25 fps lo que significa que cada segundo de emisioacuten contiene 25 fotogramas y recoge la emisioacuten del enunciado ldquo[Inspiracioacuten]y yo creo que (e)n ese sentido [Inspiracioacuten] ehhhhrdquo que ocupa 332 seg y contiene 83 fotogramas Maacutes abajo se muestran los fotogramas de inicio y final de la seleccioacuten realizada Entre ellas se dispone de un contador de fotogramas que indica la posicioacuten exacta en la que se encuentra el botoacuten deslizante de la zona inferior y de los controles necesarios para desplazarse por el contenido de la muestra que incluyen un control especiacutefico de reproduccioacuten continua Los contadores que aparecen debajo de cada fotograma indican la posicioacuten exacta de inicio y final del fragmento En la parte inferior aparecen los controladores de corte que se manipulan para determinar el fragmento de la escena que se quiere analizar La zona verde indica la distancia en que se encuentra el fotograma inicial del fragmento con respecto al inicio de la escena y la zona lila indica la posicioacuten del fotograma final del fragmento con respecto al final de la escena Entre los controladores de corte se encuentra el botoacuten deslizante que tambieacuten se puede manipular manualmente o bien a traveacutes del contador



de fotogramas que estaacute situado entre el fotograma inicial y el final para determinar con mayor precisioacuten su posicioacuten exacta

Fig4 Seleccioacuten y corte de fragmentos analizables

Cuando se ha determinado el fragmento analizable el siguiente paso consiste en transformarlo en archivo de viacutedeo Para ello se debe cambiar a la pantalla de creacioacuten de viacutedeo Antes de proceder a la creacioacuten del archivo de viacutedeo se deben realizar los ajustes que se consideren oportunos por ejemplo la eleccioacuten del formato del archivo de viacutedeo (avi mpeg mpg) teniendo en cuenta otras aplicaciones informaacuteticas que vayan a ser utilizadas el tamantildeo del archivo de viacutedeo en piacutexeles y la cantidad de fotogramas por segundo Del fragmento de la Fig4 se crearaacute un archivo de viacutedeo en formato avi a 320 piacutexeles de ancho y 240 de alto y finalmente a 25 fps La Fig5 presenta los componentes que se han mencionado En cualquier caso si se quisieran modificar las especificaciones pulsando sobre el botoacuten lsquoconfiguracioacutenrsquo se accede a la pantalla de opciones de ajuste Si no se tiene que realizar ninguna modificacioacuten se pulsa el botoacuten verde lsquoCrear archivo AVIrsquo Aparece una ventana en la que se solicita indicar el nombre del archivo y especificar su ubicacioacuten en el disco duro del ordenador personal El proceso de creacioacuten se realiza en unos segundos

Fig5 Creacioacuten del clip de viacutedeo



Cuando ha finalizado el proceso de seleccioacuten del fragmento audiovisual que interesa analizar se cambia a la pantalla de edicioacuten desde la que se busca y selecciona el archivo audiovisual que se ha creado para realizar el anaacutelisis kineacutesico del fragmento El anaacutelisis kineacutesico consiste en primer lugar en efectuar el visionado completo varias veces para familiarizarse con el estilo gestual o kineacutesico del informante Una vez se han observado las distintas fases del desarrollo kineacutesico se visiona el fragmento fotograma a fotograma para determinar el punto exacto en que inicia y finaliza cada fase gestual o kineacutesica El proceso de anaacutelisis kineacutesico se relaciona en el punto 7

6 Anaacutelisis meloacutedico

La extraccioacuten de los datos acuacutesticos se centra baacutesicamente en la obtencioacuten de la informacioacuten tonal de la muestra audiovisual para posteriormente poder realizar la correlacioacuten con la informacioacuten obtenida de caraacutecter kineacutesico y observar coacutemo se establece esta relacioacuten La obtencioacuten de los valores tonales se basa en el modelo teoacuterico culminativo que expone Cantero (1995 1999 2002) y que se fundamenta en el concepto de jerarquiacutea foacutenica En virtud de este planteamiento Cantero formula un procedimiento de estadarizacioacuten de la curva meloacutedica que permite obtener no soacutelo un contorno entonativo generalizable con independencia de las variaciones tonales de caraacutecter fisioloacutegico sino que ademaacutes permite realizar un anaacutelisis maacutes preciso de la relacioacuten meloacutedica existente entre los sucesivos segmentos tonales que conforman la cadena foacutenica en comparacioacuten con otros modelos de anaacutelisis meloacutedico actuales A continuacioacuten se presentan los instrumentos de anaacutelisis que se utilizan y con queacute finalidad El procedimiento de estandarizacioacuten se detalla en el punto 62

61 Instrumentos de anaacutelisis

611 Wavesurfer

A partir del archivo de viacutedeo creado seguacuten el procedimiento indicado en 5 se extraen los datos acuacutestico para su tratamiento y anaacutelisis meloacutedico Para realizar esta operacioacuten es necesaria la utilizacioacuten del programa Wavesurfer creado por los investigadores Jonas Beskow and Karingre Sjoumllander del Center of Speech Technology (CTT) en el Kungliga Tekniska Houmlgskolan (KTH) de la Universidad de Estocolmo Este software posibilita no soacutelo la captura tratamiento y anaacutelisis de datos acuacutesticos en tiempo real sino que el aacuterea de anaacutelisis se puede personalizar seguacuten los intereses de cada investigacioacuten Ademaacutes dispone de una implementacioacuten que permite visualizar y analizar datos audiovisuales alineados con la sentildeal acuacutestica A pesar de ello soacutelo se utilizaraacute para realizar uacutenicamente la extraccioacuten y digitalizacioacuten de la sentildeal acuacutestica del archivo de viacutedeo La



versioacuten que se utiliza es Wavesurfer 15 Este software se puede adquirir de forma gratuita en internet14

Fig6 Wavesurfer

La Fig6 presenta el aspecto del aacuterea de anaacutelisis y ha sido configurado de la siguiente forma en el panel superior aparecen los fotogramas del archivo de viacutedeo a continuacioacuten se muestra el oscilograma en el panel central se distingue el espectrograma y los valores formaacutenticos superpuestos y finalmente en el panel inferior se presentan los valores frecuenciales de la muestra sonora Cuando se ha abierto el archivo audiovisual se procede a su almacenamiento en el disco duro con la extensioacuten nsp o tambieacuten wav No se utilizaraacute este software para realizar el anaacutelisis acuacutestico y meloacutedico ya que el programa Praat que se presenta a continuacioacuten ofrece una mayor precisioacuten en la obtencioacuten de los valores tonales

612 PRAAT

PRAAT 4322 corresponde a un potente instrumento de anaacutelisis acuacutestico desarrollado por los investigadores Paul Boersma y David Weenink en el Department of Phonetics de la Universidad de Aacutemsterdam Se trata de un programa informaacutetico que permite capturar analizar sintetizar e incluso manipular la sentildeal acuacutestica Este aplicativo a

6 httpwwwspeechkthsewavesurfer



diferencia de Wavesurfer no incluye ninguna implementacioacuten para extraer datos acuacutesticos a partir de muestras audiovisuales Este software tambieacuten se puede adquirir de forma gratuita en internet15

Fig7 Praat

La utilidad de este programa en el anaacutelisis multisisteacutemico se centra fundamentalmente en la obtencioacuten de los valores frecuenciales en Hz de los segmentos tonales meloacutedicamente maacutes representativos del fragmento digitalizado con Wavesurfer Desde la aplicacioacuten informaacutetica se abre el archivo de sonido del enunciado digitalizado que se quiere analizar Esta aplicacioacuten puede operar con diferentes tipos de archivos de sonido y es por este motivo que en Wavesurfer tenemos la posibilidad de grabar los archivos con extensioacuten nsp o wav Cuando el archivo se abre el aacuterea de anaacutelisis muestra el aspecto de la Fig7 Se trata de una pantalla dividida horizontalmente por dos paneles En el panel superior se presenta el oscilograma y los pulsos glotales que el programa detecta automaacuteticamente (opcional) En el panel inferior aparece el espectrograma y superpuestos los valores frecuenciales de Fo de la sentildeal acuacutestica la intensidad y los valores formaacutenticos de la muestra analizada

15 httpwwwfonhumuvanlpraatdownload_winhtml (Para equipos informaacuteticos con sistema operativo Windows) Existen otras versiones habilitadas para otros sistemas operativos comercializados



62 Procedimiento de estandarizacioacuten

Para realizar la extraccioacuten de los valores frecuenciales se sigue el meacutetodo de anaacutelisis meloacutedico del habla que se propone y se describe en Cantero (1995 1999 2002 2003 2005) Como ya se ha indicado en el punto 6 el modelo de anaacutelisis culminativo se basa en el concepto de lsquojerarquiacutea foacutenicarsquo La cadena foacutenica no es soacutelo una sucesioacuten de segmentos tiacutembricos sino que eacutestos se relacionan unos con otros y se organizan jeraacuterquicamente formando agrupaciones foacutenicas maacutes complejas La cadena foacutenica se compone de segmentos consonaacutenticos y vocaacutelicos que poseen determinadas caracteriacutesticas acuacutesticas que los diferencia La emisioacuten de los segmentos vocaacutelicos se manifiesta sin ninguacuten tipo de obstruccioacuten en el aire que fluye desde las cuerdas vocales hasta su salida por el canal bucal mientras que los segmentos consonaacutenticos se producen precisamente por presentar diferentes tipos de obstruccioacuten u obstaculizacioacuten del aire seguacuten el modo de articulacioacuten De esta forma la primera diferenciacioacuten jeraacuterquica entre segmentos consonaacuteticos y vocaacutelicos se establece por motivos articulatorios Los segmentos vocaacutelicos desempentildean la funcioacuten de nuacutecleos silaacutebicos en torno a los que se agrupan diferentes segmentos consonaacutenticos con caracteriacutesticas acuacutesticas diversas y que ocupan los maacutergenes silaacutebicos La siguiente diferenciacioacuten jeraacuterquica se centra en los sonidos consonaacutenticos cuya articulacioacuten puede presentar la caracteriacutestica acuacutestica de sonoridad o no Cuando el segmento consonaacutentico se articula acompantildeado por la vibracioacuten de las cuerdas vocales -como consecuencia de la emisioacuten del segmento vocaacutelico adyacente- el segmento consonaacutentico resultante presenta la caracteriacutestica acuacutestica de sonoridad Cuando el segmento consonaacutentico se articula sin la intervencioacuten de las vibraciones de las cuerdas vocales el segmento resultante es sordo No obstante la caracteriacutestica de sonoridad del segmento consonaacutentico se produce como ya se ha anticipado por su coarticulacioacuten con otro segmento vocaacutelico ya que los segmentos consonaacutenticos no pueden ser emitidos de forma independiente como siacute que es el caso de los segmentos vocaacutelicos Por tanto los segmentos vocaacutelicos a diferencia de los segmentos consonaacutenticos son aquellos elementos de la cadena foacutenica que contienen la informacioacuten meloacutedica relevante La siguiente diferenciacioacuten jeraacuterquica se centra en los segmentos vocaacutelicos que pueden ser toacutenicos o aacutetonos Los segmentos vocaacutelicos toacutenicos desempentildean la funcioacuten de nuacutecleos lexemaacuteticos o nuacutecleos acentuales propios de las palabras De esta forma los nuacutecleos vocaacutelicos aacutetonos se agrupan en torno al nuacutecleo vocaacutelico toacutenico configurando un grupo foacutenico propio de las palabras Sin embargo en la cadena foacutenica las palabras se acompantildean de otros elementos que actuacutean de conectores configurando unidades de significacioacuten maacutes complejas o grupos riacutetmicos Estos elementos se agrupan en torno a un segmento vocaacutelico toacutenico que se diferencia del resto por su representatividad leacutexica semaacutentica o meloacutedica dentro del



grupo riacutetmico A este segmento se le denomina acento paradigmaacutetico (Cantero 200246-49) y desempentildea por tanto la funcioacuten de nuacutecleo paradigmaacutetico Asimismo eacuten la cadena foacutenica los nuacutecleos paradigmaacuteticos se organizan y se agrupan en torno a un segmento vocaacutelico toacutenico jeraacuterquicamente superior que se diferencia del resto de nuacutecleos paradigmaacuteticos por su mayor representatividad sintagmaacutetica dentro del grupo foacutenico A este segmento se le denomina acento sintagmaacutetico (Cantero 200275-77) y desempentildea por tanto la funcioacuten de nuacutecleo sintagmaacutetico Se ha mostrado la relacioacuten jeraacuterquica que se establece entre los diferentes elementos que conforman la cadena foacutenica una primera jerarquizacioacuten a nivel silaacutebico en la que los segmentos vocaacutelicos son los que aportan informacioacuten acuacutestica relevante a diferencia de los consonaacutenticos que ocupan una posicioacuten marginal la segunda jerarquizacioacuten se establece a un nivel leacutexico centrada en los segmentos vocaacutelicos de los cuales los aacutetonos se agrupan en torno al segmento toacutenico que es jeraacuterquicamente maacutes relevante y que se denomina nuacutecleo paradigmaacutetico y finalmente la tercera jerarquizacioacuten se establece entre los nuacutecleos paradigmaacuteticos que se organizan y agrupan en torno al nuacutecleo sintagmaacutetico que es jeraacuterquicamente el maacutes relevante de todo el grupo foacutenico Por tanto para realizar la extraccioacuten acuacutestica se registraraacute uacutenicamente la sucesioacuten de los valores frecuenciales de Fo expresados en Hz de los segmentos vocaacutelicos emitidos ya que corresponden a los elementos de la cadena foacutenica que aportan informacioacuten meloacutedica relevante Una vez se han extraiacutedo lo valores frecuenciales (valores absolutos) de los segmentos vocaacutelicos se aplica el procedimiento de estandarizacioacuten que propone Cantero (2002) con el fin de relativizar los datos y de esta forma obtener contornos entonativos generalizables A continuacioacuten se indican las foacutermulas que se aplican para la obtencioacuten de los valores relativos y los valores estandarizados a partir de los valores absolutos que previamente se han obtenido de la muestra digitalizada Las expresiones matemaacuteticas intentan reproducir fielmente tanto el proceso loacutegico de relativizacioacuten de los datos que expone Cantero (2002149) como la terminologiacutea que emplea ldquoUna vez se ha medido el valor frecuencial (valor absoluto)16 de cada segmento tonal se procede a estandarizar sus relaciones tonales cada valor absoluto en Hz se traduce a un valor relativo en en funcioacuten del valor anteriorrdquo Igualmente por lo que se refiere al proceso de estandarizacioacuten o normalizacioacuten a partir de la secuencia sucesiva de valores relativos que se ha obtenido ldquoEl algoritmo puede simplificarse mediante la normalizacioacuten de los valores partimos de un valor inicial arbitrario (100) a partir del cual aplicamos los porcentajes correlativos lo que nos ofrece como resultado los valores de una lsquocurva estaacutendarrsquo rdquo (Cantero etal 200513)

16 El pareacutentesis y el contenido han sido antildeadidos



Foacutermula de relativizacioacuten de los valores absolutos VREL n+1=[(VABS n+1 - VABS n) VABS n] 100 Foacutermula de estandarizacioacuten o normalizacioacuten de los valores relativos VS n+1= VS n + (VREL n+1 VS n 100) Donde VABS n corresponde al valor absoluto del segmento vocaacutelico de referencia VABS

n+1 es el valor absoluto del segmento vocaacutelico sucesivo al valor de referencia y del cual se determina la diferencia relativa en con respecto al segmento vocaacutelico precedente VREL n+1 o valor relativo expresa la diferencia meloacutedica porcentual entre el valor absoluto VABS n+1 y el valor inmediatamente anterior que actuacutea como valor de referencia Finalmente VS n+1 corresponde al valor estandarizado de VREL n+1 con respecto a VS n que actuacutea eacuteste uacuteltimo como valor de referencia A partir del algoritmo resultante se representa graacuteficamente el contorno entonativo La loacutegica del caacutelculo de las foacutermulas expresa la sucesioacuten ordenada de las sucesivas variaciones meloacutedicas que se dan entre los segmentos vocaacutelicos contiguos de la cadena foacutenica Asimismo la relativizacioacuten de los datos permite obtener contornos entonativos generalizables con independencia de las variaciones tonales de tipo fisioloacutegico y posteriormente analizar de forma maacutes precisa y comprensible la relacioacuten que se establece entre de las sucesivas variaciones meloacutedicas de los segmentos vocaacutelicos A continuacioacuten estas foacutermulas se traladan a la hoja de caacutelculo donde se han registrado los valores absolutos de los segmentos vocaacutelicos y se aplica el caacutelculo que permite la representacioacuten graacutefica de la estructura meloacutedica estaacutendar del enunciado ldquoy yo creo que nese sentidordquo como aparece en la Fig8

I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245

Curva Estaacutendar 10000 15748 15906 14961 13071 12835 11969 11181 13543 10945 6299

y yo creo - que ne se sen ti - do

Fig8 Curva meloacutedica estaacutendar del enunciado ldquoy yo creo que nese sentidordquo



En el eje de ordenadas se presentan en primer lugar los segmentos vocaacutelicos del enunciado en segundo lugar se indican los valores absolutos en Hz de cada segmento a continuacioacuten el valor relativo que indica porcentualmente la diferencia tonal entre los segmentos sucesivos del enunciado y finalmente el valor estandarizado de la diferencia tonal relativa que permite la representacioacuten graacutefica A continuacioacuten se realiza la descripcioacuten o interpretacioacuten meloacutedica intrasisteacutemica del contorno como se muestra en la Fig9

I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC M

ELOacute

D

Este enunciado se compone de dos grupos riacutetmicos El primer grupo riacutetmico consta de la emisioacuten de los segmentos ldquoyyocreoquerdquo que se caracteriza meloacutedicamente por desarrollar una inflexioacuten ascendente muy significativa del 5748 -maacutes de media octava de ascenso tonal- sobre el segmento aacutetono ldquoyordquo que determina el rasgo +enfaacutetico al que le sucede una inflexioacuten adicional ascendente del 100 sobre el segmento toacutenico ldquocreordquo que se constituye en el nuacutecleo paradigmaacutetico del grupo riacutetmico Al ser el primer segmento meloacutedicamente maacutes representativo representa el primer pico del grupo foacutenico A partir de la emisioacuten de este segmento se produce una sucesioacuten irregular de inflexiones descendentes que registran en total un descenso tonal del 1782 El segundo grupo riacutetmico estaacute formado por la emisioacuten de los segmentos ldquonesesentidordquo que se caracterizan por iniciarse la emisioacuten praacutecticamente al mismo nivel tonal en que finaliza el grupo riacutetmico precedente Se observa un leve descenso del 181 sobre el segmento ldquonerdquo con el que se interrumpe el descenso de la declinacioacuten que se inicia a partir de la emisioacuten del primer pico A partir de la emisioacuten del segmento ldquonerdquo se desarrolla una sucesioacuten regular de inflexiones descendentes que registran en total un descenso tonal del 1288 y culmina sobre el segmento ldquosenrdquo A partir de la emisioacuten de este segmento la declinacioacuten no soacutelo se interrumpe sino que ademaacutes describe una trayectoria ascendente muy significativa que se representa mediante una inflexioacuten ascendente del 2113 sobre el segmento toacutenico ldquotirdquo La altura tonal que desarrolla ultrapasa el nivel meloacutedico con que se inicia el segundo grupo riacutetmico caracterizaacutendose de esta forma por el rasgo +enfaacutetico El segmento ldquotirdquo se constituye en el nuacutecleo paradigmaacutetico del grupo riacutetmico Al ser el uacuteltimo segmento meloacutedicamente maacutes representativo representa el nuacutecleo sintagmaacutetico del grupo foacutenico A partir de la emisioacuten de este segmento se desarrolla la inflexioacuten final que se caracteriza por una sucesioacuten irregular de inflexiones descendentes que registran en total un descenso tonal muy significativo del 5349 como consecuencia del ascenso tonal significativo que se observa con la emisioacuten del nuacutecleo sintagmaacutetico y que caracteriza los rasgos -interrogativo y -suspendido Por tanto este contorno se define mediante el tonema -interrogativo +enfaacutetico -suspendido

Fig9 Descripcioacuten meloacutedica

7 Anaacutelisis kineacutesico

Finalizado el anaacutelisis meloacutedico del corpus de datos a continuacioacuten se procede a realizar el anaacutelisis y la descripcioacuten kineacutesica Para llevar a cabo esta operacioacuten nos basamos en la metodologiacutea del microanaacutelisis esto es realizar el anaacutelisis de la muestra audiovisual fotograma a fotograma Este meacutetodo de anaacutelisis es el empleado por Birdwhistell (19701979) Condon (1979 1980) y Kendon (1972 1975 1980 1983 1987 1990) El microanaacutelisis determinaraacute la estructura y las fases de que se compone la secuencia kineacutesica Durante este proceso se siguen las indicaciones que se exponen en Kendon (1987) y Susan Duncan (2002) La descripcioacuten



kineacutesica se basa en los modelos de transcripcioacuten y categorizacioacuten gestual que se proponen en Poyatos (1994I) y McNeill (1992) En la descripcioacuten de la fase nuclear de la secuenciacioacuten kineacutesica que corresponde al intervalo en que se manifiesta una mayor intensidad dinaacutemica se incluyen los puntos exactos en que se inicia y finaliza Los extremos inicial y final de la fase nuclear se denominan veacutertice nuclear y veacutertice culminativo respectivamente Convenciones ANAacuteLISIS KINEacuteSICO aaaaa Fases Inicial y Recuperacioacuten aaaaa Fases Pre- y Posnucleares aaaaa Fase Nuclear aaaaa Veacutertice Nuclear aaaaa Veacutertice Culminativo [aaaa] Liacutemites Grupo Kineacutesico |aaaa| Liacutemites Unidad Gestual aaaaa En el anaacutelisis kineacutesico corresponde a una anotacioacuten de eventos somaacuteticos

parakineacutesicos y comentarios ANAacuteLSIS MELOacuteDICO AAAA Nuacutecleo Paradigmaacutetico y Nuacutecleo Sintagmaacutetico aaaa Liacutemites Grupo Riacutetmico [ijokreokenesesentio] Transcripcioacuten foneacutetica [SILSophia IPA93] |[yyoCREOquenesesenTIdo]| Estructura meloacutedico-kineacutesica A continuacioacuten se realiza la descripcioacuten o interpretacioacuten kineacutesica intrasisteacutemica de la muestra audiovisual como se muestra en la Fig10



I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC

KIN

EacuteS

1ordf LK yyocreoqueFase Inicial [Sin emisioacuten] ndash Inspiracioacuten + Parpadeo + Fin de parpadeo + Inclinacioacuten ascendente muy leve CABEZA + Detencioacuten en posicioacuten elevada (plusmn45deg) ANTEBRAZO IZQUIERDO + La mano estaacute cerrada en puntildeo a excepcioacuten del dedo iacutendice que estaacute encorvado + Leve inclinacioacuten hacia atraacutes TRONCO 000-007 (7f) Fase Prenuclear [Sin emisioacuten] ndash Continuacutea inspiracioacuten + Inclinacioacuten ascendente muy leve CABEZA + Leve extensioacuten hacia delante manteniendo posicioacuten elevada (plusmn45deg) ANTEBRAZO IZQUIERDO + La mano estaacute cerrada en puntildeo a excepcioacuten del dedo iacutendice que estaacute encorvado + Leve inclinacioacuten hacia atraacutes TRONCO 007-011 (4f) Fase Nuclear yyo ndash Eneacutergica inclinacioacuten lateral-ascendente hacia la izquierda hasta posicioacuten vertical (plusmn90deg) ANTEBRAZO IZQUIERDO + La mano se mantiene cerrada en puntildeo a excepcioacuten del dedo iacutendice que estaacute encorvado + Leve inclinacioacuten descendente CABEZA + Leve inclinacioacuten hacia delante TRONCO + Parpadeo 011-018 (7f) Veacutertice Nuclear [i] Veacutertice Culminativo [jo] Fase Posnuclear creoque ndash Continuacutea leve inclinacioacuten descendente con emisioacuten ldquocreordquo e inclinacioacuten lateral hacia la derecha muy leve con emisioacuten ldquoquerdquo CABEZA + Leve inclinacioacuten lateral-descendente hacia la derecha (plusmn10deg) y posterior detencioacuten ANTEBRAZO IZQUIERDO + La mano se mantiene cerrada en puntildeo a excepcioacuten del dedo iacutendice que estaacute encorvado + Continuacutea leve inclinacioacuten hacia delante TRONCO + Se mantiene parpadeo con emisioacuten ldquocreordquo Apertura con emisioacuten ldquoquerdquo 018-100 (7f) TIPO GESTO BEAT (Focalizacioacuten de los segmentos ldquoyyocreoquerdquo y eacutenfasis) 2ordf LK nesesentidoFase Inicial nese ndash Parpadeo + Fin de parpadeo + Leve giro hacia la derecha y posterior inclinacioacuten ascendente leve CABEZA + Extensioacuten hacia delante manteniendo posicioacuten elevada (plusmn80deg) y posterior inclinacioacuten lateral izquierda (plusmn5deg) ANTEBRAZO IZQUIERDO + La mano estaacute cerrada en puntildeo a excepcioacuten del dedo iacutendice que estaacute encorvado + Leve inclinacioacuten hacia atraacutes TRONCO 100-106 (6f) Fase Prenuclear sen ndash Continuacutea leve inclinacioacuten ascendente y posteriormente leve inclinacioacuten descendente CABEZA + leve inclinacioacuten oblicuo-descendente hacia la derecha (plusmn5deg) ANTEBRAZO IZQUIERDO + La mano estaacute cerrada en puntildeo a excepcioacuten del dedo iacutendice que estaacute encorvado + Continuacutea leve inclinacioacuten hacia atraacutes y posteriormente hacia delante TRONCO 106-112 (6f) Fase Nuclear tido ndash Eneacutergica inclinacioacuten descendente CABEZA + Eneacutergica inclinacioacuten lateral-descendente hacia la derecha hasta posicioacuten elevada (plusmn50deg) ANTEBRAZO IZQUIERDO + La mano se mantiene cerrada en puntildeo a excepcioacuten del dedo iacutendice que estaacute encorvado + Inclinacioacuten hacia delante TRONCO 112-120 (8f) Veacutertice Nuclear [ti] Veacutertice Culminativo [o] Fase Posnuclear o ndash Inclinacioacuten lateral hacia la derecha muy leve y posterior detencioacuten CABEZA + Leve inclinacioacuten lateral-ascendente hacia la izquierda (plusmn5deg) y posterior detencioacuten ANTEBRAZO IZQUIERDO + La mano se mantiene cerrada en puntildeo a excepcioacuten del dedo iacutendice que estaacute encorvado + Detencioacuten TRONCO 120-124 (4f) Fase Recuperacioacuten [Sin emisioacuten]ehh ndash Parpadeo + Eneacutergica inclinacioacuten ascendente CABEZA + Enarcado de cejas Pliegues frontales + Fin de parpadeo + Eneacutergica inclinacioacuten lateral hacia la izquierda hasta (plusmn80deg) y posterior retroflexioacuten vertical ANTEBRAZO IZQUIERDO + El dedo iacutendice se agrupa con el resto formando puntildeo cerrado + Inclinacioacuten hacia atraacutes TRONCO + Fin de parpadeo 124-215 (16f) TIPO GESTO BEAT (Focalizacioacuten de los segmentos ldquosentidordquo y eacutenfasis)

Fig10 Descripcioacuten kineacutesica




Para obtener los datos kineacutesicos de la muestra audiovisual se utiliza el aplicativo Pinnacle Studio versioacuten 81270 de Pinnacle Systems Inc Este programa aparte de realizar las tareas de captura edicioacuten y creacioacuten de muestras audiovisuales como se han descrito en el punto 5 permite visualizar la muestra audiovisual fotograma a fotograma De esta forma se segmentan pequentildeos fragmentos de la muestra que corresponden a las fases kineacutesicas para poder visionarlos cuantas veces sean necesarias y anotar todas las caracteriacutesticas kineacutesicas que se observen Los datos se trasladan a la tabla que se ha creado y cuyo aspecto es el que muestra la Fig10

8 Anaacutelisis intersisteacutemico

Cuando se han obtenido y anotado todos los datos procedentes del anaacutelisis meloacutedico y kineacutesico se procede a realizar el anaacutelisis intersisteacutemico El anaacutelisis intersisteacutemico consiste en contrastar los datos obtenidos de ambos sistemas estudiar las relaciones que se establecen entre ellos con la finalidad de obtener patrones meloacutedico-kineacutesicos Los datos obtenidos del anaacutelisis intersisteacutemico se trasladan a una tabla junto con los datos del anaacutelisis meloacutedico kineacutesico y el contono entonativo A continuacioacuten la Fig11 muestra la tabla correspondiente al anaacutelisis intersisteacutemico realizado a la muestra audiovisual Sin embargo por problemas de espacio no es posible presentar la tabla junto con el resto de anaacutelisis realizados

ANAacuteL

ISIS

INTE

RSI

STEacuteM

ICO

Estructura meloacutedico-kineacutesica |[yyoCREOquenesesenTIdo]| Desarrollo El primer veacutertice nuclear se manifiesta coincidiendo con el inicio de la emisioacuten verbal El segundo veacutertice nuclear se produce coincidiendo con la emisioacuten del segundo NP que realiza la funcioacuten de NS del grupo foacutenico El primer veacutertice culminativo del la secuenciacioacuten kineacutesica se desarrolla inmediatamente antes de la emisioacuten del primer NP que aquiacute realiza la funcioacuten de PP El segundo veacutertice culminativo se efectuacutea inmediatamente despueacutes de la emisioacuten del segundo NP -aquiacute realiza la funcioacuten de NS- Se aprecia que la estructura de la secuenciacioacuten kineacutesica se corresponde y alinea con la emisioacuten de los grupos riacutetmicos La secuencia en el movimiento de los paacuterpados parece mantener una estrecha relacioacuten riacutetmica con los nuacutecleos paradigmaacuteticos y delimitadora de los grupos riacutetmicos La fase nuclear se desarrolla kineacutesicamente mediante eneacutergicos desplazamientos realizados principalmente con el antebrazo izquierdo intrasisteacutemicamente coestructurados con inclinacioacuten descendente de la cabeza No obstante en cuanto a su correlacioacuten intersisteacutemica con los segmentos meloacutedicos maacutes relevantes difiere la forma de ejecucioacuten seguacuten se trate del PP o del NS Con la emisioacuten del PP el antebrazo describe una eneacutergica trayectoria ascendente mientras la cabeza permanece inmoacutevil Uacutenicamente justo cuando se emite el segmento ldquoyordquo se produce la inclinacioacuten descendente de la cabeza que se prolonga con la emisioacuten de los segmentos ldquocreordquo En el momento de iniciarse la emisioacuten de los segmentos ldquocreordquo el antebrazo izquierdo cambia diametralmente de trayectoria Asimismo el desarrollo temporal de la fase nuclear en las dos locuciones kineacutesicas tampoco es el mismo -7 fotogramas en la primera LK y 8 fotogramas en la segunda Diferencia de un fotograma que equivale a 00417 seg- El patroacuten riacutetmico del movimiento realizado por antebrazo izquierdo y cabeza no se corresponden simeacutetricamente Los cabeceos se manifiestan delimitando los grupos riacutetmicos del enunciado Ascendentes cuando se inician y descendentes cuando finalizan Mientras que los movimientos del antebrazo izquierdo maacutes dinaacutemicos se desarrollan en funcioacuten de la emisioacuten de los nuacutecleos silaacutebicos Sin embargo ambas patrones efectuacutean una estructura kineacutesica simeacutetrica y sincroacutenica tanto por lo que se refiere a trayectoria del movimiento -en ambos casos descendente- como en intensidad dinaacutemica en la ejecucioacuten -en ambos casos de forma eneacutergica- cuando se inicia la segunda fase nuclear que se corresponde a su vez con la emisioacuten del nuacutecleo sintagmaacutetico

Fig11 Anaacutelisis Intersisteacutemico Para la representacioacuten graacutefica de todos los datos obtenidos a partir del anaacutelisis meloacutedico y kineacutesico se ha utilizado el aplicativo Anvil versioacuten 455 creado e implementado por Michael Kipp en el DFKI (Deutsches Forschungszentrum fuumlr Kuumlnstliche Intelligenz) de la Universidad de Saarland en Saarbruumlcken



Anvil es una herramienta informaacutetica para anotar y analizar datos de tipo audiovisual Al igual que Wavesurfer permite analizar de forma conjunta y alineada datos de tipo meloacutedico y kineacutesicos Sin embargo Anvil posee una tabla de anotacioacuten maacutes sofisticada Por una parte admite importar archivos de sonido y graacuteficos generados con Praat y por otra parte el kit de desarrollo de Anvil permite personalizar la tabla de anotacioacuten seguacuten los intereses de cada investigacioacuten Este programa se puede adquir de forma gratuita en internet17 cumplimentando un pequentildeo cuestionatio En el anexo se incluyen las especificaciones de la tabla de anotacioacuten que se han utilizado para presentar los datos de la muestra analizada Esta tabla incluye por una parte el oscilograma los valores tonales y de intensidad que genera automaacuteticamente Praat y el contorno entonativo estandarizado que se ha obtenido a partir del anaacutelisis meloacutedico Por otra parte en los graacuteficos anteriores el contorno simboliza la representacioacuten abstracta de la melodiacutea del enunciado sin embargo con Anvil el contorno entonativo tambieacuten se puede representar alineado en el tiempo En el punto 612 se indica que con el aplicativo Praat tambieacuten se puede manipular la sentildeal acuacutestica Se ha utilizado este recurso para realizar el traslado de los valores estandarizados obtenidos del anaacutelisis meloacutedico Esta operacioacuten se realizoacute al mismo tiempo que se obteniacutean los valores absolutos de los segmentos vocaacutelicos Una vez finalizoacute el caacutelculo para la extraccioacuten de los valores relativos y estandarizados se insertan eacutestos uacuteltimos en el mismo punto desde el que se obtuvieron los datos frecuenciales extraiacutedos con la ayuda del espectrograma La Fig12 muestra el aspecto del contorno estandarizado una vez que se han trasladado los datos meloacutedicos estandarizados al aplicativo Praat

16 httpwwwdfkide~kippanvildownloadhtml



Fig12 Curva estaacutendar en Praat

Los puntos azules indican la zona de extraccioacuten del valor frecuencial con respecto al oscilograma El punto rojo seleccionado muestra el valor que se ha trasladado al punto exacto de extraccioacuten despueacutes de haber finalizado el caacuteculo de la estandarizacioacuten o normalizacioacuten de los valores frecuenciales A continuacioacuten se almacena el archivo en el disco duro del ordenador y posteriormente se editaraacute en la tabla de anotacioacuten de Anvil



Fig13 Anvil 455

La Fig13 muestra el aspecto del aacuterea de trabajo del programa Anvil con una de las especificaciones por defecto de la tabla de anotacioacuten La ventana situada en la parte superior izquierda corresponde a la ventana principal que contiene los controles y comandos de la aplicacioacuten La ventana del centro corresponde a la muestra audiovisual que se ha seleccionado para su posterior anaacutelisis Dispone de un controlador para el ajuste si fuera necesario de la velocidad de edicioacuten y los comandos estaacutendar se manipulan desde la ventana principal situada a la izquierda La ventana situada en la parte superior derecha es la llamada lsquoventana de elementosrsquo a traveacutes de la cual se pueden modificar las anotaciones realizadas en la tabla de anotacioacuten La mitad inferior de la pantalla corresponde a la tabla de anotacioacuten donde se registraraacuten todos los datos obtenidos del anaacutelisis



Fig14 Aacuterea de anotacioacuten de anaacutelisis meloacutedico-kineacutesico para archivo I2-01

En la Fig14 se expone la muestra audiovisual analizada y todos los datos meloacutedicos y kineacutesicos que han sido analizados El aspecto de la tabla de anotacioacuten ha cambiado considerablemente con respecto a la que aparece en la Fig13 El cambio consiste en que la tabla de anotacioacuten se ha personalizado mediante el kit de desarrollo La personalizacioacuten de la tabla de anotaciones se ha realizado con el programa Dreamweaver versioacuten 40 de Macromedia Inc que permite la programacioacuten en lenguaje lsquoxmlrsquo (eXtensible Mark-up Language) muy similar al lenguaje lsquohtmlrsquo Las especificaciones de la tabla de anotacioacuten que aparecen en las Fig14 15 y 16 se incluyen en el anexo de este artiacuteculo VER CLIP DE VIacuteDEO



Fig15 Especificacioacuten Anvil para anaacutelisis del archivo I2-01

Fig16 Continuacioacuten de la especificacioacuten Anvil para anaacutelisis del archivo I2-01



Referencias bibliograacuteficas

BERGIN Th G FISCH M H (1984) The new Science of Giambattista Vico traduccioacuten al ingleacutes de VICO G-B [1744] Principi di Scienza Nuova Napoles 3ordf ed y Practic of the new science Ithaca New York Cornell University Press traduccioacuten al ingleacutes de VICO G-B [1731] Pratica della scienza nuova en Kendon A (2002) ldquoHistorical Observations on the Relationship Between Research on Sign Languages and Language Origins Theoryrdquo BIRDWHISTELL R L (19701979) El lenguaje de la expresioacuten corporal Barcelona Ed Gustavo Gili CANTERO F J (1995) Estructura de los modelos entonativos interpretacioacuten fonoloacutegica del acento y la entonacioacuten en castellano Universitat de Barcelona Tesis doctoral publicada en microforma (1997) CANTERO F J (1999) ldquoAnaacutelisis meloacutedico del habla principios teoacutericos y procedimientosrdquo Actas del I Congreso de Foneacutetica Experimental Tarragona Univ Rovira i Virgili Univ Barcelona Paacutegs 127-133 CANTERO F J (2002) Teoriacutea y anaacutelisis de la entonacioacuten Barcelona Edicions de la Universitat de Barcelona CANTERO F J (2003) ldquoFoneacutetica y didaacutectica de la pronunciacioacutenrdquo en A Mendoza (coord) Didaacutectica de la lengua y la literatura Madrid Prentice-Hall Paacutegs 545-572 CANTERO F J ALFONSO R BARTOLIacute M CORRALES A VIDAL M (2005) ldquoRasgos meloacutedicos de eacutenfasis en espantildeolrdquo en PHONICA vol 1 Universitat de Barcelona Laboratori de Fonegravetica Aplicada pp49-89 CASSELL J NAKANO Y BICKMORE T W SIDNER C RICH C (2001) ldquoNon-Verbal Cues for Discourse Structurerdquo en Proceedings of the 41st Annual Meeting of the ACL Toulouse France pp106-115 COLLE R (2002) iquestQueacute es la ldquoTeoriacutea Cognitiva Sisteacutemica de la Comunicacioacutenrdquo Centro de Estudios Mediales Santiago de Chile Universidad Diego Portales CONDON W S (1979) ldquoCultural Microrhythmsrdquo en M Davis (ed) 1982 Interaction Rhythms Periodicity in Communicative Behavior 1982 Human Sciences Press Inc New York pp 53-77 CONDON W S (1980) ldquoThe Relation of Interactional Synchrony to Cognitive and Emotional Processesrdquo en Mary Ritchie Key (ed) The Relationship of Verbal and Nonverbal communication The Hague pp 49-65 CRYSTAL D DAVY D (1969) Investigating English style Bloomington Indiana University Press en Kendon A (1987) On Gesture Its Complementary Relationsip with Speech



De RUITER J P LEVELT WJM (2003) ldquoSLOT A research platform for investigating multimodal communicationrdquo Behavior Research Methods Instruments amp Computers 35(3) pp 408-419 DUNCAN Susan (2002) ldquoCoding lsquoManualrsquo (under perpetual revision) en httpmcneilllabuchicagoedupdfsCoding_Manualpdf EISENSTEIN J amp DAVIS R (2004) ldquoVisual and linguistic information in gesture classificationrdquo en Proceedings of International Conference on Multimodal Interfaces (ICMIrsquo04) Association for Computing Machinery (ACM) Press pp 113-120 EISENSTEIN J DAVIS R (2005) Gestural Cues for Sentence Segmentation Massachusetts Institut of Technology Cambridge ESPOSITO A DUNCAN Susan D QUEK F (2002) ldquoHolds as Gestural Correlates to empty and filled Speech Pausesrdquo en Proceedings of the International Conference on Spoken Language Processing (ICSLP 2002) Colorado vol 1 pp 541-544 GARCIacuteA CUADRADO A (1995) ldquoNotas sobre la teoriacutea general de sistemasldquo en Revista General de Informacioacuten y Documentacioacuten vol 5 nordm1 Servicio Publicaciones UCM Madrid pp 197-213 GIBBON D MERTINS I MOORE R (2000) Handbook of Multimodal and Spoken Dialogue Systems Resources Terminology and Product Evaluation Gibbon D Mertins I Moore R (eds) Kluwer Academic Publishers Dordrecht KENDON A (1972) ldquoSome Relationships Between Body Motion and Speech An Analysis of an Examplerdquo en A W Siegman y B Pope (eds) Studies in Dyadic Communication New York7TorontoOxfordSydneyBraunschweig pp 177-210 KENDON A (1975) Organization of Behavior in Face-to-Face Interaction Mouton Publishers vol eds Adam Kendon R M Harris M Ritchie Key The Hague KENDON A (1980) ldquoGesticulation and Speech Two Aspects of the Process of Utterancerdquo en M R Key (ed) Nonverbal Interaction Beverly HillsLondonNew Dehli Col Sage annual reviews of communication research 11 pp 13-45 KENDON A (1983) ldquoHow Gestures Can Become Like Wordsrdquo en F Poyatos (ed) 1988 Cross Cultural perspectives in nonverbal communication Toronto Ed CJ Hogrefe KENDON A (1987) ldquoOn gesture Its Complementary Relationship with Speechrdquo en A W Siegman amp S Feldstein (eds) Nonverbal behavior and communication pp 65-97 KENDON A (1990) Conducting Interaction Patterns of Behavior in focused Encounters Cambridge Cambridge University Press



KENDON A (2002) ldquoHistorical Observations on the Relationship Between Research on Sign Languages and Language Origins Theoryrdquo en John Vickrey Cleve The Study of Signed Languages Essays in Honor of William C Stokoe David Armstrong Michael A Karchmer and John Vickery Van Kleve (eds) Gallaudet University Press Washingtong DC pp 35-52 KETTEBEKOV S SHARMA R (2001) ldquoToward Natural GestureSpeech Control of a Large Displayrdquo en Engineering for Human-Computer Interaction (EHCI01) vol 2254 Lecture Notes in Computer Science M R Little and L Nigay Eds Berlin Heidelberg New York Springer Verlag pp 133-146 KETTEBEKOV S YEASIN M SHARMA R (2002) ldquoProsody Based Co-analysis for Continuous Recognition of Coverbal Gestures presentado en el International Conference on Multimodal Interfaces (ICMI02) Pittsburgh USA pp 161-166 KIPP M (2004) Gesture Generation by Imitation - From Human Behavior to Computer Character Animation Boca Raton Florida Dissertationcom KITA S OumlZYUumlREK A (2003) ldquoWhat does cross-linguistic variation in semantic coordination of speech and gesture reveal Evidence for an interface representation of spatial thinking and speakingrdquo en Journal of Memory and Language 48 pp 16ndash32 KRAUSS R M CHEN Y GOTTESMAN R F (2000) ldquoLexical Gestures and Lexical Access A Process Modelrdquo en D McNeill (ed) Language and gesture New York Cambridge University Press pp 261-283 LOEHR DP (2004) Gesture and Intonation Tesis Doctoral Georgetown University Washington DC McNEILL D (1985) ldquoSo You Think Gestures Are Nonverbalrdquo en Psychological Review vol 92 nordm 3 pp 350-371 McNEILL D (1992) Hand and Mind what gestures reveal about thought Chicago The University of Chicago Press McNEILL D DUNCAN Susan D (2000) ldquoGrowth Points in Thinking-For-Speakingrdquo en D McNeill (ed) Language and Gesture Cambridge Cambridge University Press pp 141-161 OumlZYUumlREK A (2005) ldquoProcessing of multi modal semantic information Insights from crosslinguistic comparisons and neurophysiological recordingsrdquo Invited talk given at Communicating Skills of Intention Conference Kyushu University Japan POYATOS F (1981) ldquoGesture Inventories Fieldwork Methodology and Problemsrdquo en A Kendon R M Harris M Ritchie Key (eds) Nonverbal Communication Interaction and Gesture (Approaches to Semiotics 41) Mouton Publishers The Hague pp 371-399



POYATOS F (1984) ldquoMultichannel Reality of Discourse Language-Paralanguage-Kinesics and the Totality of Communication Systemsrdquo en Language Sciences Special Issue Language in a Semiotic Frame (ed FCC Peng) 60(2) pp 307-337 POYATOS F (1994 I) La comunicacioacuten no verbal Cultura lenguaje y conversacioacuten Madrid Ed Istmo 1ordf ed QUEK F McNEILL D BRYLL R KIRBAS C ARSLAN H McCULLOUGH K-E FURUYAMA N ANSARI R (2000) ldquoGesture speech and gaze cues for discourse segmentationrdquo IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2000) 2 pp 247-254 QUEK F McNEILL D BRYLL R DUNCAN Susan D MA X-F KIRBAS C McCULLOUGH K-E ANSARI R (2001) ldquoGesture and speech multimodal conversational interactionrdquo VISLab Report VISLab-01-01 QUEK F McNEILL D ANSARI R MA X-F BRYLL R DUNCAN Susan D McCULLOUGH K-E (2002) ldquoMultimodal Human Discourse Gesture and Speechrdquo Association for Computing Machinery (ACM) Transactions on Computer-Human Interaction Vol 9 No 3 pp 171-193 THIES A (2003) First the Hand then the Word On Gestural Displacement in Non-Native English Speech Tesis Licenciatura Universitaumlt Bielefeld Bielefeld VALBONESI L ANSARI R McNEILL D QUEK F DUNCAN Susan D McCULLOUGH K-E BRYLL R (2002a) ldquoMultimodal signal analysis of prosody and hand motion temporal correlation of speech and gesturesrdquo EUSIPCO 2002XI European Signal Processing Conference vol 1 Toulouse Francia pp75-78 VALBONESI L ANSARI R McNEILL D QUEK F DUNCAN Susan D McCULLOUGH K-E BRYLL R (2002b) ldquoTemporal correlation of speech and gestures focal pointsrdquo Gesture The living medium Austin Texas Also as VISLAB Report VISLab-02-15



ANEXO

ltannotation-specgt ltbodygt lttrack-spec name=PATROacuteN CVC type=primary height=03gt ltattribute name=token valuetype=String gt lttrack-specgt lttrack-spec name=OSCILOGRAMA type=waveform height=3gt ltattribute name=token valuetype=String gt lttrack-specgt lttrack-spec name=PRAAT PITCH type=speech analysis height=3gt ltattribute name=token valuetype=String gt lttrack-specgt lttrack-spec name=CURVA MELOacuteDICA type=speech analysis height=3gt ltattribute name=token valuetype=String gt lttrack-specgt lttrack-spec name=Hz type=primary height=03gt ltattribute name=token valuetype=String gt lttrack-specgt lttrack-spec name=CURVA ESTAacuteNDAR type=primary height=03gt ltattribute name=token valuetype=String gt lttrack-specgt lttrack-spec name=TRANSCRIPCIOacuteN VERBAL type=primary height=03gt ltattribute name=token valuetype=String gt lttrack-specgt lttrack-spec name=NUacuteCLEOS MELOacuteDICOS type=primary height=03gt ltattribute name=typegt ltvalue-elgtPPltvalue-elgt ltvalue-elgtNP2ltvalue-elgt ltvalue-elgtNP3ltvalue-elgt ltvalue-elgtNP4ltvalue-elgt ltvalue-elgtNP5ltvalue-elgt ltvalue-elgtNP6ltvalue-elgt ltvalue-elgtNP7ltvalue-elgt ltvalue-elgtNP8ltvalue-elgt ltvalue-elgtNP9ltvalue-elgt ltvalue-elgtNP10ltvalue-elgt ltvalue-elgtNSltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=VEacuteRTICE DE INTENSIDAD type=primary height=03gt ltattribute name=typegt ltvalue-elgtV1ltvalue-elgt ltvalue-elgtV2ltvalue-elgt ltvalue-elgtV3ltvalue-elgt ltvalue-elgtV4ltvalue-elgt ltvalue-elgtV5ltvalue-elgt ltvalue-elgtV6ltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=GRUPO RIacuteTMICO type=primary height=03gt ltattribute name=typegt ltvalue-elgtGR1ltvalue-elgt ltvalue-elgtGR2ltvalue-elgt ltvalue-elgtGR3ltvalue-elgt



ltvalue-elgtGR4ltvalue-elgt ltvalue-elgtGR5ltvalue-elgt ltvalue-elgtGR6ltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=GRUPO FOacuteNICO type=primary height=03gt ltattribute name=typegt ltvalue-elgtGF1ltvalue-elgt ltvalue-elgtGF2ltvalue-elgt ltvalue-elgtGF3ltvalue-elgt ltvalue-elgtGF4ltvalue-elgt ltvalue-elgtGF5ltvalue-elgt ltvalue-elgtGF6ltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=TONEMA type=primary height=03gt ltattribute name=typegt ltvalue-elgt+I+E+S iexcliquestltvalue-elgt ltvalue-elgt+I+E-S iexcliquest ltvalue-elgt ltvalue-elgt+I-E+S iquestltvalue-elgt ltvalue-elgt+I-E-S iquest ltvalue-elgt ltvalue-elgt-I+E+S iexclltvalue-elgt ltvalue-elgt-I+E-S iexcl ltvalue-elgt ltvalue-elgt-I-E+S ltvalue-elgt ltvalue-elgt-I-E-S ltvalue-elgt ltattributegt lttrack-specgt ltgroup name=GESTO1gt ltgroup name=CABEZAgt lttrack-spec name=CABEZA type=primary height=03gt ltattribute name=typegt ltvalue-elgtASCENSOltvalue-elgt ltvalue-elgtDESCENSOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtIDltvalue-elgt ltvalue-elgtIODDltvalue-elgt ltvalue-elgtIODIltvalue-elgt ltvalue-elgtIAltvalue-elgt ltvalue-elgtIOADltvalue-elgt ltvalue-elgtIOAIltvalue-elgt ltvalue-elgtILDltvalue-elgt ltvalue-elgtILIltvalue-elgt ltvalue-elgtGDltvalue-elgt ltvalue-elgtGIltvalue-elgt ltvalue-elgtGODDltvalue-elgt ltvalue-elgtGODIltvalue-elgt ltvalue-elgtGOADltvalue-elgt ltvalue-elgtGOAIltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=INT PARAK CAB type=primary height=03gt ltattribute name=typegt ltvalue-elgtMUY LEVEltvalue-elgt ltvalue-elgtLEVEltvalue-elgt ltvalue-elgtMODERADOltvalue-elgt ltvalue-elgtENEacuteRGICOltvalue-elgt ltvalue-elgtMUY ENEacuteRGICOltvalue-elgt ltattributegt



lttrack-specgt ltgroupgt ltgroup name=MANOgt lttrack-spec name=MANO DERECHA type=primary height=03gt ltattribute name=typegt ltvalue-elgtASCENSOltvalue-elgt ltvalue-elgtDESCENSOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtIDltvalue-elgt ltvalue-elgtIODDltvalue-elgt ltvalue-elgtIODIltvalue-elgt ltvalue-elgtIAltvalue-elgt ltvalue-elgtIOADltvalue-elgt ltvalue-elgtIOAIltvalue-elgt ltvalue-elgtILDltvalue-elgt ltvalue-elgtILIltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=MANO IZQUIERDA type=primary height=03gt ltattribute name=typegt ltvalue-elgtASCENSOltvalue-elgt ltvalue-elgtDESCENSOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtIDltvalue-elgt ltvalue-elgtIODDltvalue-elgt ltvalue-elgtIODIltvalue-elgt ltvalue-elgtIAltvalue-elgt ltvalue-elgtIOADltvalue-elgt ltvalue-elgtIOAIltvalue-elgt ltvalue-elgtILDltvalue-elgt ltvalue-elgtILIltvalue-elgt ltattributegt lttrack-specgt ltgroupgt ltgroup name=ANTEBRAZOgt lttrack-spec name=ANTEBRAZO DERECHO type=primary height=03gt ltattribute name=typegt ltvalue-elgtASCENSOltvalue-elgt ltvalue-elgtDESCENSOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtEXTENSIOacuteNltvalue-elgt ltvalue-elgtRETROFLEXIOacuteNltvalue-elgt ltvalue-elgtIDltvalue-elgt ltvalue-elgtIODDltvalue-elgt ltvalue-elgtIODIltvalue-elgt ltvalue-elgtIAltvalue-elgt ltvalue-elgtIOADltvalue-elgt ltvalue-elgtIOAIltvalue-elgt ltvalue-elgtILDltvalue-elgt ltvalue-elgtILIltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=INT PARAK ANTEB DER type=primary height=03gt ltattribute name=typegt ltvalue-elgtMUY LEVEltvalue-elgt ltvalue-elgtLEVEltvalue-elgt ltvalue-elgtMODERADOltvalue-elgt ltvalue-elgtENEacuteRGICOltvalue-elgt



ltvalue-elgtMUY ENEacuteRGICOltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=ANTEBRAZO IZQUIERDO type=primary height=03gt ltattribute name=typegt ltvalue-elgtASCENSOltvalue-elgt ltvalue-elgtDESCENSOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtEXTENSIOacuteNltvalue-elgt ltvalue-elgtRETROFLEXIOacuteNltvalue-elgt ltvalue-elgtIDltvalue-elgt ltvalue-elgtIODDltvalue-elgt ltvalue-elgtIODIltvalue-elgt ltvalue-elgtIAltvalue-elgt ltvalue-elgtIOADltvalue-elgt ltvalue-elgtIOAIltvalue-elgt ltvalue-elgtILDltvalue-elgt ltvalue-elgtILIltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=INT PARAK ANTEB IZQ type=primary height=03gt ltattribute name=typegt ltvalue-elgtMUY LEVEltvalue-elgt ltvalue-elgtLEVEltvalue-elgt ltvalue-elgtMODERADOltvalue-elgt ltvalue-elgtENEacuteRGICOltvalue-elgt ltvalue-elgtMUY ENEacuteRGICOltvalue-elgt ltattributegt lttrack-specgt ltgroupgt ltgroup name=BRAZOgt lttrack-spec name=BRAZO DERECHO type=primary height=03gt ltattribute name=typegt ltvalue-elgtASCENSOltvalue-elgt ltvalue-elgtDESCENSOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtEXTENSIOacuteNltvalue-elgt ltvalue-elgtRETROFLEXIOacuteNltvalue-elgt ltvalue-elgtIDltvalue-elgt ltvalue-elgtIODDltvalue-elgt ltvalue-elgtIODIltvalue-elgt ltvalue-elgtIAltvalue-elgt ltvalue-elgtIOADltvalue-elgt ltvalue-elgtIOAIltvalue-elgt ltvalue-elgtILDltvalue-elgt ltvalue-elgtILIltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=INT PARAK BRA DER type=primary height=03gt ltattribute name=typegt ltvalue-elgtMUY LEVEltvalue-elgt ltvalue-elgtLEVEltvalue-elgt ltvalue-elgtMODERADOltvalue-elgt ltvalue-elgtENEacuteRGICOltvalue-elgt ltvalue-elgtMUY ENEacuteRGICOltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=BRAZO IZQUIERDO type=primary height=03gt



ltattribute name=typegt ltvalue-elgtASCENSOltvalue-elgt ltvalue-elgtDESCENSOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtEXTENSIOacuteNltvalue-elgt ltvalue-elgtRETROFLEXIOacuteNltvalue-elgt ltvalue-elgtIDltvalue-elgt ltvalue-elgtIODDltvalue-elgt ltvalue-elgtIODIltvalue-elgt ltvalue-elgtIAltvalue-elgt ltvalue-elgtIOADltvalue-elgt ltvalue-elgtIOAIltvalue-elgt ltvalue-elgtILDltvalue-elgt ltvalue-elgtILIltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=INT PARAK BRA IZQ type=primary height=03gt ltattribute name=typegt ltvalue-elgtMUY LEVEltvalue-elgt ltvalue-elgtLEVEltvalue-elgt ltvalue-elgtMODERADOltvalue-elgt ltvalue-elgtENEacuteRGICOltvalue-elgt ltvalue-elgtMUY ENEacuteRGICOltvalue-elgt ltattributegt lttrack-specgt ltgroupgt lttrack-spec name=HOMBROS type=primary height=03gt ltattribute name=typegt ltvalue-elgtASCENSOltvalue-elgt ltvalue-elgtDESCENSOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtHDAltvalue-elgt ltvalue-elgtHDDltvalue-elgt ltvalue-elgtHIAltvalue-elgt ltvalue-elgtHIDltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=TRONCO type=primary height=03gt ltattribute name=typegt ltvalue-elgtASCENSOltvalue-elgt ltvalue-elgtDESCENSOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtIDltvalue-elgt ltvalue-elgtIODDltvalue-elgt ltvalue-elgtIODIltvalue-elgt ltvalue-elgtIAltvalue-elgt ltvalue-elgtIOADltvalue-elgt ltvalue-elgtIOAIltvalue-elgt ltvalue-elgtILDltvalue-elgt ltvalue-elgtILIltvalue-elgt ltattributegt lttrack-specgt ltgroupgt ltgroup name=GESTO2gt lttrack-spec name=MANOS type=primary height=03gt ltattribute name=typegt ltvalue-elgtASCENSO SINCROacuteNICO Y PARALELOltvalue-elgt



ltvalue-elgtDESCENSO SINCROacuteNICO Y PARALELOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtEXTENSIOacuteN SINCROacuteNICA Y PARALELAltvalue-elgt ltvalue-elgtRETROFLEXIOacuteN SINCROacuteNICA Y PARALELAltvalue-elgt ltvalue-elgtASCENSO ASINCROacuteNICO Y PARALELOltvalue-elgt ltvalue-elgtDESCENSO ASINCROacuteNICO Y PARALELOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtEXTENSIOacuteN ASINCROacuteNICA Y PARALELAltvalue-elgt ltvalue-elgtRETROFLEXIOacuteN ASINCROacuteNICA Y PARALELAltvalue-elgt ltattributegt lttrack-specgt ltgroup name=ANTEBRAZOSgt lttrack-spec name=ANTEBRAZOS type=primary height=03gt ltattribute name=typegt ltvalue-elgtASCENSO SINCROacuteNICO Y PARALELOltvalue-elgt ltvalue-elgtDESCENSO SINCROacuteNICO Y PARALELOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtEXTENSIOacuteN SINCROacuteNICA Y PARALELAltvalue-elgt ltvalue-elgtRETROFLEXIOacuteN SINCROacuteNICA Y PARALELAltvalue-elgt ltvalue-elgtASCENSO ASINCROacuteNICO Y PARALELOltvalue-elgt ltvalue-elgtDESCENSO ASINCROacuteNICO Y PARALELOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtEXTENSIOacuteN ASINCROacuteNICA Y PARALELAltvalue-elgt ltvalue-elgtRETROFLEXIOacuteN ASINCROacuteNICA Y PARALELAltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=INT PARAK ANTEB type=primary height=03gt ltattribute name=typegt ltvalue-elgtMUY LEVEltvalue-elgt ltvalue-elgtLEVEltvalue-elgt ltvalue-elgtMODERADOltvalue-elgt ltvalue-elgtENEacuteRGICOltvalue-elgt ltvalue-elgtMUY ENEacuteRGICOltvalue-elgt ltattributegt lttrack-specgt ltgroupgt ltgroup name=BRAZOSgt lttrack-spec name=BRAZOS type=primary height=03gt ltattribute name=typegt ltvalue-elgtASCENSO SINCROacuteNICO Y PARALELOltvalue-elgt ltvalue-elgtDESCENSO SINCROacuteNICO Y PARALELOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtEXTENSIOacuteN SINCROacuteNICA Y PARALELAltvalue-elgt ltvalue-elgtRETROFLEXIOacuteN SINCROacuteNICA Y PARALELAltvalue-elgt ltvalue-elgtASCENSO ASINCROacuteNICO Y PARALELOltvalue-elgt ltvalue-elgtDESCENSO ASINCROacuteNICO Y PARALELOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtEXTENSIOacuteN ASINCROacuteNICA Y PARALELAltvalue-elgt ltvalue-elgtRETROFLEXIOacuteN ASINCROacuteNICA Y PARALELAltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=INT PARAK BRA type=primary height=03gt ltattribute name=typegt ltvalue-elgtMUY LEVEltvalue-elgt ltvalue-elgtLEVEltvalue-elgt ltvalue-elgtMODERADOltvalue-elgt ltvalue-elgtENEacuteRGICOltvalue-elgt ltvalue-elgtMUY ENEacuteRGICOltvalue-elgt



ltattributegt lttrack-specgt ltgroupgt lttrack-spec name=HOMBROS type=primary height=03gt ltattribute name=typegt ltvalue-elgtASCENSO SINCROacuteNICOltvalue-elgt ltvalue-elgtDESCENSO SINCROacuteNICOltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtASCENSO ASINCROacuteNICOltvalue-elgt ltvalue-elgtDESCENSO ASINCROacuteNICOltvalue-elgt ltattributegt lttrack-specgt ltgroupgt ltgroup name=INTENSIDAD DINAacuteMICAgt lttrack-spec name=VEacuteRTICE DE INTENSIDAD type=primary height=03gt ltattribute name=typegt ltvalue-elgtVNltvalue-elgt ltvalue-elgtVCltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=INTENSIDAD PARAKINEacuteSICA type=primary height=03gt ltattribute name=typegt ltvalue-elgtMUY LEVEltvalue-elgt ltvalue-elgtLEVEltvalue-elgt ltvalue-elgtMODERADOltvalue-elgt ltvalue-elgtENEacuteRGICOltvalue-elgt ltvalue-elgtMUY ENEacuteRGICOltvalue-elgt ltattributegt lttrack-specgt ltgroupgt ltgroup name=GRUPO KINEacuteSICOgt lttrack-spec name=PARPADEO type=primary height=03gt ltattribute name=typegt ltvalue-elgtCIERREltvalue-elgt ltvalue-elgtAPERTURAltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=CEJAS type=primary height=03gt ltattribute name=typegt ltvalue-elgtENARCADOltvalue-elgt ltvalue-elgtFIN ENARCADOltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=MUacuteSCULOS FACIALES type=primary height=03gt ltattribute name=typegt ltvalue-elgtPLIFRONltvalue-elgt ltvalue-elgtFRONltvalue-elgt ltvalue-elgtSUPCILltvalue-elgt ltvalue-elgtORBOJOSltvalue-elgt ltvalue-elgtCIGltvalue-elgt ltvalue-elgtORBBOCAltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=INTENSIDAD PARAKINEacuteSICA type=primary height=03gt ltattribute name=typegt ltvalue-elgtMUY LEVEltvalue-elgt ltvalue-elgtLEVEltvalue-elgt



ltvalue-elgtMODERADOltvalue-elgt ltvalue-elgtENEacuteRGICOltvalue-elgt ltvalue-elgtMUY ENEacuteRGICOltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=FASES type=primary height=03gt ltattribute name=typegt ltvalue-elgtPREPARACIOacuteNltvalue-elgt ltvalue-elgtINICIALltvalue-elgt ltvalue-elgtPRENUCLEARltvalue-elgt ltvalue-elgtNUCLEARltvalue-elgt ltvalue-elgtPOSNUCLEARltvalue-elgt ltvalue-elgtDETENCIOacuteNltvalue-elgt ltvalue-elgtRECUPERACIOacuteNltvalue-elgt ltattributegt lttrack-specgt lttrack-spec name=TAXONOMIacuteA GESTUAL type=primary height=03gt ltattribute name=typegt ltvalue-elgtDEIacuteCTICOltvalue-elgt ltvalue-elgtICONOltvalue-elgt ltvalue-elgtMETAFOacuteRICOltvalue-elgt ltvalue-elgtBEATltvalue-elgt ltattributegt lttrack-specgt ltgroupgt lttrack-spec name=UNIDAD KINEacuteSICA type=primary height=03gt ltattribute name=typegt ltvalue-elgtUK1ltvalue-elgt ltvalue-elgtUK2ltvalue-elgt ltvalue-elgtUK3ltvalue-elgt ltvalue-elgtUK4ltvalue-elgt ltvalue-elgtUK5ltvalue-elgt ltvalue-elgtUK6ltvalue-elgt ltvalue-elgtUK7ltvalue-elgt ltvalue-elgtUK8ltvalue-elgt ltvalue-elgtUK9ltvalue-elgt ltvalue-elgtUK10ltvalue-elgt ltattributegt lttrack-specgt ltbodygt ltannotation-specgt



Resumen

1 Introduccioacuten







611 Wavesurfer

612 PRAAT






ANEXO


Resum En aquest article es presenta el megravetode multisistegravemic per a lrsquoanagravelisi de la comunicacioacute humana En primer lloc es fa una revisioacute del concepte comunicacioacute humana multisistegravemica que srsquoenteacuten com lrsquointercanvi de missatges complexos que es transmeten mitjanccedilant una modalitat combinatograveria de canals fiacutesics i somagravetics Aquests missatges soacuten codificats i descodificats per sistemes semiogravetics semblants perograve alhora distints que es coestructuren internament i srsquointerrelacionen els uns amb els altres amb lrsquouacutenic objectiu de comunicar Aixiacute doncs la comunicacioacute humana multisistegravemica no nomeacutes eacutes possible a traveacutes del sistema linguumliacutestic que ens caracteritza y diferencia com a espegravecie sinoacute que a meacutes a meacutes hi intervenen altres sistemes semiogravetics que es coestructuren internament srsquointerrelacionen els uns amb els altres i soacuten coexpressius amb el llenguatge verbal En segon lloc es descriuen les investigacions meacutes rellevants en aquest camp que examinen la correlacioacute que es produeix entre els diferents sistemes semiogravetics de la comunicacioacute humana -principalment llenguatge parallenguatge i kinegravesica- Per tant lrsquoanagravelisi de la comunicacioacute humana multisistegravemica estudia no nomeacutes la diversitat de sistemes semiogravetics que interactuen i srsquointerrelacionen sinoacute tambeacute els mecanismes que regulen la relacioacute que srsquohi estableix Eacutes per aixograve que es considera el concepte de lsquosistemarsquo fonamentat en la Teoria General de Sistemes i es justifica la seleccioacute del mot lsquomultisistegravemicrsquo com lrsquoalternativa meacutes clara i inequiacutevoca Finalment srsquoexposa el proceacutes drsquoanagravelisi multisistegravemic la descripcioacute de les fases analiacutetiques i els megravetodes emprats aixiacute com tambeacute la seleccioacute dels instruments drsquoanagravelisi que srsquohi fan servir PARAULES CLAU Anagravelisi multisistegravemica Sistema Sistemes semiogravetics Modalitat comunicativa Llenguatge Parallenguatge Kinegravesica

1 Introduccioacuten1

Antes de entrar en detalle en la descripcioacuten del meacutetodo de anaacutelisis que se propone conviene realizar unos pequentildeos apuntes de lo que se entiende por comunicacioacuten y en concreto por comunicacioacuten humana multisisteacutemica Desde que empezoacute a estudiarse el lenguaje humano como disciplina cientiacutefica los trabajos en Linguumliacutestica han focalizado sus esfuerzos en la descripcioacuten del objeto sonoro en coacutemo se organiza se estructura se combina se jerarquiza se sistematiza se produce y se percibe un conjunto de signos y siacutembolos arbitrarios y convencionales el coacutedigo linguumliacutestico que comuacutenmente se conoce como lenguaje y su realizacioacuten inmediata la lengua y sus manifestaciones oral escrita y signada presente en el intercambio comunicativo en la interaccioacuten humana pero el lenguaje no debe ser confundido con el concepto de comunicacioacuten Efectivamente el lenguaje como sistema linguumliacutestico y la lengua como la realizacioacuten concreta del lenguaje y presente en cada acto socializante en el que interviene el ser humano es uno de los instrumentos maacutes poderosos que posee el hombre y que no soacutelo nos diferencia como especie sino que ha influido de forma decisiva para que eacutesta prevalezca y predomine sobre las demaacutes especies de nuestro entorno No obstante la comunicacioacuten humana el intercambio de informacioacuten conceptos ideas creencias conocimiento sensaciones sentimientos emociones pasiones etc a lo largo de la historia no se ha realizado uacutenicamente a traveacutes del lenguaje sino que intervinieron

1 Este trabajo se inscribe en el proyecto de investigacioacuten financiado por el Ministerio de Ciencia y

Tecnologiacutea Foneacutetica Aplicada a la Educacioacuten nordm de ref BSO2002-03479



















































































611 Wavesurfer





Fig6 Wavesurfer


612 PRAAT






Fig7 Praat















I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245







I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC M

ELOacute

D











I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC

KIN

EacuteS









ANAacuteL

ISIS

INTE

RSI

STEacuteM

ICO













Fig13 Anvil 455

























ANEXO

























Resumen

1 Introduccioacuten







611 Wavesurfer

612 PRAAT






ANEXO


















































































611 Wavesurfer





Fig6 Wavesurfer


612 PRAAT






Fig7 Praat















I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245







I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC M

ELOacute

D











I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC

KIN

EacuteS









ANAacuteL

ISIS

INTE

RSI

STEacuteM

ICO













Fig13 Anvil 455

























ANEXO

























Resumen

1 Introduccioacuten







611 Wavesurfer

612 PRAAT






ANEXO



Fig6 Wavesurfer


612 PRAAT






Fig7 Praat















I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245







I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC M

ELOacute

D











I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC

KIN

EacuteS









ANAacuteL

ISIS

INTE

RSI

STEacuteM

ICO













Fig13 Anvil 455

























ANEXO

























Resumen

1 Introduccioacuten







611 Wavesurfer

612 PRAAT






ANEXO



Fig7 Praat















I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245







I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC M

ELOacute

D











I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC

KIN

EacuteS









ANAacuteL

ISIS

INTE

RSI

STEacuteM

ICO













Fig13 Anvil 455

























ANEXO

























Resumen

1 Introduccioacuten







611 Wavesurfer

612 PRAAT






ANEXO












I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245







I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC M

ELOacute

D











I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC

KIN

EacuteS









ANAacuteL

ISIS

INTE

RSI

STEacuteM

ICO













Fig13 Anvil 455

























ANEXO

























Resumen

1 Introduccioacuten







611 Wavesurfer

612 PRAAT






ANEXO



I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC M

ELOacute

D











I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC

KIN

EacuteS









ANAacuteL

ISIS

INTE

RSI

STEacuteM

ICO













Fig13 Anvil 455

























ANEXO

























Resumen

1 Introduccioacuten







611 Wavesurfer

612 PRAAT






ANEXO






I2-01

0

50

100

150

200

Hz 127 200 202 190 166 163 152 142 172 139 80

Porcentajes 10000 5748 100 -594 -1263 -181 -675 -658 2113 -1919 -4245



AN

AacuteLI

SIS

IN

TRA

SIS

TEacuteM

ICO

DE

SC

KIN

EacuteS









ANAacuteL

ISIS

INTE

RSI

STEacuteM

ICO













Fig13 Anvil 455

























ANEXO

























Resumen

1 Introduccioacuten







611 Wavesurfer

612 PRAAT






ANEXO






ANAacuteL

ISIS

INTE

RSI

STEacuteM

ICO













Fig13 Anvil 455

























ANEXO

























Resumen

1 Introduccioacuten







611 Wavesurfer

612 PRAAT






ANEXO










Fig13 Anvil 455

























ANEXO

























Resumen

1 Introduccioacuten







611 Wavesurfer

612 PRAAT






ANEXO























ANEXO

























Resumen

1 Introduccioacuten







611 Wavesurfer

612 PRAAT






ANEXO























Resumen

1 Introduccioacuten







611 Wavesurfer

612 PRAAT






ANEXO

análisis multisistémico de la comunicación humana

Documents