lingÜÍstica i multimodalitatprosodia.upf.edu/activitats/wmultimodalitat/presentac...lingÜÍstica...
Post on 21-May-2020
11 Views
Preview:
TRANSCRIPT
LINGÜÍSTICA I MULTIMODALITAT
(La frontera verbal – no verbal)
Wokshop sobre multimodalitat
Universitat Pompeu Fabra, 14/10/2011
Lluís Payrató
Universitat de Barcelona
GrEPAD (Grup d’Estudis de Pragmàtica
i Anàlisi del Discurs) –
GEV (Grup d’Estudi de la Variació)
Lluís Payrató Universitat de Barcelona
CONCEPTES BÀSICS AL VOLTANT DE
LA MULTIMODALITAT
comunicació
cultura
llengua
Lluís Payrató Universitat de Barcelona
MULTIMODALITAT - Aspectes terminològics
• Origen del terme
• Tradició d’estudis
– Pragmàtica i anàlisi del discurs
– Semiòtica i teoria de la comunicació
– Comunicació no verbal
– Retòrica
Lluís Payrató Universitat de Barcelona
MULTIMODALITAT - Aspectes conceptuals
• Definicions estrictes
– Multimodalitat: diversitat de modes
– Multimedialitat: diversitat de mitjans
– Altres: modalitat (gramatical) ampliada
• Definicions àmplies
– Diversitat combinada o sincronitzada de codis /
modes / mitjans / fonts / canals comunicatius
Lluís Payrató Universitat de Barcelona
MODES (NO) VERBALS I (NO) VOCALS
VERBAL I VOCAL
VERBAL I NO VOCAL
NO VERBAL I VOCAL
NO VERBAL I NO VOCAL
Prohibit
prohibir
Pfff! llenguatge humà
(per defecte)
Lluís Payrató Universitat de Barcelona
(MULTI)MODALITAT VERBAL ESCRITA
- Conjunts de grafies/alfabets diferents: llatí /
àrab / ciríl.lic / hebreu / japonès...
- Cos de les lletres (mida). Caixa alta/baixa
- Tipus de lletra: cursiva, negreta, subratllat…
- Interlineat i marges
- Nombre de lletres per línia i de línies per pàgina
(p. ex. 2100 caràcters per pàgina, 30 x 70)
- Signes de puntuació
Lluís Payrató Universitat de Barcelona
LLENGUATGE VERBAL ESCRIT - Exemples
No aparqueu. Avisem la grua
Prohibida la blasfèmia i la paraula barroera
Dilluns al matí tancat
El seu pes ideal és...
Vigileu amb el gos
(…)
Lluís Payrató Universitat de Barcelona
MODALITAT GESTUAL
• Què vols que et digui?
• I jo què hi puc fer?
• No en sé res!
• De què em parles?
• Però on s’ha ficat, el gos?
• Però on dimonis eres?
• Però què hi fot, aquest tio a l’armari, Miquel?
Lluís Payrató Universitat de Barcelona
AMBIGÜITAT MODALITAT GESTUAL
• Primer/Victòria
• U/Un
• A dalt
• Jo
• Puc?
• Atenció
• A prendre...
Lluís Payrató Universitat de Barcelona
AMBIGÜITAT LLENGUATGE VERBAL
• Que fill de puta que ets!
• Magnífic!
• Que fill de puta que ets! Mira que treure un nou i
mig d’Àlgebra!
• Magnífic! Vés i que et moqui la iaia!
Lluís Payrató Universitat de Barcelona
MODALITATS COMUNICATIVES BÀSIQUES
• Llenguatge verbal (“verbalitat”)
• Prosòdia (lingüística) i paralingüística
(vocal)
• Gestualitat (cinèsica)
Lluís Payrató Universitat de Barcelona
LLENGUATGE VERBAL VOCAL
SO
Representació fonètica
Sistema morfològic
Cadena sintàctica
Estructura textual
Intenció pragmàtica
SIGNIFICAT
Lluís Payrató Universitat de Barcelona
PROSÒDIA (LINGÜÍSTICA) I
PARALINGÜÍSTICA (VOCAL)
• ASPECTES
PROSÒDICS O
SUPRASEGMENTALS
– To/entonació
– Quantitat
– Accent
• ASPECTES PARA-
LINGÜÍSTICS
VOCALS
– Ritme d’elocució
– Intensitat
– Vocalitzacions
Lluís Payrató Universitat de Barcelona
GESTUALITAT
• Gesticulació manual
• Gesticulació facial:
– Expressió facial d’emocions
– Mirada / contacte ocular
– Moviments de les celles
• Moviments del cap
• Postures i maneres
• Proxèmica
• Altres mitjans/canals: - tacte - olfacte
Lluís Payrató Universitat de Barcelona
CATEGORIES GESTUALS
• Ekman & Friesen (1969):
- Emblemes - Adaptadors - Il.lustradors
- Reguladors - Manifestacions d’estat d’ànim
• McNeill (1992, 2000):
- Signes manuals (llengües de signes) - Emblemes
- Pantomimes - Gestos semblants al llenguatge
- Gesticulació (gestos coverbals)
• Altres categories / Altres classificacions:
– Gestos emblemàtics (díctics, icònics, simbòlics…)
– Gestos coverbals (icònics o metafòrics)
– Gestos interactius (reguladors)
– Manifestacions d’estat d’ànim / emocions
Lluís Payrató Universitat de Barcelona
EXPRESSIÓ FACIAL DE LES EMOCIONS
• Emocions fonamentals (universals?)
- Alegria - Repugnància/fàstic
- Tristesa - Interès
- Ràbia/odi - Sorpresa
- Temor/por - Neutra (?)
• “Cares parlants” (talking faces)
Lluís Payrató Universitat de Barcelona
LÍNIES D’INVESTIGACIÓ ACTUAL
- Enfocaments / marcs teòrics
• psicolingüístic: producció - recepció
• cognitiu: capacitats mentals
• pragmàtic: interacció / ús comunicatiu
• antropològic: diferències culturals
• computacional: simulació/automatització
Lluís Payrató Universitat de Barcelona
METODOLOGIA I TÈCNIQUES
• Bases de dades / arxius / corpus multimodals
• Tècniques de gravació
• Tècniques de transcripció
• Tècniques de notació
• Programes i sistemes d’anàlisi
Lluís Payrató Universitat de Barcelona
ANÀLISI DE LES DADES (I)
(1) Fenòmens de confluència o reforç
vs. fenòmens de contradicció o ambigüitat
(2) Rellevància / predomini del llenguatge verbal vs.
rellevància / predomini del llenguatge gestual
(3) Rellevància i context (principis de comunicabili-tat/informativitat / pertinència contextualitzada)
Lluís Payrató Universitat de Barcelona
ANÀLISI DE LES DADES (II)
(4) Grau de variació i interpretació contextualitzada:
– Variació històrica (/ generacional)
– Variació geogràfica (/ cultural - regional)
– Variació sociocultural (/ grau de formació)
– Variació situacional (grau de formalitat, (a)simetries
jeràrquiques, tipologia textual...)
– Variació de gènere (models masculí- femení)
– Variació individual (estil expressiu, argumentatiu,
persuasiu... / idiosincràtic)
Lluís Payrató Universitat de Barcelona
A MODE DE RESUM - Línies de progrés
• Objectius
– Producció/interpretació
– Interacció social
– Simulació (sistemes d’informació, aplicacions pedagògiques i
terapèutiques)
• Teories - hipòtesis
• Metodologia
– Coordinació de la investigació
– Corpus comuns de fàcil accés
– Sistemes de transcripció/anotació estàndar
– Programes d’anàlisi d’ús menys complex
Lluís Payrató Universitat de Barcelona
A TALL D’EXEMPLE - El projecte PRAGMAESTIL
• Objetius
– Corpus anteriors (COC, COR) → imatge
• Participants
– Plurilingües
• Metodologia (+ anàlisi contrastiva)
• Trets bàsics del corpus (CAP):
– Multitextual – Multilingüe – Multimodal
Lluís Payrató Universitat de Barcelona
PRAGMAESTIL / CAP - Metodologia
• Informants
• Entrevistes
• Tipus de text
• Informacions complementàries
• Gravació
• Transcripció
• Anàlisi de les dades
Lluís Payrató Universitat de Barcelona
PROTOCOL
Frog, where are you?narratiu
Silvestre
instructiu Mapa d’un poble inventat
argumentatiu A favor: viure al camp / ciutat
descriptiu Casa del joc SIMS
EX
PE
RIM
EN
TA
L
expositiu Immigració: com s’està vivint
argumentatiu Recomana pel·lícula o llibre
instructiu D’econòmiques a casa teva
descriptiu Com és casa teva
expositiu Què fas els caps de setmana
DIS
CU
RS D
IRIG
IT
EX
PE
RIE
NC
IAL
narratiu Situació de perill, risc, por…
CONVERSA
Passaport de llengües
L1
EN
TR
EV
IST
A
PORTAFOLI EUROPEU
DE LES LLENGÜES Biografia lingüística
Frog, where are you?narratiu
Silvestre
instructiu Mapa d’un poble inventat
argumentatiu A favor: viure al camp / ciutat
descriptiu Casa del joc SIMS
EX
PE
RIM
EN
TA
L
expositiu Immigració: com s’està vivint
argumentatiu Recomana pel·lícula o llibre
instructiu D’econòmiques a casa teva
descriptiu Com és casa teva
expositiu Què fas els caps de setmana
DIS
CU
RS D
IRIG
IT
EX
PE
RIE
NC
IAL
narratiu Situació de perill, risc, por…
L2
EN
TR
EV
IST
A
CONVERSA
Frog, where are you?narratiu
Silvestre
instructiu Mapa d’un poble inventat
argumentatiu A favor: viure al camp / ciutat
descriptiu Casa del joc SIMS
EX
PE
RIM
EN
TA
L
expositiu Immigració: com s’està vivint
argumentatiu Recomana pel·lícula o llibre
instructiu D’econòmiques a casa teva
descriptiu Com és casa teva
expositiu Què fas els caps de setmana
DIS
CU
RS D
IRIG
IT
EX
PE
RIE
NC
IAL
narratiu Situació de perill, risc, por…
CONVERSA
L3
EN
TR
EV
IST
A
IDEOLOGIES LINGÜÍSTIQUES
Lluís Payrató Universitat de Barcelona
Bibliografia (treballs esmentats i d’introducció o consulta)
Alturo, N. (2004): ―Hipòtesis sobre la representació multimodal (verbal i gestual) dels esdeveniments‖, en Payrató et alii (ed.),
págs. 141-153.
Alturo, N.; L. Payrató (2002): ―La representación discursiva de las eventualidades. Gesticulación y habla‖. Comunicación al
Congreso de la Asociación Española de Lingüística Cognitiva, Valencia.
— (2003): ―The cognitive processing of situations: evidence from multi-modal discourse‖. Comunicación al 8th International
Cognitive Linguistics Conference, Logroño.
Arndt, H.; R.W. Janney (1987): InterGrammar. Toward an integrative model of verbal, prosodic and kinesic choices in speech.
Berlín, Mouton de Gruyter.
Beattie, G.W. (1981): «Language and nonverbal communication –the essential synthesis?», Linguistics, 19, págs. 1165-1183.
Bolinger, D. (1983): «Intonation and Gesture», American Speech, 58, págs. 156-174.
Cassell, J. et alii (ed.) (2000): Embodied conversational characters. Cambridge, MIT Press.
Cavé, C.; I. Guaïtella; S. Santi (ed.) (2001): Oralité et gestualité. Interactions et comportements multimodaux dans la
communication. París, L‘Harmattan.
Contento, S. (1998): «Forme et fonction du geste pour la cohésion discursive», en Santi et alii (ed.), págs. 589-594.
Ekman, P.; W.V. Friesen (1969): «The repertoire of non verbal behavior: categories, origins, usage and coding», Semiotica, 1,
págs. 49-97.
Ekman, P.; E.L. Rosenberg ( ed.) (1998): What the face reveals. Oxford, Oxford University Press.
Emmorey, K.; J.S. Reilly (ed.) (1995): Language, gesture, and space. Hillsdale, N.J., Erlbaum.
Haviland, J. (2000): «Pointing, gesture spaces, and mental maps», en McNeill (ed.), págs. 13-46.
Heinemann, P. (1980): Grundriss einer Pädagogik der nonverbalen Kommunikation. Henn, Kastellaun. Trad. cast.: Pedagogía
de la comunicación no verbal. Barcelona, Herder, 1980.
Jarvella, R.J.; W. Klein (ed.) (1982): Speech, Place, and Action. Studies in Deixis and Related Topics. Chichester, J. Wilet.
Kendon, A. (1972): «Some Relationships between Body Motion and Speech: An Analysis of an Example», en Siegman, A. W.;
B. Pope (ed.) (1972): Studies in Dyadic Communication. Nueva York, Pergamon, págs. 177-210.
— (1995). «Gestures as illocutionary and discourse markers in Southern Italian conversation», Journal of
Pragmatics, 23, págs. 247-279.
— (1996) «An agenda for gestures studies», The Semiotic Review of Books, 7, págs. 8-12.
Lluís Payrató Universitat de Barcelona
<http://www.univie.ac.at/Wissenschaftstheorie/srb/srb/gesture.html>
— (1997). «Gesture», Annu. Rev. Anthropol., 26, págs. 109-128.
— (2000): «Language and gesture. Unity or duality?», en McNeill (ed.) (2000), págs. 47-63.
— (2004): Gesture: Visible action as utterance. Cambridge, Cambridge University Press.
Kress, G.; T. van Leeuwen (2001): Multimodal discourse: The modes and media of contemporary communication. Londres,
Arnold.
LeVine, P.; R. Scollon (ed.) (2004): Discourse and technology. Multimodal discourse analysis. Washington, Georgetown
University Press.
Levinson, S.C. (1992): «Primer for the field investigation of spatial description and conception», Pragmatics, 2, págs. 5-47.
Lyons, J. (1972): "Human language", en R.A. Hinde (ed.): Non-verbal communication. Cambridge, Cambridge University
Press, págs. 49-85.
Massaro, D.W. (2001): «Perceiving the many modalities of spoken language: Theories and data», en Cavé et alii (ed.), págs.
34-37.
McClave, E.Z. (2000): «Linguistic functions of head movements in the context of speech», Journal of Pragmatics, 32, págs.
855-878.
McCormack, W.C.; S.A. Wurm (ed.) (1976): Language and Man: Anthropological Issues. La Haya, Mouton.
McNeill, D. (1985): «So You Think Gestures Are Nonverbal?», Psychological Review, 92, págs. 350-371.
— (1992). Hand and Mind. What Gestures Reveal about Thought. Chicago, The University of Chicago Press.
— (ed.) (2000): Language and gesture. Cambridge, Cambridge University Press.
McNeill, D.; E.T. Levy (1993): «Cohesion and gesture», Discourse Processes, 16, págs. 363-386.
Mora, J.P. (2004): ―De gestos, signos y palabras‖, en Payrató et alii (ed.), págs. 47-55.
Payà, M. (2004): ―Interacció del grup tonal i el gest en el discurs: una aproximació d‘anàlisi multimodal‖, en Payrató et alii
(ed.), págs. 155-172.
Payrató, L. (1993): «A pragmatic view on autonomous gestures: A first repertoire of Catalan emblems», Journal of
Pragmatics, 20, págs. 193-216.
— (2001): «Methodological remarks on the study of emblems: The need for common elicitation procedures», en
Cavé et alii (ed.), págs. 262-265.
— (2002): «Variation, multimodal communication and multilingualism: The VARCOM project».
<http://www.utexas.edu/coc/cms/International_House_of_Gestures>
— (2003a): «What does ‗the same gesture‘ mean? Emblematic gestures from some cognitive-linguistic theories»,
en Rector, M., I. Poggi & N. Trigo (ed.): Gestures: Meaning and Use. Porto, Ediçoes Universidade Fernando Pessoa, págs.
73-81.
Lluís Payrató Universitat de Barcelona
— (2003b): «Nonverbal communication», en Verschueren, J., J.-O. Östman, J. Blommaert & C. Bulcaen (ed.):
Handbook of pragmatics. Amsterdam, John Benjamins.
<http://www.benjamins.com>
— (2004): «Notes on pragmatic and social aspects of everyday gestures», en Posner, R. & C. Müller (ed.):
Semantics and Pragmatics of Everyday Gestures. Berlín, Weidler, págs. 103-113.
Payrató, Ll.; N. Alturo (2003): ―Poliphony as a multimodal phenomenon‖. Comunicación al 8th International Pragmatics
Association Conference, Toronto.
Payrató, Ll.; N. Alturo; M. Payà ( ed.) (2004): Les fronteres del llenguatge. Lingüística i comunicació no verbal. Barcelona,
Universitat de Barcelona – PPU.
Poggi, I. (2002): «Gesture, gaze and touch: Literal or indirect meaning». <http://semioticon.com/virtuals/talks>
— (2004): ―Lexicon and phonology of nonverbal communication systems‖, en Payrató et alii (ed.), págs. 247-285.
Poyatos, F. (1983): New Perspectives in Nonverbal Communication. Studies in Cultural Anthropology, Social Psychology,
Linguistics, Literature and Semiotics. Oxford, Pergamon.
— (1994): La comunicación no verbal. Madrid, Istmo.
— (2002): Nonverbal communication across disciplines. Amsterdam, John Benjamins.
— (2004): ―Nuevas perspectivas lingüísticas en comunicación no verbal‖, en Payrató et alii (ed.), págs. 57-91.
Riley, P. (1976): «Discourse and communicative functions of non-verbal communication». Mélanges Pédagogiques. Université
de Nancy II, CRAPEL, págs. 1-18.
Santi, S.; I. Guaïtella; C. Cavé; G. Konopczynski (ed.) (1998): Oralité et gestualité. París, L‘Harmattan.
Schegloff, E. (1984): «On some gestures‘ relation to talk», en Atkinson, J.M. & J. Heritage (ed.): Structures of Social Action.
Studies in Conversation Analysis. Cambridge, Cambridge University Press, págs. 266-298.
Scherer, K.R.; P. Ekman (ed.) (1982): Handbook of Methods in Nonverbal Behavior Research. Cambridge, Cambridge
University Press.
Slama-Cazacu, T. (1976): «Nonverbal components in message sequence: ‗Mixed syntax‘», en McCormack & Wurm (ed.),
págs. 217-227.
Torrego, E. (1971): «Lingüística y cinésica», Revista de Filología Española, LIV, págs. 145-159.
Trager, G.L. (1958): «Paralanguage: a first approximation». Studies in Linguistics, 13, págs. 1-12.
Ventola, E.; C. Charles; M. Kaltenbacher (ed.) (2004): Perspectives on multimodality. Amsterdam, John Benjamins.
top related