Las construcciones expresivas desde una perspectiva cognitiva, multimodal e interlingüística: la emoción de alivio

Abstract

Esta tesis doctoral investiga el papel fundamental de las interjecciones y elementos afines en la comunicación humana, cuestionando su anterior consideración como fenómenos no lingüísticos en las gramáticas tradicionales. Los enfoques contemporáneos, como la Lingüística Cognitiva y la Gramática de Construcciones, ofrecen un marco integrador que vincula diversas disciplinas lingüísticas y la multimodalidad. Este marco conduce a introducir en esta tesis el término construcciones expresivas para englobar estos elementos y explorar su conexión con las emociones. Se subraya la necesidad de seguir investigando en este campo para mejorar la codificación de las expresiones verbales y no verbales, en particular en lo relativo a la emoción de alivio, contribuyendo a una comprensión más profunda de este complejo aspecto de la comunicación humana. Los objetivos de la tesis consisten en corroborar el papel de las construcciones expresivas en el lenguaje y ampliar la investigación sobre la expresión multimodal de la emoción de alivio, abarcando tanto las modalidades verbales como las no verbales. Para lograrlo, se desarrolla una metodología basada en corpus multimodales. Se establecen dos corpus multimodales ad hoc que comprenden cómics y vídeos, lo que permite explorar la naturaleza multimodal de las construcciones expresivas de alivio. Los estudios empíricos iniciales utilizan los cómics como recurso para investigar la representación visual y oral de las construcciones expresivas del alivio en varias lenguas, como el español, el francés, el inglés y el japonés. Además, se examina la traducción multimodal de estas construcciones del inglés y el francés al español y se explora su relevancia específica en la comunicación de los personajes con afasia. Además, en los estudios empíricos se utiliza el corpus multimodal NewsScape para extraer los vídeos con los que analizar las características multimodales de la expresión inglesa thank God (‘gracias a Dios’), asociada a la emoción de alivio. Se emplean herramientas de análisis como Praat para el estudio fonético-fonológico, Rapid Annotator para la anotación sistemática y manual de expresiones faciales y corporales y OpenPose para la detección automática de los gestos relacionados con la construcción thank God. A partir de estas innovadoras herramientas de lingüística computacional, se propone una metodología para el estudio multimodal de las construcciones que tiene en cuenta tanto sus propiedades lingüísticas como su producción gestual. Los resultados de la investigación demuestran que las construcciones expresivas son fundamentales para la comunicación humana. A partir del análisis de los corpus multimodales, se muestran varias construcciones expresivas prototípicas para transmitir la emoción del alivio. La comunicación verbal exhibe rasgos fonético-fonológicos e icónicos distintivos tanto a nivel vocálico como consonántico. Igualmente, la comunicación no verbal presenta gestos corporales específicos, como colocar una mano en el pecho o la frente, que tienen un origen metafórico. Además, cabe destacar el uso de morfemas o pictogramas que simbolizan la exhalación de aire por la boca. Las expresiones faciales se caracterizan por tener los ojos abiertos mirando al interlocutor o a un objeto, las cejas levantadas y los labios separados. Aunque existen variaciones entre los idiomas, la representación de estas expresiones muestra un alto grado de similitud. Las construcciones expresivas son esenciales para la expresión y comunicación humanas, permitiendo manifestar emociones o actitudes. Este estudio evidencia que la emoción de alivio presenta características específicas compartidas en los idiomas investigados, señalando aspectos multimodales y cognitivos comunes que trascienden las fronteras culturales. Los avances en el machine learning ofrecen oportunidades prometedoras para el análisis exhaustivo de datos y metodologías que superan los modelos estadísticos lineales, ya que la relación entre los componentes verbales y gestuales no parece ser lineal. En conclusión, esta investigación muestra el papel crucial de las construcciones expresivas en la comunicación humana y revela la naturaleza intercultural y multimodal de la emoción de alivio.

This doctoral thesis investigates the pivotal role of interjections and related elements in human communication, challenging their previous dismissal as non-linguistic phenomena in traditional grammar. Contemporary approaches, like Cognitive Linguistics and Construction Grammar, offer an integrative framework linking various linguistic disciplines and multimodality. It conduces to introduce the term expressive constructions to encompass these elements and to explore their connection to emotions. The study emphasizes the need for further research to refine and enhance our understanding of the encoding of verbal and nonverbal expressions, particularly concerning the relief emotion, contributing to a deeper comprehension of this intricate aspect of human communication. The dissertation aims to substantiate the role of expressive constructions in language and expand the research on the multimodal expression of relief emotion, encompassing both verbal and nonverbal modalities. The study develops a methodology grounded in multimodal corpora to achieve these objectives. It establishes two ad hoc multimodal corpora comprising comics and videos, enabling experimentation on the multimodal nature of relief's expressive constructions. The initial empirical studies use comics as a resource to investigate the visual and oral representation of relief's expressive constructions across various languages, including Spanish, French, English, and Japanese. Moreover, the study examines the multimodal translation of these constructions from English and French into Spanish and explores their specific relevance in communication for characters with aphasia. Furthermore, the empirical studies utilize the NewsScape multimodal corpus to extract videos for analyzing the multimodal characteristics of the English expression thank God associated with relief emotion. This analysis employs tools like Praat for phonetic-phonological analysis, Rapid Annotator for systematic and manual annotation of facial and bodily expressions, and OpenPose for automated detection of co-speech gestures in the thank God construction. The research proposes a methodology for the multimodal study of constructions through these innovative computational linguistics tools to investigate and consider their linguistic properties and gestural production. The research findings demonstrate that expressive constructions are fundamental to human communication. The analysis of the multimodal corpora extracts several prototypical expressive constructions for conveying the emotion of relief. Verbal communication exhibits distinct phonetic-phonological and iconic characteristics at both vowel and consonant levels. Similarly, nonverbal communication features specific bodily gestures, such as placing a hand on the chest or forehead, which have metaphorical origins. Noteworthy is the use of morphemes or pictograms symbolizing the exhalation of air through the mouth. Facial expressions include open eyes focused on the interlocutor, raised eyebrows, and parted lips, presumably facilitating air release. While variations exist among languages, the representation of these expressions displays a high degree of similarity. Expressive constructions play a crucial role in expressing and communicating emotions and attitudes. This study reveals distinct characteristics of the relief emotion commonly shared across the investigated languages, highlighting multimodal and cognitive aspects beyond cultural boundaries. The advancements in machine learning offer promising opportunities for comprehensive data analysis and methodologies surpassing linear statistical models, as the relationship between verbal and gestural components appears nonlinear. In conclusion, this research emphasizes the significance of expressive constructions in human communication and provides insights into the intercultural nature of the relief emotion.