The effects of written corrective feedback processing conditions on L2 learners' written texts and levels of depth of processing

Abstract

La presente tesis intenta contribuir a dos líneas de investigación relevantes dentro de los estudios de segundas lenguas (SLA): (i) efectos del medio de composición en los textos escritos; y (ii) efectos de las condiciones de procesamiento de la retroalimentación en los procesos y productos de escritura. Este trabajo se apoya en objetivos tanto de naturaleza empírica como e índole metodológica. La motivación por estos objetivos deriva de una serie de premisas. Por un lado, los estudios de escritura en segundas lenguas (L2) han abogado principalmente por una investigación que explora y compara los efectos de los entornos de composición más tradicionales en papel con los digitales en los procesos cognitivos implicados en la escritura y en el procesamiento de la retroalimentación, así como en las características de los textos escritos resultantes (por ejemplo, Vasylets & Marín, 2022; Vasylets, Mellado & Plonsky, 2022; Zhi & Huang, 2021). Por otro lado, la investigación enmarcada en estudios de SLA sobre el feedback correctivo escrito (WCF) ha recibido una amplia atención a lo largo de los años (como han revisado recientemente Bitchener, 2021; Roca de Larios & Coyle, 2021; Hyland & Hyland, 2018; Kang & Han, 2015, 2021), siendo los estudios que se centran específicamente en el procesamiento del WCF los que han ganado mayor atención más recientemente. El constructo de profundidad de procesamiento (“Depth of processing”, DoP, Leow, 2015, 2020) del WCF se ha convertido en una preocupación clave en la investigación teórica y empírica de la retroalimentación. Los estudios en este ámbito han empleado diversos procedimientos metodológicos, incluyendo protocolos de pensamiento en voz alta (por ejemplo, Bowles & Gastañaga, 2022: Caras, 2019; Kim & Bowles, 2019; Leow et al. 2022; Sachs & Polio, 2007) y reflexión sobre la lengua por escrito (“written languaging”, ejemplo, Cerezo et al, 2019; Manchón et al, 2020; Suzuki, 2012, 2017). Con estos dos procedimientos, obtenemos datos sobre los posibles (i) efectos de condiciones experimentales de procesamiento en la profundidad de procesamiento del WCF recibido, y (ii) correlaciones entre DoP y adquisición de la L2 (generalmente operacionalizada en términos de mejoras en la revisión de textos). Es importante también destacar que los debates académicos se han centrado más recientemente en las consideraciones metodológicas relativas a los procedimientos de obtención de datos en esta investigación. A este respecto, algunos críticos (por ejemplo, Leow & Manchón, 2021; Manchón, 2023a) han abogado por estudios controlados guiados por metas metodológicas en los que se compruebe la validez de los instrumentos de recogida de datos, al tiempo que abogan por investigaciones en entornos de escritura más diversos. En respuesta a estas propuestas, los principales objetivos de la presente tesis doctoral pretenden contribuir empíricamente a la investigación mediante el análisis de las características de textos y del procesamiento de la retroalimentación tanto en entornos de papel y lápiz como digitales, así como arrojar luz sobre las posibilidades ofrecidas por diversas técnicas de introspección (consideradas individualmente y combinadas entre ellas) comúnmente utilizadas en la investigación sobre procesamiento de WCF. Para lograr estos objetivos globales, fueron las siguientes preguntas de investigación las que guiaron nuestro estudio:

RQ.1 ¿Cómo afecta el entorno de escritura en papel y en entornos digitales a las características de los textos escritos en términos de corrección, fluidez y complejidad? RQ. 2 ¿Cómo afecta la manipulación experimental durante el procesamiento de WCF a la producción escrita de L2 (en términos de medidas de corrección, fluidez y complejidad) en entornos de escritura en papel y en entornos digitales? RQ.3. ¿Cómo afecta la manipulación experimental durante el procesamiento de WCF a los niveles de profundidad de procesamiento en entornos de escritura en papel y en entornos digitales?

Para responder a las RQ2 y RQ3, analizamos tres condiciones de procesamiento: (i) protocolos de pensamiento en voz alta; (ii) reflexión escrita, y (iii) una combinación de ambos. El estudio siguió un diseño pre-/post-test en el que participaron 36 estudiantes universitarios de inglés como L2. Se invitó a los participantes a escribir un texto inicial (pre-test) en condiciones de tiempo limitado. La tarea de escritura se apoyaba en la resolución de problemas basada en imágenes "Fire Chief" (Gilabert, 2007), que fue completada por la mitad de los participantes (18) en línea, a través de GoogleDocs, y por los 18 participantes restantes en condiciones de lápiz y papel. Independientemente de las condiciones de escritura y de procesamiento, todos los participantes recibieron WCF global y directo sobre los textos escritos como pre-test. A continuación, se invitó a los participantes a procesar la retroalimentación recibida, según el grupo de tratamiento al que hubieran sido asignados: (i) pensamiento en voz alta, (ii) reflexión escrita, y (iii) simultáneamente pensamiento en voz alta y reflexión escrita. La tarea final (postest) invitaba a los participantes a reescribir su texto original en las mismas condiciones que en el pretest. Una vez recogidos los datos de procesamiento, los protocolos de pensamiento en voz alta se transcribieron y codificaron siguiendo la definición de DoP de Leow (2015) y los datos de reflexión escrita se codificaron sobre la base del esquema de codificación elaborado en Cerezo et al. (2019). Los textos escritos se analizaron en términos de una serie de medidas de corrección, fluidez y complejidad. En lo que respecta al medio de composición, los resultados muestran que en los textos iniciales escritos en ordenador fueron más correctos y fluidos que los textos escritos en papel. Además, el medio de composición influyó en el modo en que los participantes procesaron la retroalimentación recibida. La condición de escritura en papel tuvo como resultado una mayor actividad metalingüística por parte de los participantes, lo que a su vez condujo a mayores niveles de corrección en los textos escritos tras el procesamiento de la retroalimentación. En cuanto a las condiciones experimentales de procesamiento de la retroalimentación, los resultados muestran que la combinación de pensamiento en voz alta y reflexión escrita durante el procesamiento de WCF no sólo fue la condición de procesamiento que proporcionó más información sobre el procesamiento del WCF de los participantes, sino que también presentó un tratamiento más favorable para promover mayores niveles de profundidad de procesamiento, así como una mayor corrección en textos posteriores. Estos resultados representan nuevas y relevantes perspectivas sobre la escritura en L2 y la retroalimentación en diversos entornos de escritura. Los resultados obtenidos apuntan a implicaciones metodológicas relevantes y novedosas para futuras investigaciones al arrojar luz sobre las posibilidades de los instrumentos y condiciones de procesamiento de WCF. Además, desde una perspectiva pedagógica, los resultados presentan también una serie de implicaciones relevantes para la toma de decisiones pedagógicas en el aula de segundas lenguas con respecto a las condiciones de realización de tareas de escritura y de procesamiento de la retroalimentación sobre los propios textos.

The present PhD attempted to contribute to two relevant SLA-oriented lines of research: (i) effects of composing medium on written texts; and effects of feedback processing conditions on writing processes and products. The intended contribution was empirical, including a central methodological aim. The motivation for these global aims derives from the following considerations. On the one hand, in response to the mass shift seen in language classrooms to more online, digital learning environments, L2 writing scholars have advocated for research to explore and compare the effects of traditional pen-and-paper versus digital composing environments on the cognitive processes involved in writing and feedback processing, as well as on the characteristics of the resulting written texts (e.g., Vasylets & Marín, 2022; Vasylets et al., 2022; Zhi & Huang, 2021). On the other hand, SLA-oriented research on written corrective feedback (WCF) has received ample attention throughout the years (as recently reviewed by Bitchener, 2021; Roca de Larios & Coyle, 2021; Hyland & Hyland, 2018; Kang & Han, 2015, 2021), with studies that focus specifically on the processing of WCF gaining increased attention more recently. The construct of depth of processing (DoP, Leow, 2015, 2020) of WCF has become a key concern in theoretical and empirical feedback research. Studies in this domain have employed diverse methodological procedures -including think-aloud protocols (e.g., Bowles & Gastañaga, 2022: Caras, 2019; Kim & Bowles, 2019; Leow et al. 2022; Sachs & Polio, 2007) and written languaging (e.g., Cerezo et al, 2019; Manchón et al, 2020; Suzuki, 2012, 2017) to obtain data on potential (i) effects of DoP on how deeply L2 users engage with the feedback provided on their writing, and (ii) correlations between DoP and language acquisition (usually operationalized in terms of improvements in text revisions). Importantly, scholarly debates have more recently focused on research methodological considerations regarding data elicitation procedures in this research. In this regard, some critics (e.g., Leow & Manchón, 2021; Manchón, 2023a) have called for more controlled, methodologically oriented studies in which the validity of the data collection instruments is tested, whilst also advocating for investigations in more diverse writing environments. In response to these calls, the main aims of the present doctoral thesis were to contribute empirically to previous research by exploring writing and feedback processing in both pen-and-paper and digital environments, and to shed light on the affordances of diverse introspective measures (individually and combined) commonly used for WCF processing. To achieve these global aims, the following research questions guided our study:

RQ.1 How does writing in a traditional pen-and-paper environment versus writing in a computer-mediated environment affect L2 written production in terms of CAF measures? RQ. 2 How does the experimental manipulation during WCF processing affect L2 written production (in terms of CAF measures) in pen-and-paper versus computer-mediated writing environments? RQ.3. How does the experimental manipulation during WCF processing affect L2 learners’ levels of depth of processing of the feedback received in pen-and-paper versus computer-mediated writing environments?

To answer RQ2 and RQ3, the study explored the methodological affordances of three WCF processing conditions: (i) think-aloud protocols, (ii) written languaging, and (iii) a combination of think-aloud protocols and written languaging in two writing environments (computer-mediated and pen-and-paper writing conditions). The study followed a pre-test/treatment/post-test design in which 36 English undergraduate students participated. Participants were invited to write an initial text (pre-test) in time-constrained conditions. The writing task was the problem-solving, picture-based “Fire Chief” task (Gilabert, 2007), which was completed by half of the participants (18) online, via GoogleDocs, and by the remaining 18 participants on pen-and-paper. Regardless of the writing and processing conditions, all participants received unfocused, direct WCF on their initial written texts. The participants were then invited back to process the feedback received, according to the treatment group to which they were assigned: (i) think-aloud only, (ii) written languaging only, and (iii) simultaneous think-aloud and written languaging. The final task (post-test) invited participants back to rewrite their original text under the same conditions as in the pre-test. Once the processing data had been collected, the think-aloud protocols were transcribed and coded following Leow’s (2015) definition of DoP and the written languaging data was coded according to the levels of engagement and noticing, guided by the coding scheme elaborated in Cerezo et al. (2019). The written products were analysed in terms of a range of CAF measures. Results show that, as regards composing medium, computer-mediated written texts were initially found to be more accurate and more fluent when compared to more traditional pen-and-paper written texts. Additionally, composing medium played a role on how the participants engaged with feedback: the pen-and-paper condition was more successful in engaging students in metalinguistic languaging, which, as a result, led to higher levels of accuracy in subsequent revised texts. In terms of feedback processing conditions, results show that the combination of think aloud and written languaging whilst processing WCF was not only the processing condition that provided the most insights into WCF processing, but it also constituted the most favourable treatment condition for promoting higher levels of DoP. These deeper levels of processing also led to higher L2 accuracy in subsequent text revisions. These results represent relevant, novel insights into writing and feedback processing in diverse writing environments, while at the same time the insights obtained point to equally relevant and novel methodological implications for future research by shedding light on the affordances of WCF processing instruments and conditions. In addition, and from a pedagogical perspective, the results also present a series of potential implications relevant to pedagogical decision-making in the second language classroom with regards to writing task implementation and feedback processing conditions.