Transparency and risk of bias in meta-analytic psychological research: an empirical evaluation

Abstract

A lo largo del siglo pasado, en el campo de la psicología encontramos críticas en torno a temas como el sesgo de publicación, la baja potencia estadística y el mal uso de las pruebas de significación estadística basadas en la hipótesis nula. No obstante, no fue hasta la última década, tras una serie de eventos como los intentos fallidos de replicación a gran escala, cuando los investigadores comenzaron a reconocer plenamente las serias consecuencias de estas malas prácticas científicas. Estos hallazgos impulsaron una serie de reformas en el campo, centradas en mejorar la credibilidad de la disciplina mediante la implementación de mejores prácticas científicas, tales como la transparencia y la reducción de sesgos en la investigación. Estas reformas científicas no solamente son aplicables a estudios empíricos, sino que también afectan a estudios de síntesis de la evidencia, como las revisiones sistemáticas y los meta-análisis. Estos últimos son particularmente vulnerables a una serie de sesgos, como los sesgos de publicación, los sesgos introducidos por los estudios primarios, o los sesgos que introduce el propio investigador. Para abordar estos problemas, la tesis presenta tres estudios empíricos que exploran aspectos cruciales para mejorar los meta-análisis en psicología. El primer estudio analiza 97 meta-análisis sobre los beneficios de los programas de entrenamiento cognitivo, un campo que ha generado cierta controversia. Se identificaron problemas relacionados con la transparencia en algunos aspectos clave, así como en el reporte de los datos en general, lo que dificulta la reproducibilidad de los resultados. Además, se observó una gran variabilidad en los criterios de elegibilidad utilizados, lo que indica que los meta-análisis no siguen criterios uniformes. Al comparar los protocolos prerregistrados de los meta-análisis con los artículos finales, se detectaron desviaciones que no eran mencionadas en dichos artículos. Estas deficiencias resaltan la necesidad de mejorar la transparencia y la estandarización en este campo. El segundo estudio examina el uso y la efectividad del prerregistro en los meta-análisis de psicología. Aunque se observa que aproximadamente el 27% de los meta-análisis publicados en 2021 estaban prerregistrados, muchos de estos prerregistros no especifican aspectos cruciales del estudio, como los métodos para evaluar la presencia de sesgo de publicación. Además, al comparar los prerregistros con los artículos finales, se identificaron numerosas desviaciones que no fueron mencionadas ni discutidas, lo que reduce la efectividad del prerregistro como herramienta para reducir sesgos. El tercer estudio se enfoca en la evaluación de la calidad de los estudios primarios incluidos en meta-análisis de psicología clínica. Se identifican aspectos que podrían mejorarse en la forma en que se evalúa la calidad de estos estudios. No obstante, se observa una tendencia hacia una mayor calidad en los estudios más recientes. Finalmente, al analizar la relación entre la calidad de los estudios primarios y los resultados de los meta-análisis, encontramos una discrepancia considerable entre nuestros análisis y los realizados por los autores de los meta-análisis. En particular, mientras que nosotros identificamos una influencia de la calidad en los resultados, esto rara vez se reflejó en los meta-análisis publicados. En conjunto, los tres estudios destacan las deficiencias metodológicas presentes en los meta-análisis de psicología y ofrecen recomendaciones para abordarlas, promoviendo mejoras en la transparencia, el uso del prerregistro, y estableciendo pautas para una evaluación más rigurosa de la calidad de los estudios primarios.

Throughout the past century, the field of psychology has faced criticisms related to issues such as publication bias, low statistical power, and the misuse of null hypothesis significance testing. However, it wasn’t until the last decade, following a series of events such as large-scale replication failures, that researchers began to fully recognize the serious consequences of these poor scientific practices. These findings spurred a series of reforms in the field, focused on improving the credibility of the discipline by implementing better scientific practices, such as transparency and bias reduction in research. These scientific reforms are not only applicable to empirical studies but also affect evidence synthesis studies, such as systematic reviews and meta-analyses. The latter are particularly vulnerable to a variety of biases, including publication bias, biases introduced by primary studies, and biases introduced by the researchers themselves. To address these issues, the thesis presents three empirical studies that explore crucial aspects for improving meta-analyses in psychology. The first study analyzes 97 meta-analyses on the benefits of cognitive training programs, a field that has generated some controversy. Problems related to transparency in key aspects, as well as in the reporting of data in general, were identified, making it difficult to reproduce the results. Additionally, a large variability in the eligibility criteria used was observed, indicating that meta-analyses do not follow uniform criteria. When comparing the preregistered protocols of the meta-analyses with the final articles, deviations that were not mentioned in the articles were detected. These shortcomings highlight the need for improving transparency and standardization in this field. The second study examines the use and effectiveness of preregistration in meta-analyses in psychology. Although it was observed that approximately 27% of the meta-analyses published in 2021 were preregistered, many of these preregistrations did not specify crucial aspects of the study, such as the methods for assessing the presence of publication bias. Additionally, when comparing the preregistrations with the final articles, numerous deviations were identified that were neither mentioned nor discussed, which reduces the effectiveness of preregistration as a tool for reducing biases. The third study focuses on the assessment of the quality of primary studies included in meta-analyses of clinical psychology. Areas that could be improved in the way the quality of these studies is evaluated were identified. However, there is a trend toward higher quality in more recent studies. Finally, when analyzing the relationship between the quality of the primary studies and the results of the meta-analyses, we found a considerable discrepancy between our analyses and those carried out by the authors of the meta-analyses. In particular, while we identified an influence of quality on the results, this was rarely reflected in the published meta-analyses. Taken together, the three studies highlight the methodological shortcomings present in meta-analyses in psychology and offer recommendations for addressing them, promoting improvements in transparency, the use of preregistration, and establishing guidelines for more rigorous assessments of the quality of primary studies