Research synthesis : challenges, reproducibility and future directions

Abstract

Los proyectos de síntesis de investigación desempeñan un papel indispensable en el proceso científico, ordenando la vasta cantidad de evidencia disponible, convirtiendo piezas individuales de evidencia en un cuerpo coherente de conocimiento sobre un tema específico. Dado este papel prominente, los resultados y conclusiones de estos proyectos tienen una mayor relevancia e impacto en comparación con los de estudios individuales. Por tanto, es esencial prestar atención a las prácticas de investigación y a la credibilidad de estos. En la presente tesis doctoral, profundizamos en varios aspectos de las prácticas de investigación y la credibilidad de los proyectos de síntesis de investigación. El primer estudio (Capítulo 2) se centró en evaluar la prevalencia de prácticas de reporte relacionadas con la transparencia y la reproducibilidad en proyectos de síntesis de investigación. El segundo estudio (Capítulo 3) se centró en la reproducibilidad de los resultados meta-analíticos reportados en estos proyectos. Por último, el tercer estudio (Capítulo 4) exploró la potencia estadística de la síntesis meta-analítica cuando se asume un modelo de efectos aleatorios. Los tres estudios se llevaron a cabo utilizando una muestra aleatoria de 100 proyectos de síntesis de investigación publicados sobre la efectividad de intervenciones de psicología clínica. En el primer estudio, se examinó exhaustivamente todo el proceso de esta muestra, desde la búsqueda de literatura hasta los métodos de síntesis. Se encontraron problemas importantes relacionados con la reproducibilidad de los procedimientos de búsqueda de la literatura, la especificación del método exacto para calcular los tamaños de efecto o la elección de factores de ponderación y estimadores de heterogeneidad. Además, también se examinó la disponibilidad de datos y se encontró una falta de disponibilidad de los datos utilizados para calcular los tamaños de efecto, así como una falta de interoperabilidad de los datos disponibles. En el segundo estudio, profundizamos en el problema de la disponibilidad de datos en proyectos de síntesis de investigación. Específicamente, evaluamos la reproducibilidad de los resultados meta-analíticos reportados en estos trabajos. Nuestros resultados indicaron que las prácticas actuales de compartimiento de datos dificultan significativamente la reutilización y recuperación de los datos recopilados durante un proyecto de síntesis de investigación. Esta falta de datos accesibles surgió como una de las amenazas más significativas para la reproducibilidad de los resultados meta-analíticos. Los resultados del tercer estudio han mostrado casos en los que la síntesis meta-analítica de efectos aleatorios podría tener una potencia estadística insuficiente. Normalmente, la síntesis meta-analítica es extremadamente útil, proporcionando estimaciones más precisas y habilitando pruebas estadísticas más potentes. Sin embargo, en circunstancias específicas, este tipo de síntesis puede proporcionar resultados menos informativos. Si bien esto destaca una limitación de la síntesis meta-analítica en algunos escenarios, no se aplica a la síntesis de investigación en su conjunto; más bien, es un resultado específico de esta última. En resumen, enfatizamos el papel de la síntesis de investigación como organizadora del espacio de investigación

Research synthesis projects play an indispensable role in the scientific process as they bring order to the vast array of scientific evidence, organizing individual pieces of evidence into a coherent body of knowledge on a specific topic. Given this prominent role, the results and conclusions of research synthesis projects carry greater relevance and impact compared to those of individual studies. Therefore, it is essential to keep an eye on the research practices and credibility of research synthesis projects. In this dissertation, we delve into various aspects of research practices and the credibility of research synthesis projects. The first study (Chapter 2) focused on assessing the prevalence of transparency and reproducibility-related reporting practices in research synthesis projects. The second study (Chapter 3) focused on reproducibility of meta-analytic results reported on these projects. Lastly, the third study (Chapter 4) explored the statistical power of meta-analytic synthesis when assuming a random-effects model. All three studies were carried out using a random sample of 100 published research synthesis projects on effectiveness of clinical psychological interventions. In the first study, we comprehensively examined the entire process of a sample of research synthesis projects, from literature searching to synthesis methods. We found major issues concerning completely reproducible search procedures report, specification of the exact method to compute effect sizes, or choice of weighting factors and estimators. Additionally, data availability was also examined and found a lack of availability of the statistics used to compute the effect sizes, as well as a lack of interoperability of available data. In the second study, we delved deeper into the issue of data availability in research synthesis projects. Specifically, we assessed the reproducibility of the meta-analytic results reported in these works. Our findings indicated that current data sharing practices significantly hinder the reusability and retrieval of the data collected during a research synthesis project. This lack of accessible data emerged as one of the most significant threats to the reproducibility of meta-analytic results. The results from the third study have shown instances where random-effects meta-analytic averaging could be underpowered. Typically, meta-analytic averaging is extremely useful, providing more precise estimates and enabling more powerful statistical testing. Nevertheless, under specific circumstances, this type of synthesis may yield less informative results. While this highlights a limitation of meta-analytic averaging in some scenarios, it does not apply to research synthesis as a whole; rather, it is a specific outcome of the latter. To summarize, we emphasize the role of research synthesis as an organizer of the research space.