Statistical Methodology of Reliability Generalization Meta-Analysis

Abstract

Una parte fundamental de las ciencias sociales y de la salud como la Psicología es cuantificar las capacidades, los rasgos o los atributos psicológicos con los que cuentan las personas. Para que esta cuantificación sea verdaderamente representativa y pueda ser útil, es necesario que el proceso de medición sea preciso y se realice a través de instrumentos de medida bien construidos y contrastados. Uno de los mínimos imprescindibles que se deben cumplir es que la medición sea fiable, es decir, que las diferentes aplicaciones del instrumento arrojen resultados concordantes. La fiabilidad es una propiedad psicométrica que representa el grado de replicabilidad de las puntuaciones de un instrumento. La fiabilidad no es intrínseca del instrumento, por lo que para conseguir elevar ese valor al test en sí mismo es necesario aplicar otras técnicas y métodos estadísticos que lo permitan. De esta forma, Vacha-Haase en 1998 desarrolló el concepto del Meta-análisis de Generalización de la Fiabilidad (GF), haciéndose valer de la metodología meta-analítica (la mejor herramienta para la síntesis de la evidencia empírica) para generalizar los resultados de fiabilidad de las múltiples aplicaciones de un test. Esta técnica es especialmente importante ya que los resultados individuales de los estudios primarios suelen aportar diferentes conclusiones y, en ocasiones, hasta contradictorias. La integración de todos los resultados experimentales en un mismo campo de estudio proporciona una visión más globalizada y realista del efecto verdadero. Una ventaja de esta metodología es su flexibilidad y la ausencia de un protocolo estricto. Esto implica que cada investigador debe tomar las decisiones estadísticas oportunas en función de los datos con los que cuente y la capacidad de generalización de sus resultados. Como mínimo, en un meta-análisis GF hay que tomar tres decisiones fundamentales: el método de transformación de los coeficientes, el modelo estadístico asumido y el método de ponderación aplicado. Cabe destacar que la forma convencional utilizada en el meta-análisis GF no tiene en cuenta las posibles relaciones de dependencia que pudieran surgir. Cuando un test tiene una estructura multidimensional con varias subescalas, todas formando parte de un mismo constructo psicológico, esta dependencia puede aparecer. Tradicionalmente para acabar con estas redes de dependencia, lo que se ha propuesto es dividir cada subescala en meta-análisis independientes. Esta estrategia no es la más adecuada, ya que los resultados que se obtienen son menos precisos y los análisis estadísticos pierden potencia (Assink & Wibbelink, 2016; Van den Noortgate et al., 2013). Una alternativa es tratar de modelar la dependencia aplicando modelos multinivel. Aunque la naturaleza de esta metodología permite utilizar cualquier estrategia analítica, ya sea de manera tradicional, o aplicando modelos multinivel, resulta imprescindible que esta se reporte minuciosamente, especificando cada una de las decisiones que se han tomado para obtener dichos resultados. Esta tesis presenta tres objetivos fundamentales: el primer objetivo lo encontramos en el primer estudio de esta tesis (Capítulo 2) donde se compara estadísticamente los resultados obtenidos basándonos en las diferentes decisiones estadísticas (transformación de coeficientes, modelo estadístico y método de ponderación). De esta forma, se determinará si diferentes decisiones pueden dar lugar a diferentes conclusiones. El segundo estudio de la tesis (Capítulo 3) tratará de comprobar el grado de reproducibilidad de este tipo de estudios, así como el nivel de transparencia y reporte de la información fundamental para repetir los análisis. Por último, el tercer estudio (Capítulo 4) buscará conocer las diferencias entre los resultados obtenidos aplicando la metodología convencional de un meta-análisis GF que abole las posibles relaciones de dependencia y la metodología del modelo multinivel, que las integra y modela.

Quantifying the psychological capacities, traits or attributes of individuals is a fundamental part of social and health sciences such as psychology. To ensure that this quantification is truly representative and useful, the assessment process must be precise and be carried out using well-constructed and contrasted measurement instruments. One of the minimum requirements to be met is that the measurement should be reliable, that is to say, that the different applications of the instrument should yield consistent. Reliability is a psychometric property that represents the degree of replicability of the scores of an instrument. Reliability is not inherent to the instrument, so in order to raise this value to the test itself it is necessary to apply other techniques and statistical methods that allow it. Thus, Vacha-Haase in 1998 developed the concept of the Reliability Generalization Meta-analysis (RG), making use of the meta-analytic methodology (the best tool for the synthesis of empirical evidence) to generalize the reliability results of multiple applications of a test. This technique is particularly important as individual results from primary studies often provide different and even contradictory conclusions. The integration of all experimental results within a single field of study provides a more comprehensive and realistic view of the true effect. An advantage of this methodology is its flexibility and the absence of a strict protocol. This implies that each researcher must make the appropriate statistical decisions depending on the data available and the generalizability of the results. At least three fundamental decisions should be made in An RG meta-analysis: the transformation of the coefficients, the statistical model used and the weighting method applied.

The conventional approach applied in an RG meta-analysis does not consider the possible dependency relationships. When a test has a multidimensional structure with several subscales, all forming part of the same psychological construct, this dependency may arise. Traditionally, in order to avoid these dependency networks, separate meta-analyses were carried out for each subscale. This practice is not particularly suitable because by selecting only a part of the available data, the results obtained are less accurate and the statistical analyses are less powerful (Assink & Wibbelink, 2016; Van den Noortgate et al., 2013). An alternative way to model dependence in meta-analyses is the application of multilevel models. Although the nature of this methodology allows any analytical strategy to be employed, either in a traditional way or applying multilevel models, detailed reporting is essential, specifying each of the decisions that were taken to obtain these results. This dissertation presents three fundamental objectives: the first aim is found in the first study (Chapter 2) where the results obtained based on the different statistical decisions (coefficient transformation, statistical model and weighting method) are statistically compared. In this way, it will be determined whether different decisions can lead to different conclusions. The second study (Chapter 3) will assess the degree of reproducibility of these studies, as well as the level of transparency and reporting of key information for the reproducibility of the analyses. Finally, the third study (Chapter 4) will examine the differences between the results obtained by applying the conventional methodology of a GF meta-analysis, which avoids possible dependency relationships, and the methodology of the multilevel model, which integrates and models dependency.