Ad hoc procedure for optimising agreement between observational records

Abstract

Observational studies in the field of sport are complicated by the added difficulty of having to analyse multiple, complex events or behaviours that may last just a fraction of a second.In this study, we analyse three aspects related to the reliability of data collected in such a study. The first aim was to analyse and compare the reliability of data sets assessed quantitatively (calculation of kappa statistic) and qualitatively (consensus agreement method). The second aim was to describe how, by ensuring the alignment of events, we calculated the kappa statistic for the order parameter using SDIS-GSEQ software (version 5.1) for data sets containing different numbers of sequences. The third objective was to describe a new consultative procedure designed to remove the confusion generated by discordant data sets and improve the reliability of the data. The procedure is called “consultative” because it involves the participation of a new observer who is responsible for consulting the existing observations and deciding on the definitive result.

Habitualmente, los estudios observacionales desarrollados en el ámbito deportivo, se encuentran con la dificultad añadida que supone la elevada complejidad de las diferentes conductas que constituyen el registro, así como de la velocidad a la que éstas se suceden. El presente trabajo pretende satisfacer tres objetivos en relación con la fiabilidad de los datos observacionales. El primero consiste en implementar de forma conjunta en un mismo estudio, para facilitar así su comparación, formas de concordancia cuantitativa (coeficiente kappa de Cohen) y cualitativa (concordancia por consenso). El segundo persigue detallar el proceso de obtención del coeficiente kappa de Cohen, bajo el parámetro orden -mediante el software SDIS-GSEQ, versión 5.1.-con paquetes de datos constituidos por un número diferente de secuencias, incidiéndose en la forma en la que se garantiza su alineación. En el tercer objetivo, que persigue superar la confusión generada por dos registros diferentes, se presenta un procedimiento de me-jora de la fiabilidad del dato. El procedimiento ha sido denominado “consultivo”, al ser un nuevo observador el que determina qué conducta de las registradas es la que verdaderamente ha tenido lugar y, por lo tanto, procede incluir en el registro definitivo.