Identificación de la calidad en las publicaciones de investigación educativa: proyecto europeo sobre los indicadores de calidad en la investigación educativa (EERQI)

Abstract

The EERQI project was motivated by the fact that the international notion of scientific quality as being the main determinant on which research is funded and supported may cause undesired side effects, if the questions of how quality is interpreted and how it is measured are not adequately answered. Current instruments for 'measuring' quality via citation counting and similar methods do cause such side effects, as they are strongly biased and largely inadequate for research in the Social Sciences and Humanities. The EERQI project developed an approach to detect the quality of research texts - with educational research serving as model case for Social Sciences and Humanities (SSH) - by applying an intelligent combination of different approaches that complement each other. This is what we call the EERQI Prototype Framework. It consists of products and methods that can serve as alternatives in processes of assessment of quality in SSH research. The possibility of multilingual assistance of assessment processed by EERQI's multilingual search engine and automatic semantic analysis are tailor-made for strengthening the European research space. The EERQI products and methods consist of: - A content base with educational research texts in four European languages that were exemplary included in the EERQI project: English, German, French and Swedish. - A multilingual search engine that includes query expansion: an effective tool dedicated to educational research in general, capable of finding educational research texts in the Web in the four EERQI languages. - An automatic semantic analysis for the detection of key sentences in a text; the method is applicable to educational research publications (in at least) the four EERQI languages. - A combination of bibliometric/ webometric approaches for the detection of 'extrinsic' quality indicators (tool aMeasure). - First tests of a citation analysis method that has the potential to be further developed for the application to educational research (and other SSH) texts. - A set of text-immanent indicators for the detection of quality in educational research publications that has been presented to the research community and was positively evaluated. - An accompanying peer review questionnaire that was tested for reliability and practicality. - A set of use-case scenarios that give advice on how to use which resp. combination of the above-mentioned tools. - First attempts to detect interrelations between 'extrinsic' and 'intrinsic' quality indicators.

El proyecto EERQI surge porque la noción internaciona de calidad científica (como principal determinante sobre el que se financia y apoya cualquier investigación) puede causar efectos secundarios no deseados si no se responde adecuadamente la pregunta de ¿Cómo se interpreta y mide la calidad? Los instrumentos actuales de "medición" de la calidad a través de la contabilidad de citas y otros métodos similares causan graves efectos secundarios, pues están muy sesgados y resultan inadecuados para la investigación en las Ciencias Sociales y Humanidades.El proyecto EERQI ha desarrollado un método para detectar la calidad de los textos de investigación -con la investigación educativa como modelo para las Ciencias Sociales y Humanidades (CCSSHH)- mediante la aplicación de una combinación inteligente de diferentes enfoques que se complementan entre sí. Es esto lo que llamamos el Marco Prototipo EERQI, y se compone de productos y métodos que pueden servir como alternativas en los procesos de evaluación de la calidad en la investigación en las CCSSHH. La posibilidad de asistencia multilingüe de evaluación elaborada por el motor de búsqueda multilingüe y análisis semántico automático de EERQI están hechos a medida para que se produzca un fortalecimiento del espacio europeo de investigación. Los productos y métodos EERQI son los siguientes:- Una base de contenido con textos de investigación educativa en cuatro idiomas europeos que fueron la muestra incluida en el proyecto EERQI: inglés, alemán, francés y sueco.- Un motor de búsqueda multilingüe que incluye la ampliación de consultas: una herramienta eficaz dedicada a la investigación educativa en general, capaz de encontrar textos de investigación educativa en la Web en los cuatro idiomas de EERQI.- Un análisis semántico automático para la detección de frases clave en un texto. El método es aplicable a las publicaciones de investigación en educación en al menos los cuatro idiomas de EERQI.- Una combinación de métodos bibliométricos / webométricos para la detección de indicadores "extrínsecos" de calidad (herramienta aMeasure).- Las primeras pruebas de un método de análisis de citas que tiene el potencial de desarrollarse para la aplicación a textos de investigación educativa (y otras CCSSHH).- Un conjunto de indicadores de texto inmanente para la detección de la calidad en las publicaciones de investigación educativa que se ha presentado a la comunidad científica y evaluado positivamente.- Un cuestionario de revisión por expertos del que se ha testado su fiabilidad y funcionalidad.- Un conjunto de escenarios de casos de uso que aportan consejos sobre cómo utilizar cualquier combinación de las herramientas antes mencionadas.- Primeros intentos para detectar las interrelaciones entre indicadores de calidad "extrínsecos" y "intrínsecos".