Multi-objective evolutionary feature selection with deep learning applied to air quality spatio-temporal forecasting

Abstract

Objetivos El objetivo principal es desarrollar técnicas de selección de atributos eficientes y eficaces para el deep learning mediante algoritmos evolutivos multi-objetivo y aplicación de los métodos creados para la predicción de series temporales en diferentes áreas de interés. Este objetivo general se divide en los siguientes objetivos específicos: - Desarrollar una metodología completa y aplicar un proceso de toma de decisiones multicriterio para la comparación y evaluación de modelos predictivos de previsión de series temporales. - Estudiar, diseñar y desarrollar un enfoque evolutivo multi-objetivo basado en características espacio-temporales dentro de la Comunidad Autónoma de Murcia. - Definir problemas de optimización multi-objetivo para la selección de atributos, con objetivos de distinta naturaleza, tanto filter como wrapper. - Resolver los problemas de optimización propuestos identificando los mejores algoritmos evolutivos multi-objetivo del estado del arte y desarrollando enfoques asistidos por sustitutos para reducir el coste computacional de los algoritmos. - Identificar métricas para cuantificar la variabilidad entre los enfoques asistidos por sustitutos y facilitar el establecimiento de análisis cualitativos. - Evaluar, validar y comparar los métodos de selección de atributos desarrollados con datos de series temporales para la predicción de la calidad del aire en el contexto de la Comunidad Autónoma de Murcia, así como en otras localizaciones geográficas y en otros problemas de predicción de series temporales en aras de la verificación de la generalización. Metodología En el transcurso de esta tesis se ha desarrollado una metodología genérica y nuevas métricas para la comparación de modelos de machine learning y deep learning, estableciendo así el mejor modelo para usar en un problema determinado de series temporales. Se ha diseñado un proceso de toma de decisiones multicriterio que tiene en cuenta la exactitud y robustez del RMSE, MAE y CC de los modelos, y reúne estos criterios en una única métrica ponderada denominada goodness. Se ha propuesto una nueva técnica fundamentada en las propiedades espacio-temporales de los datos para inferir información de zonas de las que no se tienen datos. Para ello, se ha formalizado el problema de predicción de calidad del aire como un problema de optimización multi-objetivo. Los algoritmos evolutivos multi-objetivo evaluados han sido: NSGA-II, MOEA/D y SPEA2. Los frentes de Pareto resultantes del algoritmo evolutivo son la entrada para construir un modelo de aprendizaje ensemble. Se han utilizado los siguientes algoritmos de aprendizaje para entrenar el modelo ensemble: RF, LR, SVM, QRNN, KNN y ZeroR. Por otra parte, se han formalizado problemas de optimización con hasta cuatro objetivos, basados en métodos filter, wrapper e híbridos, para realizar la selección de atributos. Gracias a un modelo sustituto, este método permite el uso de modelos de deep learning como algoritmo de aprendizaje de un método wrapper pero sin el inconveniente del elevado coste computacional que ello conlleva. Se ha estudiado cuál es el mejor algoritmo evolutivo multi-objetivo entre NSGA-II, NSGA-III, MOEA/D, SPEA2, IBEA, ε-NSGA-II y ε-MOEA, y el rendimiento de las predicciones con un modelo sustituto basado en una red neuronal LSTM. Adicionalmente, se propone una nueva métrica multicriterio de rendimiento, H, la cual permite ajustar la importancia de las métricas que la forman. También se ha evaluado el comportamiento del uso de múltiples modelos sustitutos para lograr una mejor capacidad de generalización de los modelos predictivos tanto en problemas de regresión como de clasificación. Se ha desarrollado una métrica para establecer un análisis cualitativo de los métodos desarrollados. En los enfoques descritos anteriormente, el modelo sustituto mantiene siempre la misma información que al principio del método. Esto no tiene en cuenta la información subyacente obtenida durante el transcurso del algoritmo evolutivo. Por este motivo, se han propuesto dos enfoques para actualizar el modelo sustituto, uno basado en el aprendizaje incremental y otro basado en la actualización de la base de datos y la construcción de un nuevo modelo sustituto. Conclusiones Las principales conclusiones derivadas de esta tesis tras el desarrollo y ejecución de todos los experimentos planteados son las siguientes: - La adopción de una metodología completa para la evaluación y comparación de algoritmos de aprendizaje ha permitido obtener resultados unificados y adaptados para resolver cualquier problema de predicción con series temporales. - Las redes neuronales recurrentes, como LSTM y GRU, han sido capaces de captar la complejidad de las series temporales y construir modelos predictivos precisos y fiables. Entre las técnicas de machine learning analizadas, RF ha presentado un rendimiento satisfactorio cuando se aplica a la predicción de series temporales. - Un proceso de toma de decisiones multicriterio ha permitido agrupar varias métricas de rendimiento y establecer una comparación más adecuada entre diferentes algoritmos de aprendizaje en el contexto de problemas de pronóstico de series temporales. - Para el pronóstico de la calidad del aire con series temporales en una zona de la que no se dispone de información, la predicción se ha aproximado con algoritmos evolutivos multi-objetivo utilizando las previsiones de otras zonas geográficamente cercanas. - Los algoritmos evolutivos multi-objetivo asistidos por sustitutos han permitido la selección de atributos en problemas costosos como la predicción de series temporales basada en deep learning. - El uso de un MOEA asistido por sustitutos con un algoritmo de aprendizaje profundo para la selección de atributos ha conseguido encontrar un subconjunto satisfactorio de atributos en un tiempo computacional más corto en comparación con un método de selección de atributos de tipo wrapper convencional. - Entre todos los MOEAs estudiados, NSGA-II es el que mejores resultados ha obtenido en términos de hipervolumen, en comparación con otros MOEAs del estado del arte. - El enfoque de control de la evolución fija basado en la generación de elementos permite añadir información de forma eficiente a los modelos sustitutos dentro del proceso de selección de atributos. - Se han identificado modelos de predicción en diversos contextos reales (Polonia, Murcia, Valencia) que potencialmente permiten realizar previsiones en un futuro próximo y que pueden ayudar a las instituciones a tomar decisiones en materia medioambiental.

Objetives The general objective is to develop efficient and effective feature selection techniques for deep learning through multi-objective evolutionary algorithms and application of the created methods for time series forecasting in different areas of interest. This general objective has been broken down into the following specific objectives: - Develop a comprehensive methodology and implement a multi-criteria decision-making process for the comparison and evaluation of predictive models for time series forecasting. - Study, design and develop a multi-objective evolutionary approach based on spatio-temporal characteristics within the Autonomous Region of Murcia. - Define multi-objective optimization problems for feature selection, with objectives of different nature, both filter and wrapper. - Solve the proposed optimization problems by identifying the best state-of-the-art multi-objective evolutionary algorithms and developing surrogate-assisted approaches to reduce the computational cost of the algorithms. - Identify metrics to quantify the variability between surrogate-assisted approaches and facilitate the establishment of qualitative analysis. - Evaluate, validate and compare the developed feature selection methods with time series data for air quality forecasting in the context of the Autonomous Region of Murcia, as well as in other geographic locations and in other time series forecasting problems for the sake of generalization verification. Methodology In the course of this thesis, a generic methodology and new metrics have been developed for the comparison of machine learning and deep learning models, thus establishing the best model to use for a given time series problem. A multi-criteria decision-making process has been designed that takes into account the accuracy and robustness of the RMSE, MAE and CC of the models, and gathers these criteria into a single weighted metric called goodness. A new technique based on the spatio-temporal properties of the data has been proposed to infer information from areas for which no data are available. For this purpose, an air quality prediction problem has been formalized as a multi-objective optimization problem. The multi-objective evolutionary algorithms evaluated have been: NSGA-II, MOEA/D and SPEA2. The Pareto fronts resulting from the evolutionary algorithm are the input to build an ensemble learning model. The following learning algorithms have been used to train the ensemble model: RF, LR, SVM, QRNN, KNN and ZeroR. On the other hand, optimization problems with up to four objectives, based on filter, wrapper and hybrid methods, have been formalized to perform feature selection. Thanks to a surrogate model, this method allows the use of deep learning models as a learning algorithm of a wrapper method but without the drawback of the high computational cost involved. The multi-objective evolutionary algorithms NSGA-II, NSGA-III, MOEA/D, SPEA2, IBEA, ε-NSGA-II and ε-MOEA have been studied, and the prediction performance with a surrogate model based on a LSTM neural network. Additionally, a new multi-criteria performance metric, H, is proposed, which allows adjusting the importance of the metrics that form it. The performance of using multiple surrogate models to achieve better generalization capability of predictive models in both regression and classification problems has also been evaluated. A metric has been developed to establish a qualitative analysis of the developed methods. In the approaches described above, the surrogate model always maintains the same information as at the beginning of the method. This does not take into account the underlying information obtained during the course of the evolutionary algorithm. For this reason, two approaches have been proposed to update the surrogate model, one based on incremental learning and the other based on updating the database and building a new surrogate model. Conclusions The main conclusions drawn from this thesis after the execution of all the experiments are as follows: - The adoption of a complete methodology for the evaluation and comparison of learning algorithms has allowed to obtain unified and adapted results in order to solve any prediction problem with time series. - Recurrent neural networks, such as LSTM and GRU, have been able to capture the complexity of time series and build accurate and reliable predictive models. Among the analyzed machine learning techniques, RF has presented a satisfactory performance when applied to time series forecasting. - A multi-criteria decision-making process has allowed to pool several performance metrics and to establish a more appropriate comparison between different learning algorithms in the context of time series forecasting problems. - For air quality forecasting with time series in an area for which no information is available, the prediction has been approximated with multi-objective evolutionary algorithms using forecasts from other geographically nearby areas. - Surrogate-assisted multi-objective evolutionary algorithms has allowed feature selection in expensive problems such as time series forecasting based on deep learning. - The use of a surrogate-assisted MOEAs with a deep learning algorithm for feature selection has managed to find a satisfactory subset of features in a shorter computational time compared to a conventional wrapper-type feature selection method. - Among all the MOEAs studied, NSGA-II is the one that has obtained the best results in terms of hypervolume, compared to other MOEAs of the state of the art. - Generation-based fixed evolution control approach allows information to be efficiently added to surrogate models within the feature selection process. - Prediction models have been identified in various real contexts (Poland, Murcia, Valencia) that potentially allow forecasting in the near future and that can help institutions to make decisions on environmental issues.