Time Series Analysis Using Convolutional Neural Networks

Research output: ThesisDoctoral Thesis

74 Downloads (Pure)

Abstract

Data zijn essentieel geworden in moderne technologie en versnellen ontwikkelingen in talrijke domeinen. Data zijn vooral van belang voor technieken die gebruik maken van machine learning en deep learning. Een belangrijk onderwerp binnen de datawetenschappen is tijdreeksanalyse, dat zich richt op het onderzoeken van datapunten die zijn geregistreerd op specifieke tijdstippen. Tijdreeksdata zijn wijdverspreid en komen voor in diverse toepassingen zoals het voorspellen van financiële markten, weersvoorspellingen en sensorgegevens in IoT-apparaten. Het vermogen om tijdreeksdata efficiënt te analyseren en te modelleren is cruciaal voor het maken van nauwkeurige voorspellingen en voor het nemen van goed geïnformeerde beslissingen. In dit proefschrift onderzoeken we de toepassing van Convolutional Neural Networks (CNNs) die specifiek zijn ontworpen voor tijdreeksdata afkomstig van sensoren. Ons onderzoek omvat een verscheidenheid aan CNN-architecturen, variërend van eendimensionale modellen met wide kernels in de eerste laag tot ensemblemethoden zoals Graph Convolutional Networks (GCN) en hybride combinaties van 1D- en 2D-CNNs met gebruik van residueel leren. De modellen werden in verschillende domeinen toegepast op tijdreeksclassificatie- en regressietaken, zoals het detecteren van industriële fouten en het analyseren van seismische activiteiten, met gebruik van diverse datasets, elk met verschillende kenmerken. Onze bevindingen tonen aan dat CNN-architecturen met een wide-kernel (ontworpen om ruwe tijdreeksdata te verwerken) beter presteren dan andere geavanceerde oplossingen en traditionele machine learning toepassingen. Deze modellen zijn niet alleen effectief, maar vereisen ook weinig rekenkracht, waardoor ze geschikt zijn voor edge computing en het verwerken van streamingdata. In het bijzonder blijkt dat het verwerken van multivariabele tijdreeksen, gescheiden maar in parallel, het optimale resultaat biedt. Daarnaast hebben we aangetoond dat het gebruik van een op grafen gebaseerde architectuur om spatiële data te verwerken, samen met temporele dataverwerking, de prestaties verbetert in het seismische domein. Een domein dat wordt gekenmerkt door uitgebreide netwerken van seismische sensoren. Verder hebben wij architecturale optimalisaties onderzocht, met de focus op adaptieve inputverwerking en residueel leren om de modelprestaties te verbeteren zonder de rekentijd aanzienlijk te verhogen en zonder dat daarbij een verhoogd risico op overfitting ontstaat. Deze optimalisaties leidden tot verdere prestatieverbeteringen en bieden waardevolle richtlijnen voor het modelleren van CNNs voor tijdreeksdata. Daarnaast voerden we een uitgebreide hyperparameteranalyse uit op de wide-kernel architectuur, waaruit bleek dat de filters in de latere lagen van het model en de breedte van de kernel in de eerste laag de meeste invloed hebben op de prestaties. Als gevolg ontwikkelden wij een stapsgewijze procedure voor het afstemmen van de hyperparameters, waardoor de noodzaak van langdurige grid search vervalt. Tevens, hebben we de effectiviteit van transfer learning onderzocht en aangetoond dat voorgetrainde modellen de prestaties aanzienlijk kunnen verbeteren bij zowel tijdreeksregressie- als classificatietaken. Samenvattend biedt deze thesis waardevolle inzichten in het ontwerpen van CNN-modellen voor tijdreeksdata, waarbij het belang van de modelarchitectuur, correcte hyperparametertuning en het potentieel van transfer learning in detail is onderzocht. Hoewel er aanzienlijke vooruitgang is geboekt, blijft het veld van deep learning zich snel ontwikkelen, wat verdere innovaties belooft in de verwerking van tijdreeksen.

_


Data has become essential in modern technology, accelerating progress in numerous domains, with techniques using machine learning and deep learning. A significant field within data science is time series analysis, which concentrates on examining data points gathered or recorded at particular time intervals. Time series data are widespread, appearing in applications such as financial markets, weather fore casting, and sensor data in IoT devices. The capability to efficiently analyse and model time series data is vital for making precise predictions and well-informed decisions. In this work, we explore the application of Convolutional Neural Networks (CNNs) specifically designed for time series data retrieved from sensors. Our research encompassed a variety of CNN architectures, from one-dimensional models with wide kernels in the first convolutional layer, to ensemble approaches like graph convolutional networks and hybrid combinations of 1D and 2D CNNs utilising residual learning. The models were assessed on tasks involving time series classification and regression, in detecting industrial faults and analysing seismic activity, utilising diverse datasets, each with distinct characteristics. Our findings indicate that the proposed wide-kernel CNN architectures for industrial fault detection, tailored to process raw time series from sensors, outperform state-of-the-art solutions and traditional machine learning approaches. These models are not only effective but also lightweight in terms of depth and trainable parameters, making them suitable for edge computing and stream data processing. In particular, processing multivariate time series in a univariate manner with separate inputs appears to be the best solution. Additionally, we demonstrated that employing a graphbased architecture to manage spatial data, along with temporal data processing, improves performance in the seismic domain characterised by extensive seismic sensor networks. Further architectural optimisations were investigated, focusing on adaptive input layers and residual learning to enhance model performance with- out significantly increasing computation time or risk overfitting. These optimisations demonstrated additional performance improvements, providing valuable guidelines for practitioners in CNN modelling specified for time series. Additionally, we conducted an extensive hyperparameter analysis on wide-kernel CNNs, revealing that the filters in the later convolutional layers and the kernel size in the first layer are most influential on model performance. This led to the development of a sequence of steps for hyperparameter tuning, reducing the need for exhaustive grid searches. Furthermore, we examined the efficacy of transfer learning, showing that pre-trained models can significantly enhance performance in both time series regression and classification tasks. In summary, this thesis provides valuable insight into CNN models for time series data, highlighting the importance of the model architecture, proper hyperparameter tuning and the potential of transfer learning. While significant advances have been made, the field of deep learning continues to evolve rapidly, promising further innovations in time series processing.
Original languageEnglish
Award date14 Jan 2025
DOIs
Publication statusPublished - 14 Jan 2025

Fingerprint

Dive into the research topics of 'Time Series Analysis Using Convolutional Neural Networks'. Together they form a unique fingerprint.

Cite this