Addressing limitations of machine learning applications in single-cell RNA sequencing: Confidence estimation and classification via continual learning

This dissertation focuses on improving machine learning methods for the analysis of single cell RNA sequencing (scRNA-seq) data. Modern biological technologies can measure the activity of thousands of genes in millions of individual cells, generating extremely large and complex datasets. Researchers increasingly rely on machine learning methods to analyze these data and identify meaningful biological patterns. However, these methods also introduce important challenges related to reliability, interpretability, and scalability.

The first part of this dissertation investigates the reliability of low-dimensional visualizations commonly used in single-cell data analysis. These visualization methods simplify highly complex biological data into two-dimensional representations that researchers use to identify cell populations and explore biological relationships. However, information is inevitably lost during this simplification process, and some cells may appear in misleading positions in the visualization.

To address this problem, this dissertation introduces a method to estimate confidence scores for individual samples in low-dimensional embeddings. Instead of assuming that all regions of a visualization are equally reliable, the proposed approach identifies which samples are represented more faithfully and which may require caution. The research further demonstrates that these confidence scores can improve downstream analysis tasks. For example, filtering low-confidence samples before clustering can improve the identification of cell populations.

The second part of this dissertation focuses on continual learning, a type of machine learning in which models learn incrementally from new data over time. This is important because biological datasets are often collected in multiple stages by different laboratories and institutions. In addition, the rapidly increasing size of these datasets can make it difficult or even impossible to process them all at once on standard computers due to memory limitations. Retraining models from the beginning every time new data become available is computationally expensive and may create practical limitations related to memory usage and data sharing.

This dissertation demonstrates that continual learning approaches can process large biological datasets incrementally while maintaining strong predictive performance. In addition, a new training strategy is introduced in which the order of training samples is guided by confidence estimates. Interestingly, presenting more uncertain samples earlier during training improved model performance in several experiments.

Overall, this dissertation contributes methods that improve the reliability, interpretability, and scalability of machine learning approaches for single-cell biological data analysis. These methods may support future biomedical research by enabling scientists to analyze increasingly large and complex datasets more effectively, potentially contributing to improved understanding of diseases and more personalized healthcare approaches.

___

Dit proefschrift richt zich op het verbeteren van machine learning-methoden voor de analyse van single-cell RNA-sequencing (scRNA-seq)-data. Moderne biologische technologieën kunnen de activiteit van duizenden genen meten in miljoenen individuele cellen, waardoor zeer grote en complexe datasets ontstaan. Onderzoekers maken steeds vaker gebruik van machine learning-methoden om deze gegevens te analyseren en betekenisvolle biologische patronen te identificeren. Deze methoden brengen echter ook belangrijke uitdagingen met zich mee op het gebied van betrouwbaarheid, interpreteerbaarheid en schaalbaarheid.

Het eerste deel van dit proefschrift onderzoekt de betrouwbaarheid van laag-dimensionale visualisaties die vaak worden gebruikt in single-cell data-analyse. Deze visualisatiemethoden vereenvoudigen zeer complexe biologische data tot tweedimensionale representaties die onderzoekers gebruiken om celpopulaties te identificeren en biologische relaties te verkennen. Tijdens dit vereenvoudigingsproces gaat echter onvermijdelijk informatie verloren, waardoor sommige cellen op misleidende posities in de visualisatie kunnen verschijnen.

Om dit probleem aan te pakken introduceert dit proefschrift een methode om betrouwbaarheidsscores te schatten voor individuele samples in laag-dimensionale embeddings. In plaats van aan te nemen dat alle delen van een visualisatie even betrouwbaar zijn, identificeert de voorgestelde methode welke samples nauwkeuriger worden weergegeven en welke met voorzichtigheid geïnterpreteerd moeten worden. Het onderzoek laat verder zien dat deze betrouwbaarheidsscores downstream-analysetaken kunnen verbeteren. Zo kan het filteren van samples met lage betrouwbaarheid vóór clustering leiden tot een betere identificatie van celpopulaties.

Het tweede deel van het proefschrift richt zich op continual learning, een vorm van machine learning waarbij modellen stapsgewijs leren van nieuwe data over de tijd heen. Dit is belangrijk omdat biologische datasets vaak in meerdere fasen worden verzameld door verschillende laboratoria en instellingen. Daarnaast maakt de snel toenemende omvang van deze datasets het moeilijk of zelfs onmogelijk om alle data tegelijkertijd te verwerken op standaardcomputers vanwege beperkingen in het geheugen. Het opnieuw trainen van modellen vanaf het begin telkens wanneer nieuwe data beschikbaar komen is computationeel kostbaar en kan praktische beperkingen veroorzaken met betrekking tot geheugengebruik en het delen van data.

Dit proefschrift toont aan dat continual learning-methoden grote biologische datasets incrementeel kunnen verwerken terwijl goede prestaties behouden blijven. Daarnaast wordt een nieuwe trainingsstrategie geïntroduceerd waarbij de volgorde van trainingssamples wordt gestuurd door betrouwbaarheidsscores. Opvallend genoeg leidde het eerder presenteren van samples met een hogere mate van onzekerheid tijdens de training tot betere modelprestaties in verschillende experimenten.

In het algemeen draagt dit proefschrift methoden aan die de betrouwbaarheid, interpreteerbaarheid en schaalbaarheid van machine learning-benaderingen voor single-cell biologische data-analyse verbeteren. Deze methoden kunnen toekomstig biomedisch onderzoek ondersteunen door onderzoekers in staat te stellen steeds grotere en complexere datasets effectiever te analyseren, wat op langere termijn kan bijdragen aan een beter begrip van ziekten en meer gepersonaliseerde gezondheidszorg.