AI in medical imaging for cancer care

The integration of medical imaging and Artificial Intelligence (AI) has transformed numerous areas of clinical practice, from early disease detection and precise diagnosis to personalized treatment planning and enhanced patient outcomes. The primary goal of this research is to extract relevant information from medical images and to develop AI models that assist clinicians and patients in their decision-making processes. This research focused on the development and evaluation of AI models for detecting and segmenting tumors in medical imaging, as well as predicting treatment outcomes for patients with brain metastases and Non-Small Cell Lung Cancer (NSCLC). Through the development of novel machine learning models for aiding tumor diagnosis, segmentation, and treatment response, this work contributed to more personalized, data-driven approaches in radiation oncology, potentially supporting oncologists in clinical decision-making and improving patient outcomes.

In our first study, we conducted a comprehensive review of the factors associated with local control of brain metastases. We aimed to provide a comprehensive overview of factors associated with local control across all treatment types and primary tumor types. Our review showed that higher Stereotactic Radiotherapy (SRT) radiation dose was associated with better local control in lung cancer, breast cancer, and melanoma primary tumors. On the other hand, higher tumor volume was associated with worse local control for the SRT patients. We used the findings of our systematic review to perform feature selection for a Random Forest machine learning algorithm to predict local control for SRT patients. The higher prediction accuracy of the algorithm trained with features selected from our review indicates that our feature selection method could help improve the accuracy of machine learning algorithms. We evaluated the applicability of AI for the automated detection and segmentation of brain metastases in Magnetic Resonance Imaging (MRI) scans in our second study. We evaluated two state-of-the-art deep learning algorithms (nnU-Net and MedNeXt) for the automated segmentation of planning and follow-up MRI scans. The results indicate that incorporating heterogeneous public data enhances the efficiency of the models for follow-up images. Our evaluation showed that these state-of-the-art deep learning algorithms can support clinicians in the detection and segmentation of brain metastases images for treatment planning and treatment response evaluations during follow-ups. Accurately predicting local control of brain metastases before treatment offers a valuable tool for patients and clinicians to facilitate shared decision-making and optimize treatment plans tailored to individual patients. With this objective, in our third study, we evaluated whether an AI model trained with a combination of clinical, hand-crafted radiomics, and deep learning features could predict local control of brain metastases with a performance higher than that of models trained with only a subset of these features. Our study showed that the model trained with the combination of all features predicted local control of brain metastases with a higher accuracy than the other models trained with a subset of these features. Our study also showed that tumor volume is highly correlated with local control after SRT. We also evaluated the performance of the combined model in a completely different clinical setting in our fourth study. We assessed its ability to predict overall survival in non–small cell lung cancer (NSCLC) patients treated with radiotherapy. This evaluation showed that the model trained with the integration of all features exhibited higher performance than the other models trained with only a subset of these features. The study also showed that the feature with the highest correlation with overall survival was WHO performance status. Personalized overall survival prediction before treatment provides a valuable resource for clinicians and patients, supporting shared decision-making and the development of personalized treatment plans tailored to each patient's unique needs and risk profile. Future research could also consider developing software that integrates patient dashboards with the Electronic Patient Dossier (EPD) system. Such an application could query a centralized database to identify patients with similar clinical characteristics and display their treatment histories as well as expected and actual outcomes. These matched cases could be presented through an intuitive user interface, providing oncologists with a decision-support tool that enhances clinical insight and facilitates shared decision-making with patients.

In sum, this thesis provided a detailed exploration of the role of AI in the context of medical imaging for cancer care. The findings of this thesis support the use of AI as a complementary tool in radiation oncology, with the potential to assist clinicians in automated segmentation, treatment planning and outcome prediction, thereby facilitating more informed and personalized decision-making in cancer care.

___

De integratie van medische beeldvorming en artificiële intelligentie (AI) heeft talrijke aspecten van de klinische praktijk getransformeerd, van vroege ziekte-detectie en nauwkeurige diagnose tot gepersonaliseerde behandelplanning en verbeterde patiëntuitkomsten. Met als doel het gebruik van AI in medische beeldvorming voor de kankerzorg te evalueren en verder te ontwikkelen, richtte dit onderzoek zich op het extraheren van relevante informatie uit medische beelden en het ontwikkelen van AI-modellen die clinici en patiënten ondersteunen in hun besluitvormingsprocessen. Concreet hebben wij ons gericht op de ontwikkeling en evaluatie van AI-modellen voor het detecteren en segmenteren van tumoren in medische beeldvorming, evenals op het voorspellen van behandeluitkomsten bij patiënten met hersenmetastasen en niet-kleincellig longcarcinoom (NSCLC). Door de ontwikkeling van nieuwe machine learning-modellen ter ondersteuning van tumor-diagnose, segmentatie en behandelrespons heeft dit werk bijgedragen aan meer gepersonaliseerde en data-gedreven benaderingen in de radiotherapie-oncologie, met als doel oncologen beter te ondersteunen in hun klinische besluitvorming en patiëntuitkomsten te verbeteren.

In de eerste studie, hebben we een uitgebreide systematische review uitgevoerd naar de factoren die samenhangen met lokale controle (LC) van hersenmetastasen. Het doel was een volledig overzicht te geven van LC-gerelateerde factoren over alle behandelingsmodaliteiten en primaire tumortypen heen. De review toonde aan dat een hogere dosis stereotactische radiotherapie (SRT) geassocieerd was met betere LC bij patiënten met longkanker, borstkanker en melanoom als primair tumortype. Daarentegen werd een groter tumorvolume geassocieerd met slechtere LC in de SRT-groep. We gebruikten de resultaten van de systematische review om featureselectie uit te voeren voor een Random Forest machine learning-algoritme voor het voorspellen van lokale controle bij SRT-patiënten. De hogere voorspellingsnauwkeurigheid van het algoritme, getraind met de features die uit onze review zijn geselecteerd, geeft aan dat onze featureselectie kan bijdragen aan het verbeteren van de nauwkeurigheid van machine learning-algoritmes. Deze studie leverde een belangrijke bijdrage op het snijvlak van oncologie, klinische besluitvorming en datawetenschap. In tweede studie, hebben we de toepasbaarheid van AI voor de automatische detectie en segmentatie van hersenmetastasen op MRI-scans geëvalueerd. Een geautomatiseerde en betrouwbare methode kan aanzienlijke ondersteuning bieden aan radiologen en bijdragen aan een nauwkeurige behandeling. In dit studie hebben wij twee state-of-the-art deep learning-algoritmen (nnU-Net en MedNeXt) geëvalueerd voor de automatische segmentatie van zowel plannings- als follow-up MRI-scans. Deze resultaten geven aan dat het integreren van heterogene publieke data de efficiëntie van de modellen voor follow-up-beelden verbetert. Onze evaluatie toonde aan dat deze state-of-the-art DL-algoritmen clinici kunnen ondersteunen bij de detectie en segmentatie van BM-beelden voor zowel behandelplanning als het evalueren van behandelrespons tijdens follow-ups. Het nauwkeurig voorspellen van lokale controle van hersenmetastasen vóór de behandeling kan patiënten en clinici ondersteunen bij gezamenlijke besluitvorming en het optimaliseren van gepersonaliseerde behandelplannen. Met dit doel hebben wij in studie 3 geëvalueerd of een AI-model dat is getraind met een combinatie van klinische kenmerken, handmatig ontworpen radiomics- en deep-learning features lokale controle van hersenmetastasen beter kan voorspellen dan modellen die zijn getraind met slechts een subset van deze kenmerken. Onze studie toonde aan dat het model dat was getraind met de combinatie van alle kenmerken lokale controle van hersenmetastasen met een hogere nauwkeurigheid voorspelde dan de modellen die waren getraind met een subset van deze kenmerken. Daarnaast liet onze studie zien dat tumor volume sterk gecorreleerd is met lokale controle na SRT. In studie 4 hebben we ons eerdere werk uit studie 3 uitgebreid door de prestaties van het gecombineerde model te evalueren in een volledig andere klinische setting, namelijk het voorspellen van de algehele overleving bij patiënten met NSCLC die werden behandeld met radiotherapie. Het model dat getraind werd met de integratie van alle features hogere prestaties behaalde dan de andere modellen die slechts met een subset van deze features waren getraind. De WHO Performance Status (WHOPS) bleek de variabele met de hoogste correlatie met de algehele overleving. Gepersonaliseerde overlevingsvoorspellingen vóór de behandeling kunnen daarmee bijdragen aan gezamenlijke besluitvorming en de ontwikkeling van behandelplannen die zijn afgestemd op de unieke behoeften en het risicoprofiel van elke patiënt. Toekomstig onderzoek zou zich daarnaast kunnen richten op de ontwikkeling van software die patiënten dashboards integreert met het Elektronisch Patiëntendossier (EPD). Een dergelijke applicatie kan een gecentraliseerde database raadplegen om patiënten met vergelijkbare klinische kenmerken te identificeren en hun behandelgeschiedenis evenals verwachte en daadwerkelijke uitkomsten weer te geven in een intuïtieve gebruikersinterfacewat de gezamenlijke besluitvorming met patiënten faciliteert.

In dit proefschrift hebben we een gedetailleerde verkenning gegeven van de rol van AI binnen de medische beeldvorming voor kankerzorg. Concluderend ondersteunen de bevindingen van dit proefschrift dat AI een waardevol aanvullend hulpmiddel kan zijn voor clinici bij geautomatiseerde segmentatie, behandelplanning en uitkomstvoorspelling, en daarmee kan bijdragen aan beter geïnformeerde en meer gepersonaliseerde besluitvorming in de kankerzorg.