PRISM – Ablation

Relative Präferenz

In dieser Ablationsstudie wird das zentrale Element von PRISM – die Relative Präferenz – detailliert untersucht. Hierzu wurden drei Modellvarianten trainiert:

1. Baseline: Ein Modell ohne PRISM.
2. PRISM ohne Relative Präferenz: Ein Modell, das die Multi-Uni Self-Distillation verwendet, jedoch ohne den zusätzlichen Mechanismus der relativen Präferenz.
3. PRISM (vollständig): Das vollständige PRISM-Modell, das sowohl die Self-Distillation als auch die relative Präferenz implementiert.

Während des gesamten Trainings werden sogenannte Präferenzkurven aufgezeichnet. Diese Kurven zeigen, wie ausgewogen die verschiedenen Modalitäten im Lernprozess integriert werden – je näher die Kurve an 0 liegt, desto besser sind die Modalitäten ausbalanciert. Unsere Ergebnisse deuten darauf hin, dass Modelle, die lediglich auf der Multi-Uni Self-Distillation basieren, nur eine marginale Balance der Modalitäten erreichen. Erst der zusätzliche Einsatz der relativen Präferenz führt zu einer signifikanten Harmonisierung, wodurch alle Modalitäten gleichmäßiger im Training berücksichtigt werden.

Komponentenablation

Die Ergebnisse der Ablationsstudie auf den Datensätzen BraTS2020 und MyoPS2020 zeigen deutlich, dass die getrennte Einführung jeder einzelnen Komponente vorteilhaft ist. Die direkte Kombination aus pixelweiser und semantisch basierter Distillation führt zwar zu marginalen Verbesserungen, jedoch nur, wenn keine zusätzlichen Regularisierungsmaßnahmen angewendet werden. Hingegen erzielt die simultane Einführung aller Komponenten – also die Integration der Self-Distillation (sowohl auf Pixel- als auch auf Semantikebene) in Kombination mit der präferenzbasierten Regularisierung – die besten Ergebnisse. Diese umfassende Strategie ermöglicht es, sowohl lokale als auch globale Informationen optimal zu nutzen und sorgt für ein ausgewogenes Training über alle Modalitäten hinweg.

Evaluierung von PRISM als Plug-and-Play-Modul

PRISM wurde als Plug-and-Play-Modul entwickelt, das in verschiedene Backbone-Architekturen integriert werden kann, um die Balance zwischen den Modalitäten wiederherzustellen. Zur Validierung dieses Ansatzes wurde PRISM in moderne Methoden zur Segmentierung unvollständiger multimodaler medizinischer Bilder eingebunden und unter verschiedenen Modalitätsausfallraten evaluiert.

Im Vergleich zum vollständigen Trainingsszenario (VTD) zeigt sich, dass bei unvollständigem Training (UTD) – unabhängig vom verwendeten Backbone – eine deutliche Leistungseinbuße auftritt. Der Einsatz von PRISM führt jedoch zu konsistenten Leistungsverbesserungen über verschiedene Subtypen und unter unterschiedlichen Modalitätskombinationen.

Bemerkenswert ist, dass PRISM in der Bewältigung des UTD-Szenarios teilweise sogar bessere Segmentierungsergebnisse erzielt als im VTD-Szenario. Diese Beobachtung belegt die Robustheit und Flexibilität des PRISM-Ansatzes, der es ermöglicht, selbst bei fehlenden oder gestörten Modalitäten optimale Ergebnisse zu erzielen.

Distanzablation

Ein zentrales Element des PRISM-Ansatzes ist die Distanz $D^m_n$ (siehe Abschnitt 2.2). Diese wird als L2-basierte Prototyp-Distanz über alle Klassen definiert und repräsentiert die relative Präferenz des multimodalen Lehrers für den jeweiligen unimodalen Pfad $m$. In der obenstehenden Tabelle wurden verschiedene Methoden zur Berechnung von $D^m_n$ evaluiert – darunter der Dice Loss, der KL Loss und der Proto Loss.

Temperatur

Die Temperatur $\mu$ in Gl. $L_{\text{pixel}}^m$ ist ein Hyperparameter, der die „Softness“ der Wahrscheinlichkeitsverteilungen steuert. Um den Einfluss von $\mu$ auf die Segmentierung zu untersuchen, werden Ablationsstudien durchgeführt, in denen der Wert von $\mu$ variiert wird. Darüber hinaus validiere ich die vorgeschlagene pixelweise Selbst-Distillation, indem ich den KL-Verlust durch einen gewichteten Kreuzentropie-(WCE-)Verlust mit Ground-Truth sowie einen Feature-wise L2-Verlust (F-L2) als Vergleich ersetzen. Quantitative Ergebnisse sind in Tabelle 2 zusammengefasst. Insgesamt ist es vorteilhafter und stabiler, die pixelweise Selbst-Distillation über den KL-Verlust zu bestrafen, da dieser relativ unempfindlich gegenüber $\mu$ ist. Konkret erzielen die Einstellungen $\tau = 4$ und $\tau = 3$ die beste Dice- und HD-Leistung.

Quellen

[1] Ding, Y. et al. (2021). RFNet: Reinforced Feature Fusion for Medical Image Segmentation. GitHub repository.

[2] Zhang, W. et al. (2022). mmFormer: Multimodal Medical Image Segmentation with Transformer-based Fusion. arXiv preprint arXiv:2206.02425.