Ergebnisse

Komponenten‑Ablation

Um den Beitrag einzelner Bausteine zu verstehen, wurde eine schrittweise Ablation durchgeführt:

• Baseline (nur Encoder+Decoder, keine Regularisierung): Die Segmentierung ist in allen drei Klassen (WT, TC, ET) deutlich zu schwach – ein Decoder ohne Ausgleichsmechanismen neigt dazu, nur die dominanten Modalitäten zu nutzen.

• +Geteilter Decoder (Reg): Der gemeinsame Decoder erzwingt ein modalitätsunabhängiges Feature‑Learning. Dadurch sinkt der Bias gegenüber stark vertretenen Modalitäten und die Gesamtleistung steigt moderat.

• +Adaptive Fusion Transformer (AFT): Mit dem AFT erscheinen erstmals deutliche Sprünge, besonders in der schwierigen ET‑Klasse. Damit wird die Wirksamkeit einer globalen, maskierten Attention auf fehlende Modalitäten empirisch bestätigt.

• +SRA bzw. KFT: Sowohl die Spatial Relevance Attention (SRA) als auch der Kanalbezogene Fusion‑Transformer (KFT) verbessern die Balance der Feature‑Fusion, ohne andere Modalitäten nennenswert zu beeinträchtigen.

• Vollausbau: Werden alle Komponenten kombiniert, ergibt sich eine mittlere Dice‑Steigerung von 2,49%/3,53%/6,99% (WT/TC/ET) gegenüber der reinen AFT‑Baseline.

KFT‑Einsatz in Skip‑Connections

PRISMS wendet die räumliche Gewichtung (SRA) auf allen Skip‑Connections an. KFT‑Module werden dagegen nur in den unteren beiden Ebenen platziert:

• Eine gezielte Ablation (Tab.2) zeigt, dass bereits ein KFT‑Layer in der tiefsten Skip‑Connection den DSC im Schnitt um 0,82% hebt.
• Werden KFTs in die beiden tiefsten Ebenen eingefügt, steigt die mittlere Verbesserung auf 0,35% gegenüber einem Einzel‑KFT.
• Eine aggressive Ausweitung auf alle Skip‑Connections verschlechtert die Leistung – hochaufgelöste Features der oberen Ebenen sind weniger diskriminativ, was eine kanalweise Neugewichtung erschwert.

Hyperparameter

Zur Bewertung des Adaptive Fusion Transformer (AFT) wurde eine Ablationsstudie mit unterschiedlicher Layer‑Tiefe durchgeführt (Tab.3). Bereits ein einziger AFT‑Layer verbessert die Baseline deutlich – im Mittel um ≈3,1 Dice‑Prozentpunkte. Werden zusätzliche AFT‑Layer hinzugefügt, steigt die Leistung dagegen kaum weiter an. Der Grund liegt in der datenintensiven Natur von Transformer‑Schichten: Ab einer gewissen Tiefe tendieren die Self‑Attention‑Matrizen zu „uniformen“ Verteilungen[1], sodass zusätzliche Layer nur noch begrenzten Mehrwert bieten.

Ein zweiter zentraler Hyperparameter ist die Anzahl der Kanalbezogenen Fusionstransformer (KFT). Tab.4 zeigt, dass ein einzelner KFT‑Layer bereits merklich hilft, indem er Redundanzen entlang der Kanäle reduziert und kompaktere, modalitätsspezifische Features lernt. Fügt man jedoch zu viele KFT‑Layer hinzu, kippt der Effekt: Die fortlaufende Re‑Gewichtung entlang der Kanaldimension dämpft zunehmend die räumlichen Informationen und führt zu Leistungseinbußen.

Interessant ist zudem die Modellkomplexität: Ein einzelnes KFT‑Modul ersetzt die konventionellen Convolution‑Skip‑Connections im mmFormer‑Backbone und reduziert dadurch die Parameterzahl – trotz seines Transformer‑Anteils. Damit bietet die Kombination „1×AFT+1×KFT“ einen guten Kompromiss aus Genauigkeit und Effizienz.

Vergleich mit distillations­basierten Multi‑Model‑Ansätzen

Für den direkten Vergleich wurden bewusst ausschließlich Single‑Model‑Methoden des aktuellen State of the Art herangezogen. Distillations­basierte Verfahren wie ACN [2] und SMU‑Net [3] trainieren dagegen für jede Modalitäts­konstellation ein eigenes Modell (insgesamt 15 Modelle). Ihre Ergebnisse sind in Tab. 5 zusammengefasst.

Ein wichtiger Unterschied liegt in der Eingabe­auflösung: ACN und SMU‑Net verarbeiten Volumina mit \(160 \times 192 \times 128\) Voxel, während PRISMS aus Hardware‑Gründen mit \(80 \times 80 \times 80\) Voxel operiert. Trotz dieses handfesten Nachteils erzielt PRISMS:

• 38 / 45 bessere Ergebnisse gegenüber ACN
  • durchschnittliche Dice‑Steigerung: +1.0 % (WT), +4.5 % (TC), +2.1 % (ET)
• 38 / 45 bessere Ergebnisse gegenüber SMU‑Net
  • durchschnittliche Dice‑Steigerung: +0.4 % (WT), +3.4 % (TC), +1.0 % (ET)

Diese Resultate unterstreichen die Effizienz der präferenz­gesteuerten Selbstdistillation von PRISMS selbst bei halbierter Eingabe­größe. Da höhere Auflösungen erfahrungsgemäß zusätzliche Detail­informationen liefern, ist bei einer Skalierung auf größere Volumina eine weitere Leistungs­steigerung zu erwarten.

Modelleffizents

Cross‑Training

Um die Generalisierungsfähigkeit von PRISMS zu evaluieren, wurde ein Cross‑Training‑Szenario durchgeführt: Ein ausschließlich auf BraTS2018 trainiertes Modell wurde unverändert auf den BraTS2020‑Datensatz angewendet. Damit kein Daten‑Leakage entsteht, wurden alle Fälle, die bereits in BraTS2018 enthalten sind, aus BraTS2020 entfernt.

Die Ergebnisse sind in Tab. 6 dargestellt. Während alle verglichenen Modelle im domänen­fremden Setting an Genauigkeit einbüßen, bleibt der Leistungsabfall bei PRISMS deutlich geringer. Insbesondere vergrößert sich der Abstand zu den konkurrierenden Ansätzen nochmals, was die Robustheit und die bessere Übertragbarkeit der innerhalb von PRISMS gelernten Cross‑Modal‑Repräsentationen unterstreicht.

Quellen

[1] Touvron, H., Cord, M., Sablayrolles, A., Synnaeve, G., & Jégou, H. (2021). Going Deeper with Image Transformers. arXiv preprint arXiv:2103.17239. doi:10.48550/arXiv.2103.17239 [2] https://arxiv.org/abs/2106.14591 [3] https://arxiv.org/abs/2204.02961