Ergebnisse

Datensätze

Für die Evaluation werden zwei Datensätze aus der “Multimodal Brain Tumor Segmentation Challenge (BRATS)” herangezogen. Beide Datensätze enthalten MRT-Bilder aus vier Modalitäten: Flair, T1ce, T2 und T1. Wie in [1–3] beschrieben, wurden zunächst die schwarzen Hintergrundregionen entfernt, und jede Modalität wurde anschließend auf einen Nullmittelwert und eine Einheitsvarianz normalisiert. Für den BRATS2018-Datensatz wurden die Datenaufteilungen aus [1] und [3] übernommen, sodass die Fälle in 199 Trainings-, 29 Validierungs- und 57 Testbeispiele unterteilt wurden. Beim BRATS2020-Datensatz, der 369 Fälle umfasst, erfolgte eine Aufteilung in 219 Trainings-, 50 Validierungs- und 100 Testbeispiele – hier wurde die Methodik aus [3] strikt eingehalten. Zur Evaluierung wurden sowohl der Dice Similarity Coefficient (DSC) als auch die Hausdorff-Distanz (HD) verwendet.

Implementierungsdetails

Das Framework wurde in PyTorch implementiert und mit dem AdamW-Optimierer trainiert. Dabei kam eine initiale Lernrate von \(2 \times 10^{-4}\) sowie ein Weight Decay von \(1 \times 10^{-4}\) zum Einsatz; die Batch-Größe betrug 2. Das Training fand über 1000 Epochen auf Google Colab Premium statt. Zur Anpassung der Lernrate wurde eine adaptive Strategie („why-uop learning rate scheduling“) genutzt, die mit einem Poly-Decay-Verfahren (mit \(p = 0.9\)) kombiniert wurde.

Gemäß [1–3] erfolgte das Training im VTD-Szenario, wobei modalitiespezifische Maskierung zur Simulation fehlender Modalitäten eingeführt wurde. Jedes Volumen wurde dabei zufällig auf eine Größe von \(80 \times 80 \times 80\) Pixeln zugeschnitten und zusätzlich durch zufällige Rotationen, Intensitätsänderungen sowie Mirror-Flips augmentiert. In Bezug auf die Positional Embeddings wurden, analog zu dem Inter-Modal Transformer im mmFormer, lernbare Positions-Embeddings den Fusionstokens hinzugefügt – ein Konzept, das dem großen Class-Token im ViT ähnelt.

Vergleich mit state-of-the-art Methoden

Basierend auf der Verfügbarkeit von Open-Source-Code sowie den öffentlich zugänglichen Datenaufteilungen wurden fünf moderne Ansätze für die unvollständige multimodale Hirntumorsegmentierung ausgewählt. Für den Vergleich wurden identische Datensplits verwendet. Zu den ausgewählten Methoden zählen sowohl CNN-basierte Ansätze – namentlich HeMIS [A], U-HVED [B], RobustMSeg [C] und RFNet [D] – als auch der transformerbasierte Ansatz mmFormer [E].

1) Quantitativer Vergleich

In Tab. 1 sind die Ergebnisse aller 15 multimodalen Modalitätskombinationen auf dem BraTS2018-Datensatz aufgeführt. Unter den etablierten State‑of‑the‑Art-Methoden erzielt RFNet die besten Mittelwerte für Whole Tumor (WT), Tumor Core (TC) und Enhancing Tumor (ET) und übertrifft mmFormer in 40 von 45 Kombinationen. PRISMS hingegen liefert in allen 45 Konstellationen durchgängig höhere Dice-Werte als sowohl mmFormer als auch RFNet – und zwar für WT, TC und ET gleichermaßen.

Ein ähnliches Bild zeigt sich in Tab. 2 (z. B. auf BraTS2020 oder im UTD-Szenario): Die größten Leistungsgewinne durch PRISMS treten in den schwierigeren Klassen auf (Reihenfolge der Schwierigkeit: WT < TC < ET. Dies unterstreicht, dass PRISMS cross‑modale Informationen besonders effektiv nutzt, was gerade in herausfordernden Settings (UTD vs. VTD) entscheidend ist. Zusätzlich belegen die angeführten p‑Werte die statistische Signifikanz dieser Verbesserungen.

Schließlich werden in Tab. 3 die gleichen Methoden anhand der Hausdorff-Distanz (HD) verglichen. Auch hier zeigt PRISMS durchweg niedrigere HD-Werte als die Konkurrenz, was auf eine präzisere Formwiedergabe der Segmentierungen hinweist.

2) Qualitiativer Vergleich

Hier sind die Quellenangaben in einem einheitlichen, vollständigen Format:

[1] Dorent, R., Joutard, S., Modat, M., Ourselin, S., & Vercauteren, T. (2019). Hetero‑Modal Variational Encoder‑Decoder for Joint Modality Completion and Segmentation. In Medical Image Computing and Computer Assisted Intervention – MICCAI 2019 (pp. 87–95). Springer. https://arxiv.org/abs/1907.11150 [2] Chen, C., Dou, Q., Jin, Y., Chen, H., Qin, J., & Heng, P.‑A. (2020). Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion. CoRR, abs/2002.09708. arXiv:2002.09708 citeturn1search0

[3] Sun, L., Yang, K., Hu, X., Hu, W., & Wang, K. (2020). Real‑time Fusion Network for RGB‑D Semantic Segmentation Incorporating Unexpected Obstacle Detection for Road‑driving Images. CoRR, abs/2002.10570. https://github.com/dyh127/RFNet

[A] Havaei, M., Davy, A., Warde‑Farley, D., et al. (2016). HeMIS: Hetero‑modal Image Segmentation. In Medical Image Computing and Computer Assisted Intervention – MICCAI 2016 (LNCS 9901, pp. 111–119). https://arxiv.org/abs/1607.05194

[B] Dorent, R., Joutard, S., Modat, M., Ourselin, S., & Vercauteren, T. (2019). Hetero‑Modal Variational Encoder‑Decoder for Joint Modality Completion and Segmentation. https://arxiv.org/pdf/1907.11150

[C] Chen, C., Dou, Q., Jin, Y., Chen, H., Qin, J., & Heng, P.‑A. (2020). Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion. https://arxiv.org/pdf/2002.09708

[D] Sun, L., Yang, K., Hu, X., Hu, W., & Wang, K. (2020). Real‑time Fusion Network for RGB‑D Semantic Segmentation Incorporating Unexpected Obstacle Detection for Road‑driving Images. https://arxiv.org/abs/2002.10570

[E] Zhang, Y., He, N., Yang, J., Li, Y., Wei, D., Huang, Y., Zhang, Y., He, Z., & Zheng, Y. (2022). mmFormer: Multimodal Medical Transformer for Incomplete Multimodal Learning of Brain Tumor Segmentation. In Medical Image Computing and Computer Assisted Intervention – MICCAI 2022 (LNCS 13332, pp. 71–83). https://arxiv.org/abs/2206.02425