Willkommen bei der Arbeitsgruppe Parallele und Verteilte Systeme des Institus für Informatik am Fachbereich Mathematik und Informatik der Universität Münster. Wir beschäftigen uns mit Fragestellungen, die im Kontext von parallelen und verteilten Systemen auftreten. Bitte nutzen Sie die Links in der Navigationsleiste, um Informationen über unsere Forschung, das Lehrangebot sowie die Mitarbeiter der Arbeitsgruppe zu erhalten.
Aktuelles und Neuigkeiten über unsere Gruppe finden Sie unten auf dieser Seite.
Im Monat März hatten wir die Gelegenheit, unsere aktuellen Arbeiten zur Generierung und Optimierung von Programmcode für KI-Anwendungen auf gleich drei renommierten internationalen Tagungen erfolgreich vorzustellen.
Auf der ACM SIGPLAN International Conference on Compiler Construction (CC) präsentierte Richard Schulze unser pyATF-Framework, das in der Programmiersprache Python die grundlegenden Konzepte unseres Auto-Tuning Frameworks (ATF) umsetzt, und somit zur vollautomatischen Optimierung komplexer paralleler Programme mittels Python beiträgt. Unsere neue pyATF-Schnittstelle für ATF gewährleistet nicht nur eine hohe Nutzerfreundlichkeit, sondern ermöglicht inbesondere die einfache Integration unserer ATF-Konzepte in Python-basierte KI-Frameworks, z.B. TensorFlow und PyTorch.
Auf der Tagung Compilers for Machine Learning, bei dem führende Ansätze zur Code-Generierung für KI-Anwendungen vorgestellt werden, präsentierte Ari Rasch unsere aktuellen Arbeiten zur Code-Generierung für KI, basierend auf Multi-Dimensionalen Homomorphismen (MDH). Mittels MDH kann hochoptimierter Programmcode -- für verschiedene KI-Hardware-Architekturen (z.B. GPUs) -- vollautomatisch generiert werden, auf Grundlage algebraischer Abstraktionen der KI-Anwendungen.
Die NVIDIA GTC (GPU Technology Conference) ist die führende KI-Konferenz, die von Entwicklern, Ingenieuren, Forschern, Erfindern und IT-Experten besucht wird. Unsere aktuellen Arbeiten zur Generierung und Optimierung von GPU-Code für KI-Anwendungen wurden erfolgreich von Richard Schulze und Ari Rasch vor internationalen KI-Experten vorgestellt. Insbesondere konnten zukünftige Zusammenarbeiten vereinbart und besprochen werden.
Wir freuen uns mitteilen zu können, dass wir auf der internationalen Top-Konferenz ACM SIGPLAN Conference on Programming Language Design and Implementation (Rank A*) dieses Jahr gleich zwei Arbeiten vorstellen konnten.
Bastian Köpcke stellte unsere GPU-Sprache Descend vor, die von Rust inspiriert eine sichere Programmierung von GPUs ermöglicht.
Ari Rasch stellte einen formal-basierten Ansatz zum Ausdrücken und Optimieren von datenparallelen Berechnungen vor, basierend auf unserer Theorie der Multi-Dimensionalen Homomorphismen. Die Arbeit ist insbesondere im Bereich der künstlichen Intelligenz von hoher Relevanz und in dem Top-Journal ACM Transactions on Programming Languages and Systems (TOPLAS) veröffentlicht.
Unsere neuesten Arbeiten zu GPU/CPU-Optimierungen mithilfe sog. Scheduling-Sprachen wurden auf der prominenten ACM SIGPLAN 2023 International Conference on Compiler Construction von Ari Rasch und Richard Schulze in Montreal, Kanada vorgestellt:
(De/Re)-Compositions Expressed Systematically via MDH-Based Schedules
Autoren:
Ari Rasch (University of Münster, Germany)
Richard Schulze (University of Münster, Germany)
Denys Shabalin (Google Zurich, Switzerland)
Die Arbeit ist entstanden in Kollaboration mit Google Zürich, der Norwegian University of Science and Technology (NTNU), sowie der University of Utah, USA.
Das Lorentz-Zentrum ist ein Workshop-Zentrum in den Niederlanden, das wissenschaftliche Treffen für internationale Teilnehmer veranstaltet. Ungleich üblichen Workshops, zeichnen sich die Veranstaltungen des Lorentz-Zentrums durch eine offene und interaktive Atmosphäre aus, sowie durch eine hohe wissenschaftliche Qualität.
Unsere Arbeitsgruppe ist an der Organisation eines bevorstehenden Workshops im März 2022 maßgeblich beteiligt. Ziel des Workshops ist es, Technologien aus dem Bereich der automatischen Programmoptimierung (auch bekannt als auto-tuning) mit führenden internationalen Experten auf dem Gebiet zu diskutieren und offene Forschungsfragen zu identifizieren und anzugehen.
Unsere AG wird maßgeblich sowohl zur Organisation als auch zu den Diskussionen und Vorträgen des Workshops beitragen, gestützt durch unsere Arbeiten zu den Forschungsprojekten Auto-Tuning Framework (ATF) und Elevate. Vertreten wird die AG auf der Tagung durch: Richard Schulze (Teilnehmer), Johannes Lenfers (Teilnehmer), und Ari Rasch (Organisator).
Die Deutsche Forschungsgemeinschaft (DFG) hat erfreulicherweise unseren Antrag genehmigt und wird das Forschungsprojekt mit dem o.g. Titel für insgesamt 36 Monate mit einer Summe von ca. 600.000 € inkl. Programmpauschale fördern.
Deep Learning (DL) ist derzeit die populärste Methode des maschinellen Lernens, mit der eine Vielzahl realer Probleme sowohl in der Wissenschaft als auch in der Industrie gelöst werden. Der Erfolg von DL-Anwendungen hängt entscheidend von der Qualität der Software ab, die DL-Algorithmen auf modernen hoch-performanten Architekturen mit multi-core CPU und Grafikprozessoren (GPU) implementiert.
In unserem Projekt werden wir einen neuartigen Ansatz zur automatischen Codegenerierung und -optimierung für DL-Anwendungen entwickeln, basierend auf der Theorie der Multi-Dimensionalen Homomorphismen (MDH), die in unserer Arbeitsgruppe aktiv entwickelt wird. Durch unseren MDH-Ansatz sollen drei fundamentale Herausforderungen für die Codegenerierung und -optimierung für DL angegangen werden: Performance, Portabilität und Produktivität (PPP).
Die Arbeiten im Projekt werden von zwei Wissenschaftlichen Mitarbeitern in Vollzeit – Ari Rasch und Richard Schulze – durchgeführt, unterstützt von einer studentischen Hilfskraft, unter der allgemeinen Federführung von Prof. Sergei Gorlatch.
Die Special Interest Group on Programming Languages (SIGPLAN) der Association for Computing Machinery (ACM) veranstaltet weltweit Top-Konferenzen im Bereich Konzept, Design und Implementierung von Programmiersprachen und zugehörigen Tools. Zusätzlich zeichnet die SIGPLAN jährlich wenige Paper besonderer Qualität als sogenannte Research Highlights aus.
Erfreulicherweise wurde unser Forschungsbeitrag "Achieving high-performance the functional way: a functional pearl on expressing high-performance optimizations as rewrite strategies" (angenommen und veröffentlicht bei ICFP 2020, Rank A) nun als SIGPLAN Research Highlight ausgezeichnet.
"High-performance array code, for applications such as machine learning or image processing, needs both good algorithms and highly tuned code. While the algorithms are quite general, the tuning–involving optimisations such as tiling, vectorisation, and loop unrolling–is very platform specific. This paper cleanly separates those concerns, providing domain-specific languages for specifying the algorithm and the optimisations independently, with an optimisation language that supports abstraction and reuse properly for the first time. As a result we can enjoy elegance, and state-of-the-art performance, both at the same time. Sometimes we can have our cake and eat it too."
Diese Arbeit ist im Rahmen der Kooperation der Arbeitsgruppe PVS mit den Universitäten Glasgow und Edinburgh (UK) entstanden, welche auch in Zukunft weitergetrieben wird.
Wir freuen uns mitteilen zu können, dass wir dieses Jahr auch auf der internationalen Top-Tagung PACT (ACM/IEEE International Conference on Parallel Architectures and Compilation Techniques) den 1. Preis der Microsoft/ACM Student Research Competition (SRC) gewonnen haben.
PACT ist eine jährlich stattfindende Top-Tagung (A-Ranking), die sich mit neuesten Kompiliertechniken für parallele Architekturen beschäftigt.
Ari Rasch hat auf dem PACT SRC die aktuellen Ergebnisse zur Code-Generierung und automatischen Code-Optimierungen für Stencil-Berechnungen vorgestellt, mit dem Titel: "md_stencil: High-Performance Stencil Computations on CPU and GPU via Multi-Dimensional Homomorphisms", entstanden in Zusammenarbeit mit Richard Schulze in unserer Arbeitsgruppe.
Die Arbeit hat sehr großes Interesse auf der Tagung erweckt und wurde mit dem höchsten Preis ausgezeichnet.
Herzlichen Glückwunsch!
Wir freuen uns mitteilen zu können, dass Ari Rasch -- Doktorand in der AG für "Parallel und Verteile Systeme" -- die ACM/Microsoft Student Research Competition (SRC) der internationalen Top-Tagung CGO (ACM/IEEE International Symposium on Code Generation and Optimization) mit dem 1. Platz belegt hat. Auf dem Symposium wurden die aktuellen Arbeiten von Ari Rasch, Richard Schulze und Sergei Gorlatch zu Polyhedralen-Kompiliertechniken und Multi-Dimensionalen Homomorphismen vorgestellt, mit dem Titel "md_poly: A Performance-Portable Polyhedral Compiler Based on Multi-Dimensional Homomorphisms".
Die PUMPS+AI (Programming and Tuning Massively Parallel Systems + Artificial Intelligence) ist eine jährlich stattfinde internationale Tagung, die Experten in Bereichen der künstlicher Intelligenz und der parallelen Programmierung von Hochleistungsrechnern vereint. Sie wird von den führenden Universitäten (Urbana-Champaign, Barcelona, etc.) sowie den marktführenden Hardware-Herstellern (NVIDIA Corp., etc.) organisiert.
Das Format der Tagung beinhaltet traditionell eingeladene Vorträge führender Wissenschaftler sowie Poster von Doktoranden.
Erfreulicherweise wurde das Poster von Richard Schulze (Doktorand der AG PVS), in Zusammenarbeit mit Ari Rasch und Sergei Gorlatch, mit dem renommierten *Best Poster Award 2019* ausgezeichnet. Der Preis wurde von Prof. Wen-mei Hwu (University of Illinois at Urbana-Champaign) und Dr. David Kirk (NVIDIA Corp.) im Rahmen einer festlichen Zeremonie übergeben.
Wir können erfreut mitteilen, dass die Abschlussarbeit von Richard Schulze mit dem Titel "Entwurf und Implementierung einer Performance-portablen BLAS-Bibliothek basierend auf dem md_hom-Schema" den IHK-Preis für die beste Abschlussarbeit in Angewandter Informatik 2019 gewonnen hat. Die Arbeit entstand in der AG PVS in Zusammenarbeit mit Ari Rasch und Sergei Gorlatch.
Das ACM/IEEE International Symposium on Code Generation and Optimization (CGO) ist eine der Top-Tagungen weltweit auf dem Gebiet der Softwareentwicklung, -Kompilierung und -Optimierung.
Erfreulicherweise wurde unser neuester Forschungsbeitrag unter dem Titel: "High Performance Stencil Computations with Lift" bei der CGO 2018 mit dem begehrten Best Paper Award ausgezeichnet.
Die Autoren des Papers sind:
M.Sc. Bastian Hagedorn – Hauptautor, Doktorand in der AG PVS an der Universität Münster,
Prof. Sergei Gorlatch – Leiter der AG PVS an der Universität Münster,
Dr. Michel Steuwer – Lecturer an der Univ. Glasgow, ehemaliger Doktorand der AG PVS,
Larisa Stolzfuss – Doktorandin an der Univ. Edinburgh,
Prof. Christophe Dubach – Reader an der Univ. Edinburgh.
Der Award wurde im Rahmen einer festlichen Zeremonie an Bastian Hagedorn von der Program Chairperson des Symposiums Mrs. Teresa Johnson (Google) übergeben, siehe Photo.
Diese Arbeit ist in einer laufenden Kooperation (Lift Projekt) mit den Universitäten Glasgow und Edinburgh (UK) entstanden, die auch in der Zukunft weiter betrieben wird. Im Rahmen dieser Kooperation sind Bachelor- und Masterarbeiten sowie Projektseminare geplant.
