Simeon Harrison ist Supercomputer Experte, HPC Trainer und Projektmitarbeiter bei EuroCC Austria. Was am Supercomputer häufig trainiert wird, ist die KI. Genau dazu haben wir Simeon befragt.
1. Die Verwendung von KI durch Tech-Startups nimmt rasant zu. Startups haben jedoch spezielle Anforderungen an die von ihnen verwendete KI, weshalb sie diese trainieren und an ihre Bedürfnisse anpassen müssen. Das braucht nicht nur Expertise, es kostet auch Zeit und Geld. Warum ist das Trainieren von KI-Modellen so rechenintensiv, und welche Rolle spielen Supercomputer dabei?
Die meisten KI-Modelle fußen mittlerweile auf neuronalen Netzen. Mithilfe derer lassen sich komplexe Zusammenhänge in Form von mathematischen Funktionen modellieren. Um die besten Parameter für die Funktionen zu finden, muss das KI-Modell „trainiert“ werden. Das bedeutet nichts anderes, als dass die Parameter zunächst einmal mit zufälligen Zahlen versehen werden und dann mit jedem Trainingsdurchlauf sukzessive in die richtige Richtung “gestupst” werden. Die richtige Richtung wird dank Optimierung mittels Differenzialrechnung bestimmt. Prinzipiell braucht man dazu keine überragende Rechenleistung, wenn nicht die Tatsache bestünde, dass wir es hier mit mehreren Millionen Parametern zu tun hätten. Das GPT-3 Modell beispielsweise, umfasst 175 Milliarden Parameter, GPT-4 mehr als das doppelte. Obwohl jeder Prozessor auf einem Computer viele Rechenoperationen pro Sekunde erledigen kann, bringt die schiere Anzahl an notwendigen Rechenoperationen beim Trainieren eines KI-Modells herkömmliche Computer weit über ihre Grenzen. Da hilft auch eine eventuell verbaute leistungsstarke GPU wenig – es muss etwas Größeres her, z.B. ein Supercomputer.
2. Welche Vorteile bieten Supercomputer im Vergleich zu herkömmlichen Rechenressourcen für Startups, die KI-Modelle entwickeln und trainieren möchten?
Bevor ein Startup sein Startkapital an einer eigenen, leistungsstarken Workstation ver(sch)wendet, die sofort die Stromrechnung nach oben schnellen lässt und kurz danach zu Altmetall erklärt wird, sollte die Mitverwendung der Rechenressourcen eines Supercomputers in Betracht gezogen werden. Dank den Initiativen von EuroHPC Joint Undertaking und EuroCC ist es möglich, Europas leistungsstärkste Supercomputer kostenfrei mitzuverwenden. Dafür müssen entsprechende Anträge gestellt werden, wobei EuroCC Austria Startups, sowie klein- und mittelständischen Unternehmen mit Rat und Tat zur Seite stehen kann. Will man aber den Papierkram ganz beiseitelassen, so kann auch der Vienna Scientific Cluster (Österreichs schnellster Supercomputer) nach einer kostenfreien Probezeit von 100.000 Core-Stunden quasi zum Selbstkostenpreis (Deckung Energiekosten) genutzt werden.
Natürlich dürfen auch die Rechenressourcen in der Cloud nicht unerwähnt bleiben. Hier ist jedoch Vorsicht geboten: Nach anfänglichen Lockangeboten und undurchsichtiger Preisgestaltung wird so manches Startup bald von den ausufernden Kosten heimgesucht.
3. Welche konkreten Anwendungsfälle oder Branchen profitieren derzeit besonders von der Nutzung von Supercomputern?
Die Branchen sind vielfältig wie zahlreich. Neben den „traditionellen“ Branchen mit rechenintensiven Simulationen aus den Bereichen Finite Elemente, CFD und Molekulardynamik, sind derzeit die KI entwickelnden Unternehmen stark im Kommen.
4. Was bedeutet die rasante Entwicklung von ChatGPT etc. für Unternehmen und welche Rolle spielen Supercomputer dabei?”
Die Technologie die hinter Modellen wie ChatGPT etc. steht, mischt zur Zeit die KI Szene ordentlich auf und eröffnet in der Entwicklung und Anwendung von KI neue Horizonte. Die Rede ist hier von den sogenannten „Transformern“, einer KI-Modellarchitektur mit deren Hilfe sich sequenzielle Daten, wie beispielsweise Sprache, noch besser modellieren lassen als zuvor. Nebst den „offensichtlichen“ Anwendungsbereichen, die allesamt sprachbezogen sind, lassen sich auch hervorragende Modelle zur Zeitreihenanalyse (etwa in der Lastvorhersage im Energiesektor), zur Faltungsvorhersage bei Proteinstrukturen (Stichwort AlphaFold), oder der Robotik (Erlernen sequentieller Bewegungsabläufe) entwickeln.
Was den Umgang mit Transformern sehr angenehm macht, ist die Tatsache, dass diese über weite Strecken „eigenständig“ Lernen können. Die Kehrseite von dieser Eigenschaft ist jedoch, dass für das eigenständige Lernen Unmengen an Daten benötigt werden um die Parameter dieser Modelle zu trainieren, was wiederum viel Rechenleistung bedarf. Und da wären wir wieder bei den Supercomputern. Glücklicherweise gibt es immer mehr vortrainierte Transformermodelle, doch auch in diesem Fall müssen für das meist notwendige Nachtrainieren (Finetuning) beachtliche Rechenressourcen herhalten.
5. Wie können Startups mit begrenztem Budget oder begrenzten Ressourcen von der Power eines Supercomputers profitieren?
Wie bereits zuvor erwähnt, wird glücklicherweise der Einsatz von Supercomputern für Startups in und aus Europa stark gefördert. Wenn ihr also eine gute Idee habt deren Umsetzung viel Rechenleistung bedarf, fallt nicht gleich dem erstbesten Cloudanbieter anheim, sondern wendet euch an EuroCC Austria (https://eurocc-austria.at) und nehmt unsere Services kostenfrei an. Diese könnt ihr gerne auf https://www.f6s.com/eurocc/ einsehen und den Stein ins Rollen bringen.
6. Welche zukünftigen Trends und Entwicklungen erwartest Du im Bereich der Supercomputer und deren Rolle bei der KI-Entwicklung?
Nachdem Themen wie „Datenhoheit“, „ethische KI“ oder „explainable AI“ in Europa immer mehr eine Rolle spielen, werden in näherer Zukunft neue und alte Modelle auf europäischen Supercomputern (re-)trainiert werden müssen um den bevorstehenden Auflagen und Regulierungen standhalten zu können. Im Zuge dessen werden Supercomputer sicher noch mehr „accessible“ gemacht werden müssen, ähnlich wie beim Cloud-Computing.
Was die Hardware betrifft, wird von den europäischen Fördergebern mehr Geld in die Hand genommen werden müssen, um möglichst viele GPUs in neuen Systemen zu verbauen, die zum Trainieren von KI-Modellen unerlässlich sind.
Außerdem wird mittel- bis langfristig das Datennetz zwischen Supercomputern ausgebaut werden um die Migration innerhalb europäischer Systeme zu erleichtern.
In noch weiterer Zukunft liegt das Thema „Quantencomputer“ die ,in Symbiose mit Supercomputern, die zur Verfügung gestellte Rechenpower noch einmal nach oben schnellen lassen.
Über EuroCC Austria
EuroCC Austria ist das nationale Kompetenzzentrum für Supercomputing, Big Data und Künstliche Intelligenz, das 2020 im Rahmen der EuroCC-Initiative gegründet wurde. Es wird von der Advanced Computing Austria GmbH (ACA), Universität Wien, Technische Universität Wien und Universität für Bodenkultur Wien, in Zusammenarbeit mit INiTS, betrieben. Ziel ist es, nicht-akademische Kunden bei der Nutzung von High-Performance Computing (HPC), High-Performance Data Analytics (HPDA), Big Data Analytics und KI zu unterstützen und Europa auf diesen Gebieten wettbewerbsfähiger zu machen.
