Promotion mit Schwerpunkt Künstliche Intelligenz – Karriere in der Wissenschaft
Qendrim Schreiber, 31, ist Doktorand an der Johannes Gutenberg-Universität Mainz in Kooperation mit der Hochschule für Technik Stuttgart (HFT) im Fachbereich der Informatik und steht kurz vor der Abgabe seiner Dissertation. Im Interview mit Hochschul-Job.de erklärt er, was er eigentlich forscht, und berichtet darüber, was die Herausforderungen seiner Promotion im Forschungsfeld der künstlichen Intelligenz sind.
Qendrim Schreiber hat bereits in seiner Masterarbeit im Bereich der Künstlichen Intelligenz geforscht. Das damalige Thema in seiner Arbeit war der „Einsatz von KI für die Qualitätsprüfung der Spezifikation im System Engineering“, kurz gesagt die Klassifikation von Texten. Das Ziel seiner Arbeit war die theoretische Behandlung der Künstlichen Neuronalen Netze (KNNe) zu vermitteln und diese an praktischen Fällen anzuwenden. Qendrim Schreiber erklärt: „Das Gehirn eines Menschen ist ein enorm vernetztes Netzwerk von Neuronen, die als organische Schalter betrachtet werden können. Diese senden sich Informationen in Form von elektrischen oder chemischen Signalen zu. Unter einem KNN versteht man ein informationsverarbeitendes System, welches dem Gehirn nachempfunden ist. Es besteht aus einer großen Anzahl von miteinander verbundenen Recheneinheiten, sogenannte künstliche Neuronen. Diese Neuronen empfangen Eingaben, verarbeiten sie durch eine mathematische Funktion und geben das Ergebnis an andere Neuronen weiter. Die Verbindungen zwischen den Neuronen, bekannt als Gewichte, werden in einem Trainingsprozess angepasst, um bestimmte Aufgaben zu erlernen.“
Durch seine Masterarbeit hat Qendrim Schreiber für sich selbst feststellen können, dass ihm diese Art der Forschung im Bereich der Künstlichen Intelligenz viel Spaß bereitet hat, sodass er sich auch für eine Promotion in diesem Bereich entschied.
Karriere in der Wissenschaft durch relevante Grundlagenforschung
Können Sie Ihre Forschung, an der Sie arbeiten, einmal vorstellen?
Qendrim Schreiber: „Meine Forschung hat zwei Aspekte: Zum einen die Klassifizierung und zum anderen die Segmentierung von 3D-Geometriedaten. Bei einer Klassifikation wird ein Input in einem KNNe eingegeben, der dann weiterverarbeitet wird, sodass aus diesem Input erstmal ein Merkmalsvektor erzeugt wird, der Merkmale dieses Inputs codiert. Dieser Merkmalsvektor wird dann verwendet, um die Klassifikation, mit Hilfe eines weiteren KNNe, durchzuführen. Um das Training durchzuführen, wird als erstes eine Verlustfunktion angewendet. Eine Verlustfunktion definiert, wie gut das neuronale Netz die Ausgabe vorhergesagt hat, also wie groß die Abweichung von der Soll-Ausgabe entfernt ist. Man kann sich das zum Beispiel anhand von Bildern vorstellen, wobei zwischen Hunden und Katzen klassifiziert wird. Wenn dann ein Bild von einem Hund eingegeben wird und das neuronale Netz jedoch sagt, das war eine Katze, dann muss irgendwie gemessen werden, dass da ein Fehler stattgefunden hat und wie groß dieser Fehler war. Das wird eben anhand einer Verlustfunktion bewertet. Durch diese Verlustfunktion wird das neuronale Netz dann so angepasst, dass wenn das nächste Mal ein Bild von einem Hund eingegeben wird, dass eben möglichst Hund statt Katze ausgegeben wird. Bei der Klassifikation haben wir eine neue Verlustfunktion vorgestellt, welche die am weitesten verbreitete Verlustfunktion für die Klassifikation verallgemeinert.“
Mit dem Paper „Prototype Softmax Cross Entropy: A New Perspective on Softmax Cross Entropy“, welches diese neue Verlustfunktion vorstellt, gewann Qendrim Schreiber mit seinen Co-Autor:innen den Best Paper Award bei der Scandinavian Conference on Image Analysis (SCIA). Es wird darin eine neue Verlustfunktion vorgestellt, mit der in tiefen neuronalen Netzen der Merkmals Encoder besser trainiert werden kann als mit bisherigen Verlustfunktionen. Dabei kommen Prototypen zum Einsatz, die als Ecken eines regulären Simplex mit maximalem paarweisen Abstand auf der Einheitssphäre im Merkmalsraum gewählt werden.
Warum haben Sie sich für dieses Thema entschieden?
Qendrim Schreiber: „Ursprünglich ging meine Masterarbeit in den Bereich der Textklassifikation. Da gab es eine bestimmte Methode, die zum damaligen Stand noch hauptsächlich für Texte verwendet wurde. Ich habe gemerkt, dass diese Methode auch bei Bildern oder anderen Inputdaten verwendet werden kann. Leider hatten wir dann bei den Ideen, die wir weiter durchdacht hatten, das Problem, dass uns andere Forschende zuvorgekommen sind, da in der KI gerade sehr viel geforscht wird. Die Chance, dass das, was man herausfindet, auch jemand anderes im gleichen Zeitraum herausfindet, ist in diesem Bereich sehr groß. Uns ist das zweimal passiert. Wir konnten dann aber eben noch einen Teil retten und daraus ist das genannte Paper entstanden.“
Vor allem der Veröffentlichungsdruck in der Grundlagenforschung sei enorm, so Schreiber. Seine Hürden in der Promotion beschreibt er wie folgt: „Zum einen war es natürlich problematisch, dass der Druck Forschungsergebnisse zu erzielen sehr hoch und die Konkurrenz so zahlreich war. Wenn die Ideen, die wir hatten, andere Forschende auch hatten und die dann schneller veröffentlicht haben, war das sehr ärgerlich. Wir können zum Beispiel nicht mit Google konkurrieren, die haben finanzielle und personelle Möglichkeiten, die wir natürlich nicht haben. Wenn die Forschung an einem gewissen Punkt angekommen ist, ist der nächste Schritt oft naheliegend und dass dann mehrere Personen auf dieselbe Ideen kommen ist nicht so unwahrscheinlich. Das war eigentlich mit das größte Problem.“
Die Finanzierung einer Promotion
Wie finanziert sich die Forschung?
Qendrim Schreiber: „Wir waren anfangs vier Doktoranden, die ungefähr zur gleichen Zeit angefangen haben. Zwei Kollegen waren direkt bei einem Unternehmen angestellt und der andere Kollege und ich waren an der Hochschule für Technik Stuttgart angestellt. Die HFT hatte damals noch nicht das Promotionsrecht. Dementsprechend hatten wir eine Kooperation mit der Johannes Gutenberg-Universität Mainz, an der wir als Doktoranden eingeschrieben waren bzw. bin. An der HFT haben wir eine Betreuerin, die sich darum kümmert, Projekte an Land zu ziehen, um die Finanzierung zu gewährleisten. Eine andere Möglichkeit, die ich jetzt seit Juni 2023 habe, ist eine Assistenzstelle an der Hochschule, bei der ich auch eine Lehrverpflichtung, beziehungsweise Assistenzverpflichtung habe. Außerdem habe ich einen Lehrauftrag an der Hochschule Esslingen angenommen. Dort habe ich zwei Semester Vorlesungen gehalten, um noch etwas dazuzuverdienen, aber auch weil mir die Lehre viel Spaß macht. Hauptsächlich ist meine Finanzierung allerdings durch Projekte an der Hochschule gelaufen.“
Ist es schwierig, so viele Dinge unter einen Hut zu bekommen und dauerhaft die Finanzierung im Hinterkopf zu haben?
Qendrim Schreiber: „Es geht eigentlich. Die Bezahlung ist gar nicht so schlecht, man kommt gut damit klar. Es war jetzt ein bisschen knapp, da ich letztes Jahr Vater geworden bin. Mit einem Kind muss man dann doch noch einmal etwas weiterdenken. Aber das geht dann schon auch, wenn es absehbar ist.“
Für die Finanzierung einer Promotion gibt es viele Möglichkeiten. Neben einer Anstellung am Lehrstuhl gibt es jedoch noch weitere Möglichkeiten wie zum Beispiel ein Stipendium. Welche Möglichkeiten es gibt und was es zu beachten gibt, lesen Sie hier.
Wie gut funktioniert das Zusammenspiel zwischen Promotion und Familie?
Qendrim Schreiber: „Der eigentliche Plan war letztes Jahr fertig zu werden, aber das hat dann nicht geklappt, weil das Kind dann da war. Das Problem ist, dass man nicht unbedingt in Elternzeit gehen kann, weil einem dann die Zeit am Ende fehlt. Man hat Projekte, die über eine gewisse Zeit laufen. Zum Beispiel läuft das Projekt, in dem ich aktuell bin, nur bis März, und wenn ich einige Monate in Elternzeit gehe, dann fehlt mir die Zeit am Ende. Dementsprechend habe ich keine Elternzeit genommen, sondern nach der Geburt meinen Urlaub verwendet und war anschließend auch eine Zeit lang im Home-Office. Meine Frau hat auch Mathematik an der Hochschule für Technik studiert und ist im Dezember 22 fertig geworden, das bedeutet, sie hatte noch keinen Job. Unsere Tochter kam dann im April 23 auf die Welt. Wir haben uns dann gemeinsam dafür entschieden, dass sie erstmal zuhause bleibt und sich um die Kleine kümmert.“
Eine Promotion mit Kind ist eine große Herausforderung und bedarf gründlicher Planung. Im Interview mit Hochschul-Job.de berichten Erika Mosebach, Doktorandin an der Universität Heidelberg und Mutter eines Sohnes, und Nils Vief, Doktorand an der Universität Marburg und Vater einer Tochter, von ihren Erfahrungen mit der Promotion als Elternteil. Auf was man dabei achten sollte, wie man Forschung und Familie unter einen Hut bekommt, welche Form der Finanzierung sich anbietet und was der Schlüssel zum Erfolg sein kann, lesen Sie hier.
Von der Theorie in die Praxis
Welchen Mehrwert erhoffen Sie sich aus Ihrer Dissertation für den Forschungsbereich?
Qendrim Schreiber: „Ich habe jetzt nur von der einen Seite der Forschungsrichtung erzählt, vielleicht erzähle ich noch kurz von der anderen, nämlich der Segmentierung von 3D-Geometrie-Objekten beziehungsweise Szenen. Das letzte Paper, was wir geschrieben haben, welches gerade unter Begutachtung steht, beschäftigt sich damit, große Szenen zu segmentieren. Ein konkretes Beispiel: Wir haben einen Datensatz von Helsinki gegeben, und zwar als texturiertes Dreiecksnetz und wollen jetzt herausfinden, wo Gebäude, Straßen, Autos, Wasser, Grünfläche und so weiter sind. Dazu haben wir eine neue Architektur und eine neue Eingabeform für diese Architektur entwickelt, um die Segmentierung durchzuführen. Dabei können wir aktuell das beste Ergebnis auf diesem Datensatz erzielen. Für die Anwendung gibt es verschiedene Bereiche. Ein Beispiel wäre die Stadtplanung. Die Segmentierung kann dabei helfen, verschiedene Bereiche einer Stadt zu identifizieren und anschließend zu analysieren, wie Wohngebiete, Gewerbegebiete, Grünflächen und Verkehrsnetze. Dadurch können Stadtplaner die Raumnutzung und die Entwicklung nachhaltiger Städte optimieren. Für die Segmentierung von einzelnen Objekten gibt es zum Beispiel in der Automobilbranche Anwendungen. Bauteile, die als 3D Modell vorliegen, können in gewünschte Komponenten zerlegt und für weitere Aufgaben genutzt werden.“
Welche Ziele haben Sie im Anschluss an Ihre Promotion?
Qendrim Schreiber: „Ich möchte in die Wirtschaft gehen. Gerade bin ich dabei meine Bewerbungsunterlagen fertigzustellen und nach Stellen Ausschau zu halten irgendwo im Bereich KI, Data-Scientist vielleicht. Ich würde grundsätzlich gerne weiterhin mit KI arbeiten, aber was genau, da bin ich recht offen. Die Aufgabe muss spannend sein und ansonsten kann ich mir in dem Bereich eigentlich vieles vorstellen.“
Wo sehen Sie sich in zehn Jahren?
Qendrim Schreiber: „Also ganz ursprünglich habe ich den Doktor angefangen, weil ich unter anderem auch Professor an einer Hochschule werden wollte, weil mir die Lehre an sich Spaß macht und mir die Möglichkeit gibt, weiterhin in der Forschung unabhängig zu sein. Mittlerweile weiß ich nicht mehr genau, ob ich das noch will, aber das kann ich jetzt noch nicht vorhersagen. Entweder bin ich in einem Unternehmen oder vielleicht bin ich doch Professor, wenn das klappt, aber das wird die Zeit dann zeigen.“
Künstliche Intelligenz in der Zukunft
Haben Sie eine Prognose, wie sich KI in Zukunft entwickeln könnte?
Qendrim Schreiber: „Was Prognosen angeht, glaube ich, ist jede Vorhersage, die weiter als zwei/drei Jahre geht, nicht wirklich verlässlich. Ich glaube, vor sieben Jahren hätte ich nicht gedacht, dass so etwas wie ChatGPT in naher Zukunft schon möglich ist. Jetzt ist es da und es ist faszinierend, dass es so gut funktioniert. Jetzt eine Prognose abzugeben, wie es vielleicht in fünf oder zehn Jahren aussehen wird, ist nicht seriös. Ich erhoffe mir, dass die KI eine stärkere positive Wirkung hat und weltweit für gute Dinge weiterentwickelt und dabei auch auf den Schutz von Daten geachtet wird. Dass jetzt das Worst-Case-Szenario eintritt und die KI die Menschheit zerstört, das halte ich tatsächlich für unrealistisch, auch für die nächsten Jahrzehnte. Aber dass der Mensch die KI großflächig negativ einsetzt, kann ich mir schon vorstellen. Noch eine Sache vielleicht: Ich hoffe, dass leistungsstarke KI in Zukunft nicht nur wenigen großen Unternehmen vorbehalten bleibt. Aktuell gibt es eine gewisse Architektur namens Transformer, welche auch in ChatGPT verwendet wird. Ein Theorem besagt vereinfacht ausgedrückt: ‚Erhöhe die Anzahl an Parameter deines Modells, erhöhe die Menge der eingespeisten Daten, dann wird das Modell besser’. Das ist für große Unternehmen toll, für uns natürlich nicht, weil wir nicht die Möglichkeit haben, riesige KI-Rechner zu nutzen, um die KI zu trainieren.“
„Das Beste an einer Promotion ist die Freiheit in der Forschung“ – Qendrim Schreiber
Haben Sie noch ein Fazit für (zukünftige) Wissenschaftler:innen?
Qendrim Schreiber: „Ich würde sagen, traut euch! Also am Anfang denkt man sich vielleicht ‚kann ich das überhaupt, habe ich überhaupt die Fähigkeiten für eine Promotion‘, aber wenn man Spaß an der Forschung und an dem Thema hat, dann sollte man es auch versuchen. Und mehr als ein Versuch kann ja gar nicht passieren. Ich habe anfangs auch gezweifelt, ob das so eine gute Idee war, aber ich bin froh, dass ich dabei geblieben bin.“
Dieses Interview führte Redakteurin Laura Marie Hattenhauer am 24.01.2024.