Sea Dragon bezieht Stellung zu Künstlicher Intelligenz und LLMs als Programmierunterstützung

In den letzten Jahren wurde die technologische Debatte vom rasanten Fortschritt der sogenannten Künstlichen Intelligenz dominiert. Als Technologie- und Ingenieurunternehmen hat Sea Dragon eine umfassende, verantwortungsvolle und ingenieurmäßig fundierte Untersuchung durchgeführt, um eine informierte Haltung zur Künstlichen Intelligenz einzunehmen.

Unser Unternehmen verfügt über Spezialistinnen und Spezialisten für Data Science und Künstliche Intelligenz mit internationalen Zertifizierungen und Auszeichnungen von RapidMiner, IBM und Microsoft, und wir haben entsprechende Dienstleistungen für Unternehmen und Institutionen erbracht. Deshalb müssen wir, um zu informieren und aufzuklären, einige Begriffe präzisieren, die im öffentlichen Diskurs häufig verwechselt werden.

Data Science ist eine Disziplin, die Mathematik, Statistik, Programmierung und Geschäftsanalyse verbindet, um aus strukturierten und unstrukturierten Datenbeständen Wissen, Muster und Informationen für die Entscheidungsfindung zu gewinnen.

Künstliche Intelligenz ist ein weites Feld der Informatik, das darauf abzielt, Systeme zu schaffen, die Aufgaben ausführen können, welche die menschliche Kognition nachahmen, wie visuelle Wahrnehmung, Schlussfolgern oder das Lösen komplexer Probleme.

Maschinelles Lernen (Machine Learning) ist ein Teilgebiet der Informatik, das Algorithmen entwickelt, die Muster aus historischen Datenbeständen lernen, um Klassifikationen, Gruppierungen und Vorhersagen vorzunehmen, ohne dass Regeln explizit programmiert werden müssen. Es ist ein nützliches Werkzeug sowohl für Data Science als auch für Künstliche Intelligenz.

Ein Großes Sprachmodell (Large Language Model, LLM) ist ein Bereich der Künstlichen Intelligenz, der auf Algorithmen des maschinellen Lernens beruht, die mit großen Textmengen trainiert wurden. Diese Modelle sagen anhand einer Eingabe, üblicherweise Prompt genannt, die wahrscheinlichste Wortfolge voraus.

Maschinelles Lernen als Werkzeug ermöglicht uns, Entscheidungen auf Grundlage von Wahrscheinlichkeiten zu treffen. Untersucht ein Data Scientist anhand historischer Daten das Kreditrisiko einer Bevölkerungsgruppe, gelangt man zu einem Ergebnis wie diesem:

„Eine 22-jährige Person, die studiert und kein Vermögen hat“ fällt mit einer Wahrscheinlichkeit von 96 % mit einem gewährten Verbraucherkredit aus, wenn das Einkommen ihres Bürgen höchstens das 1,5-Fache des Mindestlohns beträgt.

Aufgrund dieses Ergebnisses kann empfohlen werden, einer Person mit diesen Merkmalen einen Verbraucherkredit zu verweigern.

„Eine 35-jährige Person mit stabiler Anstellung und einwandfreier Kredithistorie“ fällt mit einer Wahrscheinlichkeit von weniger als 5 % mit einem gewährten Verbraucherkredit aus, sofern dieser das Fünffache ihres Gehalts nicht übersteigt.

Aufgrund dieses Ergebnisses kann empfohlen werden, einer Person mit diesen Merkmalen einen Verbraucherkredit zu gewähren.

Diese Empfehlungen beruhen auf einer Datenanalyse mit einem Klassifikationssystem, das analysiert und erklärt werden kann und dessen Konfidenzniveau sich messen lässt. Viele der heute laufenden Data-Science-Projekte verfügen über Prozesse, mit denen sich diese Modelle neu kalibrieren lassen, wenn sich die Bedingungen ändern, für die sie trainiert wurden.

Allerdings sind nicht alle Projekte mit maschinellem Lernen erfolgreich. Wären sie es, würden Sportwettanbieter einem Vorhersagemodell erliegen. Das Problem beim Einsatz eines Algorithmus des maschinellen Lernens zur Vorhersage der Ergebnisse einer Sportliga ist die enorme Zahl an Variablen, die das Ergebnis beeinflussen. Ein überspitztes Beispiel:

Vorherzusagen, dass der Meister der ersten Liga ein Spiel gegen den Drittletzten derselben Liga gewinnt, erscheint einfach. Entscheidet der Trainer jedoch, nur Ersatzspieler aufzustellen, um seinen Kader für das erste Spiel der Copa Libertadores unter der Woche zu schonen, wird ein großer Teil der Statistiken zunichtegemacht: Der Trainer wird nicht mit derselben Aufstellung antreten, und die Ersatzmannschaft hat weniger Erfahrung. Auch wenn das Trikot dasselbe ist, fehlen dir die nötigen Variablen, um auf einen Sieg zu wetten.

Ist die Variabilität der Vorhersageparameter sehr hoch, ist das Ergebnis nicht mehr verlässlich. Das Vorhersagesystem braucht Bedingungen für das zu analysierende Ereignis, die den Bedingungen der Ereignisse ähneln, mit denen es trainiert wurde.

Deshalb sind, anders als im ersten Fall – in dem eine verantwortungsvolle Einrichtung die Empfehlung des Systems für maschinelles Lernen nur als Referenz nimmt und von einer Fachperson prüfen lässt –, im zweiten Fall menschliche und automatisierte Vorhersage gleichermaßen unsicher. Die Schlussfolgerung lautet:

Die Ergebnisse eines Modells des maschinellen Lernens sind nur so gut wie die Daten, mit denen es trainiert wurde.

Ein Großes Sprachmodell (LLM) wird mit einem Algorithmus des maschinellen Lernens trainiert, dessen Entscheidungen sich nicht leicht erklären lassen und der nicht überwacht ist. Diese Modelle arbeiten, indem sie in einem gegebenen Kontext das wahrscheinlichste Wort erzeugen, und die Wahrscheinlichkeit wird unter Berücksichtigung von Parametern angepasst, die wir Nutzerinnen und Nutzer nicht kennen. Daher gibt es für dieselbe Eingabe X (den Prompt) viele verschiedene Ausgaben, und einige davon könnten fehlerhaft sein. Das nennt man eine „Halluzination“.

Halluzinationen lassen sich nicht vollständig vermeiden: Sie lassen sich nur abmildern – in Echtzeit, indem man die Art der Aufgaben, die einem LLM übertragen werden, begrenzt und sehr spezifische Prompts schreibt, oder zur Trainingszeit, indem man mehr Daten ansammelt und hinzufügt. Das ist der Grund, warum ChatGPT, Claude und andere Modelle im industriellen Maßstab Rechenzentren benötigen, die ausschließlich dem Training dienen.

Sprachmodelle sind sehr gut darin geworden, ihre Fehler zu verbergen: Die Antworten, die sie liefern, sind größtenteils so kohärent formuliert, dass eine Gruppe von Nutzerinnen und Nutzern aufgehört hat, zu prüfen, ob das Ergebnis stimmt. Das ist ein Fehler, denn ein großes Sprachmodell ist nicht in der Lage, die Geschäftslogik zu verstehen; es kann Verständnis lediglich nachahmen.

Deshalb lautet unser Fazit: Der unterschiedslose Einsatz von Code, der von großen Sprachmodellen erzeugt wurde, ohne sorgfältige menschliche Prüfung birgt ernsthafte betriebliche und sicherheitsrelevante Gefahren für Unternehmen:

• Unsichtbare technische Schulden entstehen: Da die Geschäftslogik nicht verstanden wird, wirkt der erzeugte Code korrekt, kann aber tiefgreifende logische Fehler oder unvorhersehbares Verhalten enthalten.
• Die Fähigkeit, diesen Code zu warten, geht verloren: Werden umfangreiche, von einem Werkzeug erzeugte Codeabschnitte übernommen, ist es ein komplexer Prozess, diesen Code zu prüfen und zu warten.
• Sicherheitslücken entstehen: Das Training dieser Modelle umfasst öffentliche Repositories mit Fehlern und veralteten Praktiken, die Fehler, Injections oder Schwachstellen einschleusen können, die sich in der Produktion nicht erkennen lassen. Wer Erfahrung in der Open-Source-Entwicklung hat, weiß, dass Code in einem Repository nicht frei von Fehlern ist und dass der Grund für die Veröffentlichung eines Repositories darin besteht, dass mehr technisch versierte Menschen den Code einsehen, prüfen und verbessern können.

Zusammenfassend erkennen wir zwar an, dass die Künstliche Intelligenz eine große technologische Revolution ist, doch unsere Haltung ist die eines bewussten Engineerings. Bei Sea Dragon vermeiden wir es, Code mit großen Sprachmodellen direkt in Kundenprojekten zu erzeugen, und liefern stattdessen stets strukturierten, getesteten und direkt von qualifizierten Fachleuten geprüften Code, wobei diese technische Entscheidungen auf Grundlage von Wissen, einer soliden Architektur und bewährten Branchenpraktiken treffen. Die Zuverlässigkeit von Software entsteht nicht durch Abkürzungen, sondern durch Transparenz, technisches Urteilsvermögen und menschliche Verantwortung in jeder geschriebenen Codezeile.

Das bedeutet nicht, dass wir keine Künstliche Intelligenz einsetzen, ganz und gar nicht: Es wäre ein Fehler zu leugnen, dass es nützliche Werkzeuge sind, und wir können uns bei der Entwicklung von Machbarkeitsnachweisen (Proofs of Concept) und bei der Delegation unkritischer Aufgaben auf große Sprachmodelle verlassen, doch unter keinen Umständen werden sie integraler Bestandteil der Projekte sein, die wir unseren Kundinnen und Kunden liefern.