Sea Dragon neemt standpunt in over kunstmatige intelligentie en LLM's als ondersteuning bij het programmeren

De afgelopen jaren werd het technologische debat gedomineerd door de snelle opmars van de zogenaamde kunstmatige intelligentie. Als technologie- en engineeringbedrijf heeft Sea Dragon een grondig, verantwoord en technisch onderbouwd onderzoek uitgevoerd om een weloverwogen standpunt in te nemen over kunstmatige intelligentie.

Ons bedrijf beschikt over specialisten in Data Science en kunstmatige intelligentie, met internationale certificeringen en erkenningen van RapidMiner, IBM en Microsoft, en wij hebben gerelateerde diensten geleverd aan bedrijven en instellingen. Daarom moeten wij, met het doel te informeren en te onderwijzen, enkele begrippen verduidelijken die in het publieke debat vaak door elkaar worden gehaald.

Data Science is een discipline die wiskunde, statistiek, programmeren en bedrijfsanalyse combineert om uit een verzameling gestructureerde en ongestructureerde gegevens kennis, patronen en informatie voor besluitvorming te halen.

Kunstmatige intelligentie is een breed vakgebied binnen de informatica dat gericht is op het creëren van systemen die taken kunnen uitvoeren die menselijke cognitie nabootsen, zoals visuele waarneming, redeneren of het oplossen van complexe problemen.

Machine learning (automatisch leren) is een deelgebied van de informatica dat algoritmen ontwikkelt die patronen leren uit een verzameling historische gegevens, om classificaties, groeperingen en voorspellingen te maken zonder dat regels expliciet geprogrammeerd hoeven te worden. Het is een nuttig hulpmiddel voor zowel Data Science als kunstmatige intelligentie.

Een groot taalmodel (LLM, Large Language Model) is een vakgebied binnen de kunstmatige intelligentie dat gebaseerd is op machine-learningalgoritmen die zijn getraind met grote hoeveelheden tekst. Deze modellen voorspellen de meest waarschijnlijke woordenreeks op basis van een invoer, meestal prompt genoemd.

Machine learning als hulpmiddel stelt ons in staat beslissingen te nemen op basis van waarschijnlijkheid. Als een datawetenschapper het kredietrisico van een bevolkingsgroep bestudeert op basis van historische gegevens, zal die tot een resultaat komen als:

"Een persoon van 22 jaar die studeert en geen vermogen heeft" heeft 96% kans om een verstrekte consumptieve lening niet terug te betalen als het inkomen van de borg gelijk is aan of lager dan 1,5 keer het minimumloon.

Op basis van dit resultaat kan worden aanbevolen een consumptieve lening te weigeren aan een persoon met deze kenmerken.

"Een persoon van 35 jaar met een vaste baan en een schone kredietgeschiedenis" heeft minder dan 5% kans om een verstrekte consumptieve lening niet terug te betalen, mits deze niet hoger is dan 5 keer het salaris van deze persoon.

Op basis van dit resultaat kan worden aanbevolen een consumptieve lening te verstrekken aan een persoon met deze kenmerken.

Deze aanbevelingen zijn gebaseerd op data-analyse met een classificatiesysteem dat kan worden geanalyseerd en verklaard, en waarvan het betrouwbaarheidsniveau kan worden gemeten. Veel van de Data Science-projecten die vandaag in gebruik zijn, beschikken over processen om deze modellen opnieuw te kalibreren wanneer de omstandigheden waarvoor ze zijn getraind veranderen.

Toch zijn niet alle projecten waarbij machine learning wordt ingezet succesvol. Anders zouden sportweddenschapskantoren het onderspit delven tegen een voorspellend model. Het probleem van het toepassen van een machine-learningalgoritme om de uitslag van een sportcompetitie te voorspellen is het enorme aantal variabelen dat de resultaten beïnvloedt. Een overdreven voorbeeld:

Voorspellen dat een kampioen van de eerste divisie een wedstrijd wint van de nummer drie van onderen in dezelfde competitie lijkt eenvoudig, maar als de trainer besluit alleen met reservespelers te spelen om zijn selectie te sparen voor de eerste wedstrijd van de Copa Libertadores halverwege de week, wordt een groot deel van de statistieken onderuitgehaald: de trainer speelt niet met dezelfde opstelling en het reserveteam heeft minder ervaring. Ook al is het shirt hetzelfde, je hebt niet langer de variabelen om op een overwinning te wedden.

Wanneer de variabiliteit van de voorspellingsparameters erg groot is, is de uitkomst niet langer betrouwbaar. Het voorspellende systeem heeft nodig dat de omstandigheden van de gebeurtenis die het analyseert vergelijkbaar zijn met die van de gebeurtenissen waarmee het is getraind.

Daarom wordt, anders dan in het eerste geval, waarin een verantwoordelijke organisatie de aanbeveling van het machine-learningsysteem slechts als referentie neemt en door een deskundige laat controleren, in het tweede geval de menselijke en de geautomatiseerde voorspelling even onzeker. De conclusie is de volgende:

De resultaten die een machine-learningmodel oplevert, zijn slechts zo goed als de gegevens waarmee het is getraind.

Een groot taalmodel (LLM) wordt getraind met een machine-learningalgoritme waarvan de beslissing niet gemakkelijk te verklaren is en dat niet gesuperviseerd is. Deze modellen werken door het meest waarschijnlijke woord te genereren gegeven een context, en de waarschijnlijkheid wordt bijgesteld op basis van parameters die wij als gebruikers niet kennen. Voor dezelfde invoer X (de prompt) zijn er daarom veel verschillende uitvoeren, en sommige daarvan kunnen onjuist zijn. Dit noemt men een "hallucinatie".

Hallucinaties kunnen niet volledig worden voorkomen: ze kunnen alleen worden verzacht, in realtime door het soort werk dat aan een LLM wordt gevraagd te beperken en zeer specifieke prompts te schrijven, of tijdens de training door meer gegevens te verzamelen en toe te voegen. Dat is de reden waarom ChatGPT, Claude en andere modellen op industriële schaal datacenters nodig hebben die uitsluitend voor training bestemd zijn.

Taalmodellen zijn heel goed geworden in het verbergen van hun fouten: de antwoorden die ze geven zijn grotendeels zo coherent geschreven dat een groep gebruikers van deze modellen is gestopt met controleren of het resultaat klopt. Dat is een fout, want een groot taalmodel kan de bedrijfslogica niet begrijpen; het kan begrip alleen nabootsen.

Daarom is onze conclusie de volgende: het lukraak gebruiken van code die door grote taalmodellen is gegenereerd, zonder zorgvuldige menselijke controle, brengt ernstige operationele en veiligheidsrisico's met zich mee voor bedrijven:

• Er ontstaat onzichtbare technische schuld: omdat het model de bedrijfslogica niet begrijpt, lijkt de gegenereerde code correct, maar kan die diepgaande logische fouten of onvoorspelbaar gedrag bevatten.
• Het vermogen om deze code te onderhouden gaat verloren: wanneer grote hoeveelheden door een hulpmiddel gegenereerde code worden overgenomen, wordt het controleren en onderhouden van die code een complex proces.
• Er ontstaan beveiligingslekken: de training van deze modellen omvat openbare repositories met fouten en verouderde werkwijzen die bugs, injecties of kwetsbaarheden kunnen introduceren die in productie niet te detecteren zijn. Mensen met ervaring in open-sourceontwikkeling weten dat code in een repository niet foutloos is, en dat de reden om een repository te publiceren is dat meer technisch onderlegde mensen de code kunnen bekijken, controleren en verbeteren.

Tot besluit: hoewel wij erkennen dat kunstmatige intelligentie een grote technologische revolutie is, is onze houding die van weloverwogen engineering. Bij Sea Dragon vermijden wij het om met grote taalmodellen rechtstreeks code te genereren voor de projecten van onze klanten; wij leveren liever altijd gestructureerde, geteste code die rechtstreeks is beoordeeld door gekwalificeerde professionals, die technische beslissingen nemen op basis van kennis, een solide architectuur en goede praktijken uit de sector. De betrouwbaarheid van software wordt niet opgebouwd met sluiproutes, maar met transparantie, technisch inzicht en menselijke verantwoordelijkheid in elke geschreven regel code.

Dit betekent niet dat wij geen kunstmatige intelligentie gebruiken, helemaal niet: het zou een vergissing zijn te ontkennen dat het nuttige hulpmiddelen zijn, en wij kunnen op grote taalmodellen vertrouwen voor de ontwikkeling van proofs of concept en voor het uitbesteden van niet-kritieke taken, maar in geen geval zullen ze een integraal onderdeel vormen van de projecten die wij aan onze klanten leveren.