Sea Dragon adopta una postura sobre la Intel·ligència Artificial i els LLM com a suport a la programació

En els darrers anys, el debat tecnològic ha estat dominat pel ràpid avenç de l'anomenada Intel·ligència Artificial. Com a empresa de tecnologia i enginyeria, Sea Dragon ha dut a terme una investigació exhaustiva, responsable i amb criteri d'enginyeria per adoptar una postura informada en relació amb la Intel·ligència Artificial.

La nostra empresa compta amb especialistes en Ciència de Dades i Intel·ligència Artificial, amb certificacions i reconeixements internacionals per part de RapidMiner, IBM i Microsoft, i hem prestat serveis relacionats a empreses i institucions. Per això, amb el propòsit d'informar i educar, hem de precisar alguns conceptes que sovint es confonen en el discurs públic.

La Ciència de Dades és una disciplina que combina matemàtica, estadística, programació i anàlisi de negoci per extreure coneixement, patrons i informació per a la presa de decisions a partir d'un conjunt de dades estructurades i no estructurades.

La Intel·ligència Artificial és un camp ampli de la ciència de la computació, orientat a crear sistemes capaços de fer tasques que simulen la cognició humana, com ara la percepció visual, el raonament o la resolució de problemes complexos.

L'Aprenentatge Automàtic o Machine Learning és una àrea de la informàtica que desenvolupa algorismes que aprenen patrons a partir d'un conjunt de dades històriques, amb el propòsit de fer classificacions, agrupacions i prediccions sense que calgui programar regles de manera explícita. És una eina útil tant per a la Ciència de Dades com per a la Intel·ligència Artificial.

Un Model Gran de Llenguatge (LLM) és un camp de la Intel·ligència Artificial basat en algorismes d'aprenentatge automàtic entrenats amb grans volums de text. Aquests models prediuen la seqüència de paraules més probable en funció d'una entrada, normalment anomenada prompt.

L'aprenentatge automàtic com a eina ens permet prendre decisions en funció de la probabilitat. Si un científic de dades estudia el risc creditici d'una població basant-se en dades històriques, es trobarà amb un resultat com aquest:

«Una persona de 22 anys que està estudiant i no té patrimoni» té un 96% de possibilitats de deixar de pagar un crèdit al consum concedit si el seu avalador té ingressos iguals o inferiors a 1,5 vegades el sou mínim.

Amb aquest resultat, es pot recomanar denegar un crèdit al consum a una persona amb aquestes característiques.

«Una persona de 35 anys amb una feina estable i un historial creditici net» té menys d'un 5% de possibilitats de deixar de pagar un crèdit al consum concedit, sempre que no sigui superior a 5 vegades el sou d'aquesta persona.

Amb aquest resultat, es pot recomanar concedir un crèdit al consum a una persona amb aquestes característiques.

Aquestes recomanacions es basen en l'anàlisi de dades amb un sistema de classificació que pot ser analitzat i explicat, i el nivell de confiança del qual es pot mesurar. Molts dels projectes de ciència de dades que estan en funcionament avui dia compten amb processos que permeten calibrar aquests models si les condicions per a les quals van ser entrenats canvien.

Tanmateix, no tots els projectes que impliquen aprenentatge automàtic tenen èxit. Si així fos, les cases d'apostes esportives sucumbirien davant d'un model predictiu. El problema d'aplicar un algorisme d'aprenentatge automàtic per predir el resultat d'una lliga esportiva és l'enorme quantitat de variables que influeixen en els resultats. Un exemple exagerat:

Predir que un campió de Primera Divisió guanyarà un partit contra l'antepenúltim de la mateixa lliga sembla fàcil, però si l'entrenador decideix que jugarà només amb suplents per cuidar la plantilla de cara al primer partit de la Copa Libertadores, que es jugarà a mitja setmana, s'espatlla una bona part de les estadístiques: l'entrenador no jugarà amb la mateixa formació i l'equip suplent té menys experiència. Encara que la samarreta sigui la mateixa, ja no tens les variables necessàries per apostar a guanyar.

Quan la variabilitat dels paràmetres de predicció és molt alta, el resultat ja no és fiable. El sistema predictiu necessita que les condicions de l'esdeveniment que analitzarà siguin similars a les condicions dels esdeveniments amb què va ser entrenat.

Per això, a diferència del primer cas, en què en una entitat responsable la recomanació del sistema d'aprenentatge automàtic es pren només com a referència i és revisada per un expert, en el segon cas la predicció humana i l'automatitzada són igual d'incertes. El corol·lari és el següent:

Els resultats que lliura un model d'aprenentatge automàtic són tan bons com les dades amb què ha estat entrenat.

Un Model Gran de Llenguatge (LLM, per les sigles en anglès) s'entrena amb un algorisme d'aprenentatge automàtic la decisió del qual no es pot explicar fàcilment i que no és supervisat. Aquests models treballen generant la paraula més probable donat un context, i la probabilitat s'ajusta tenint en compte paràmetres que els usuaris desconeixem, de manera que per a una mateixa entrada X (el prompt) hi haurà moltes sortides diferents i algunes podrien ser errònies. Això és el que s'anomena una «al·lucinació».

Ara bé, les al·lucinacions no es poden evitar del tot: només es poden mitigar, en temps real, limitant el tipus de feina que se sol·licita a un LLM i escrivint prompts molt específics, o en temps d'entrenament, acumulant i afegint més dades, que és la raó per la qual ChatGPT, Claude i altres models de tipus industrial requereixen centres de dades dedicats només a l'entrenament.

Els models de llenguatge s'han tornat molt bons a ocultar les seves fallades: en la seva gran majoria, les respostes que lliuren estan escrites de manera tan coherent que un grup d'usuaris d'aquests models ha deixat de revisar que el resultat sigui correcte. Això és un error, ja que un model gran de llenguatge no és capaç d'entendre la lògica del negoci, només és capaç d'emular comprensió.

Per això la nostra conclusió és la següent: l'ús indiscriminat de codi generat per models grans de llenguatge sense una revisió humana minuciosa presenta serioses amenaces operacionals i de seguretat per a les empreses:

• Es genera deute tècnic invisible: en no comprendre la lògica de negoci, el codi generat sembla correcte, però pot incloure errors lògics profunds o comportaments imprevisibles.
• Es perd la capacitat de mantenir aquest codi: quan s'accepten fragments massius de codi generats per una eina, auditar i mantenir aquest codi esdevé un procés complex.
• S'obren esquerdes de seguretat: l'entrenament d'aquests models inclou repositoris públics amb errors i pràctiques obsoletes que poden introduir errors, injeccions o vulnerabilitats que no es poden detectar en producció. Les persones amb experiència en desenvolupament de codi obert saben que el codi disponible en un repositori no està exempt d'errors, i que la raó per publicar un repositori és que més persones amb capacitats tècniques puguin veure, auditar i millorar el codi.

En conclusió, tot i que reconeixem que la Intel·ligència Artificial és una gran revolució tecnològica, la nostra postura és la d'una enginyeria deliberada. A Sea Dragon evitem generar codi amb models grans de llenguatge directament sobre els projectes dels nostres clients, preferint sempre lliurar codi estructurat, provat i revisat directament per professionals capacitats que prenen decisions tècniques amb el suport del coneixement, una arquitectura sòlida i les bones pràctiques del sector. La fiabilitat del programari no es construeix amb dreceres, sinó amb transparència, criteri tècnic i responsabilitat humana en cada línia de codi escrita.

Això no vol dir que no utilitzem Intel·ligència Artificial, en absolut: seria un error negar que són eines útils, i podem confiar en els models grans de llenguatge per al desenvolupament de proves de concepte i per derivar tasques que no són crítiques, però des de cap punt de vista aquests formaran part integral dels projectes que lliurem als nostres clients.