Sea Dragon adopta postura sobre la Inteligencia Artificial y los LLM como apoyo a la programación

En los últimos años, el debate tecnológico ha estado dominado por el acelerado avance de la llamada Inteligencia Artificial. Como empresa de tecnología e ingeniería, Sea Dragon ha realizado una investigación exhaustiva, responsable y con criterio de ingeniería para adoptar una postura con relación a la Inteligencia Artificial, de manera informada.

Nuestra empresa cuenta con especialistas en Ciencia de Datos e Inteligencia Artificial, con certificaciones y reconocimientos internacionales por parte de RapidMiner, IBM y Microsoft, y hemos prestado servicios relacionados a empresas e instituciones. Por eso es que, con el propósito de informar y educar, debemos precisar algunos conceptos que a menudo se confunden en el discurso público.

La Ciencia de Datos es una disciplina que combina matemática, estadística, programación y análisis de negocios para extraer conocimiento, patrones e información para la toma de decisiones a partir de un conjunto de datos estructurados y no estructurados.
La Inteligencia Artificial es un campo amplio de la ciencia de la computación, orientada a crear sistemas capaces de realizar tareas que simulan la cognición humana, tales como la percepción visual, el razonamiento o la resolución de problemas complejos.
El Aprendizaje Automático o Machine Learning es un área de la informática que desarrolla algoritmos que aprenden patrones a partir de un conjunto de datos históricos, con el propósito de realizar clasificaciones, agrupaciones y predicciones sin que sea necesario programar reglas de manera explícita. Es una herramienta útil tanto para la Ciencia de Datos como para la Inteligencia Artificial.
Un Modelo Grande de Lenguaje (LLM) es un campo de la Inteligencia Artificial que se basa en algoritmos de aprendizaje automático entrenados con grandes volúmenes de texto. Estos modelos predicen una secuencia de palabras más probable en función de una entrada, usualmente llamada prompt.

El aprendizaje automático como herramienta nos permite tomar decisiones en función de la probabilidad. Si un científico de datos estudia el riesgo crediticio de una población basándose en datos históricos se encontrará con un resultado tal como:

"Una persona de 22 años que está estudiando y no tiene patrimonio" tiene un 96% de posibilidades de dejar de pagar un crédito de consumo otorgado si su aval tiene ingresos iguales o inferiores a 1.5 veces el sueldo mínimo.

Con este resultado, puede recomendarse negar un crédito de consumo a una persona con estas características.

"Una persona de 35 años con un empleo estable y un historial crediticio limpio" tiene menos de un 5% de posibilidades de dejar de pagar un crédito de consumo otorgado, siempre que éste no sea superior a 5 veces el sueldo de esta persona.

Con este resultado, puede recomendarse de otorgar un crédito de consumo a una persona con estas características.

Estas recomendaciones se basan en el análisis de datos con un sistema de clasificación que puede ser analizado y explicado, y su nivel de confianza se puede medir. Muchos de los proyectos de ciencia de datos que están en funcionamiento hoy en día cuentan con procesos que permiten calibrar estos modelos si es que las condiciones para las que fueron entrenados cambian.

Sin embargo, no todos los proyectos que involucran aprendizaje automático son exitosos. De serlo, las casas de apuestas deportivas sucumbirían ante un modelo predictivo. El problema con aplicar un algoritmo de aprendizaje automático para predecir el resultado de una liga deportiva es la enorme cantidad de variables que influyen en los resultados. Un ejemplo exagerado:

Predecir que un Campeón de Primera División ganará un partido contra el antepenúltimo de la misma parece fácil, pero si el técnico decide que jugará sólo con suplentes para cuidar a su plantel para el primer partido de la Copa Libertadores que se jugará a media semana arruina una gran parte de las estadísticas: el técnico no jugará con la misma formación, el equipo suplente tiene menos experiencia. Aunque la camiseta sea la misma, ya no tienes las variables necesarias para apostar a ganar.

Cuando la variabilidad de los parámetros de predicción es muy alta, el resultado de la misma ya no es confiable. El sistema predictivo necesita que las condiciones del evento que analizará sean similares a las condiciones de los eventos con que fue entrenado.

Por eso es que a diferencia del primer caso en que en una entidad responsable la recomendación del sistema de aprendizaje automático se toma como referencia solamente y es revisada por un experto, en el segundo caso la predicción humana y la automatizada son igual de inciertas. El corolario es el siguiente:

Los resultados que entrega un modelo de aprendizaje automático son tan buenos como los datos con los que ha sido entrenado.

Un Modelo Grande de Lenguaje (LLM, por sus siglas en inglés) se entrena con un algoritmo de aprendizaje automático cuya decisión no puede explicarse fácilmente y no es supervisado. Estos modelos trabajan generando la palabra más probable dado un contexto, y la probabilidad se ajusta tomando en cuenta parámetros que los usuarios desconocemos, por lo que para una misma entrada X (el prompt) habrá muchas salidas diferentes y algunas de ellas podrían estar erróneas. Esto es lo que se llama una "alucinación".

Ahora, las alucinaciones no pueden evitarse del todo: sólo pueden mitigarse en tiempo real limitando el tipo de trabajo que se le solicita a un LLM, escribiendo prompts muy específicos sobre lo que se solicita, o en tiempo de entrenamiento acumulando y agregando más datos, que es la razón por la que ChatGPT, Claude y otros modelos de tipo industrial requieren de centros de datos dedicados sólo al entrenamiento.

Los modelos de lenguaje se han vuelto muy buenos en ocultar sus fallas: en su gran mayoría, las respuestas que entregan están escritas de manera tan coherente que un grupo de usuarios de estos modelos ha dejado de revisar que el resultado sea correcto. Esto es un error, pues un modelo de lenguaje grande no es capaz de entender la lógica del negocio, sólo es capaz de emular comprensión.

Por ello es que nuestra conclusión es la siguiente: el uso indiscriminado de código generado por modelos grandes de lenguaje sin una revisión humana minuciosa presenta serios peligros operacionales y de seguridad para las empresas:

Se genera deuda técnica invisible: al no comprender la lógica de negocio, el código que se genera parece correcto pero puede incluir fallas lógicas profundas o comportamientos impredecibles.
Se pierde la capacidad de mantener este código: aceptar fragmentos masivos de código generados por una herramienta, la capacidad de auditar y realizar mantenimiento sobre este código es un proceso complejo.
Se abren brechas de seguridad: el entrenamiento de estos modelos incluye repositorios públicos con errores y prácticas obsoletas que pueden introducir errores, inyecciones o vulnerabilidades que no se pueden detectar en producción. Las personas con experiencia en desarrollo de código abierto saben que el código que está disponible en un repositorio no está exento de errores, y que la razón para publicar un repositorio es que más personas con capacidades técnicas puedan ver, auditar y mejorar el código.

En conclusión, si bien reconocemos que la Inteligencia Artificial es una gran revolución tecnológica, nuestra postura es la de ingeniería deliberada. En Sea Dragon evitamos generar código con modelos grandes de lenguaje directamente sobre los proyectos de nuestros clientes, prefiriendo siempre entregar código estructurado, probado y revisado directamente por profesionales capacitados que realizan decisiones técnicas con respaldo en el conocimiento, una arquitectura sólida y buenas prácticas de la industria. La confiabilidad del software no se construye con atajos, sino con transparencia, criterio técnico y responsabilidad humana en cada línea de código escrita.

Esto no significa que no utilicemos Inteligencia Artificial, en lo absoluto: sería un error negar que son herramientas útiles, y podemos confiar en los modelos grandes de lenguaje para el desarrollo de pruebas de concepto y para derivar tareas que no son críticas, pero bajo ningún punto de vista éstas formarán parte integral de los proyectos que entregamos a nuestros clientes.