A Sea Dragon adota uma postura sobre a Inteligência Artificial e os LLMs como apoio à programação

Nos últimos anos, o debate tecnológico tem sido dominado pelo avanço acelerado da chamada Inteligência Artificial. Como empresa de tecnologia e engenharia, a Sea Dragon realizou uma pesquisa exaustiva, responsável e com critério de engenharia para adotar uma postura informada em relação à Inteligência Artificial.

Nossa empresa conta com especialistas em Ciência de Dados e Inteligência Artificial, com certificações e reconhecimentos internacionais da RapidMiner, da IBM e da Microsoft, e já prestamos serviços relacionados a empresas e instituições. Por isso, com o propósito de informar e educar, precisamos esclarecer alguns conceitos que costumam ser confundidos no discurso público.

A Ciência de Dados é uma disciplina que combina matemática, estatística, programação e análise de negócios para extrair conhecimento, padrões e informações para a tomada de decisões a partir de um conjunto de dados estruturados e não estruturados.

A Inteligência Artificial é um campo amplo da ciência da computação, voltado a criar sistemas capazes de realizar tarefas que simulam a cognição humana, como a percepção visual, o raciocínio ou a resolução de problemas complexos.

O Aprendizado de Máquina ou Machine Learning é uma área da informática que desenvolve algoritmos que aprendem padrões a partir de um conjunto de dados históricos, com o propósito de realizar classificações, agrupamentos e previsões sem que seja necessário programar regras de maneira explícita. É uma ferramenta útil tanto para a Ciência de Dados quanto para a Inteligência Artificial.

Um Grande Modelo de Linguagem (LLM) é um campo da Inteligência Artificial baseado em algoritmos de aprendizado de máquina treinados com grandes volumes de texto. Esses modelos preveem a sequência de palavras mais provável a partir de uma entrada, geralmente chamada de prompt.

O aprendizado de máquina, como ferramenta, nos permite tomar decisões em função da probabilidade. Se um cientista de dados estuda o risco de crédito de uma população com base em dados históricos, encontrará um resultado como:

"Uma pessoa de 22 anos que está estudando e não tem patrimônio" tem 96% de chances de deixar de pagar um crédito de consumo concedido se o seu avalista tiver renda igual ou inferior a 1,5 vez o salário mínimo.

Com esse resultado, pode-se recomendar negar um crédito de consumo a uma pessoa com essas características.

"Uma pessoa de 35 anos com um emprego estável e um histórico de crédito limpo" tem menos de 5% de chances de deixar de pagar um crédito de consumo concedido, desde que este não seja superior a 5 vezes o salário dessa pessoa.

Com esse resultado, pode-se recomendar conceder um crédito de consumo a uma pessoa com essas características.

Essas recomendações baseiam-se na análise de dados com um sistema de classificação que pode ser analisado e explicado, e cujo nível de confiança pode ser medido. Muitos dos projetos de ciência de dados que estão em funcionamento hoje contam com processos que permitem calibrar esses modelos caso as condições para as quais foram treinados mudem.

No entanto, nem todos os projetos que envolvem aprendizado de máquina são bem-sucedidos. Se fossem, as casas de apostas esportivas sucumbiriam diante de um modelo preditivo. O problema de aplicar um algoritmo de aprendizado de máquina para prever o resultado de um campeonato esportivo é a enorme quantidade de variáveis que influenciam os resultados. Um exemplo exagerado:

Prever que o campeão da Primeira Divisão vencerá uma partida contra o antepenúltimo colocado do mesmo campeonato parece fácil, mas se o técnico decidir escalar apenas reservas para poupar seu elenco na primeira partida da Copa Libertadores, que será disputada no meio da semana, boa parte das estatísticas vai por água abaixo: o técnico não usará a mesma formação, e a equipe reserva tem menos experiência. Embora a camisa seja a mesma, você já não tem as variáveis necessárias para apostar na vitória.

Quando a variabilidade dos parâmetros de previsão é muito alta, o resultado deixa de ser confiável. O sistema preditivo precisa que as condições do evento que analisará sejam semelhantes às condições dos eventos com que foi treinado.

Por isso, diferentemente do primeiro caso, em que, numa entidade responsável, a recomendação do sistema de aprendizado de máquina é tomada apenas como referência e revisada por um especialista, no segundo caso a previsão humana e a automatizada são igualmente incertas. O corolário é o seguinte:

Os resultados que um modelo de aprendizado de máquina entrega são tão bons quanto os dados com os quais foi treinado.

Um Grande Modelo de Linguagem (LLM, na sigla em inglês) é treinado com um algoritmo de aprendizado de máquina cuja decisão não pode ser explicada com facilidade e que não é supervisionado. Esses modelos funcionam gerando a palavra mais provável dado um contexto, e a probabilidade é ajustada levando em conta parâmetros que nós, usuários, desconhecemos; por isso, para uma mesma entrada X (o prompt) haverá muitas saídas diferentes, e algumas delas podem estar erradas. Isso é o que se chama de "alucinação".

Agora, as alucinações não podem ser totalmente evitadas: só podem ser mitigadas, em tempo real, limitando o tipo de trabalho solicitado a um LLM e escrevendo prompts muito específicos, ou, em tempo de treinamento, acumulando e agregando mais dados, o que explica por que o ChatGPT, o Claude e outros modelos de tipo industrial exigem data centers dedicados somente ao treinamento.

Os modelos de linguagem tornaram-se muito bons em ocultar suas falhas: na grande maioria dos casos, as respostas que entregam são escritas de maneira tão coerente que um grupo de usuários desses modelos deixou de verificar se o resultado está correto. Isso é um erro, pois um grande modelo de linguagem não é capaz de entender a lógica do negócio, apenas de emular compreensão.

Por isso, nossa conclusão é a seguinte: o uso indiscriminado de código gerado por grandes modelos de linguagem sem uma revisão humana minuciosa apresenta sérios perigos operacionais e de segurança para as empresas:

• Gera-se dívida técnica invisível: por não compreender a lógica de negócio, o código gerado parece correto, mas pode incluir falhas lógicas profundas ou comportamentos imprevisíveis.
• Perde-se a capacidade de manter esse código: ao aceitar grandes trechos de código gerados por uma ferramenta, auditar e fazer a manutenção desse código torna-se um processo complexo.
• Abrem-se brechas de segurança: o treinamento desses modelos inclui repositórios públicos com erros e práticas obsoletas que podem introduzir bugs, injeções ou vulnerabilidades impossíveis de detectar em produção. As pessoas com experiência em desenvolvimento de código aberto sabem que o código disponível em um repositório não está isento de erros, e que a razão para publicar um repositório é que mais pessoas com capacidade técnica possam ver, auditar e melhorar o código.

Em conclusão, embora reconheçamos que a Inteligência Artificial é uma grande revolução tecnológica, nossa postura é a de uma engenharia deliberada. Na Sea Dragon, evitamos gerar código com grandes modelos de linguagem diretamente nos projetos de nossos clientes, preferindo sempre entregar código estruturado, testado e revisado diretamente por profissionais capacitados, que tomam decisões técnicas com respaldo no conhecimento, em uma arquitetura sólida e nas boas práticas do setor. A confiabilidade do software não se constrói com atalhos, mas com transparência, critério técnico e responsabilidade humana em cada linha de código escrita.

Isso não significa que não utilizemos Inteligência Artificial, de forma alguma: seria um erro negar que são ferramentas úteis, e podemos confiar nos grandes modelos de linguagem para o desenvolvimento de provas de conceito e para delegar tarefas não críticas, mas sob nenhum ponto de vista eles farão parte integral dos projetos que entregamos aos nossos clientes.