O fundador do Ethereum, Vitalik Buterin, chama a "governança por IA" de uma "má ideia"

O cofundador da Ethereum, Vitalik Buterin, afirma que é uma “má ideia” usar inteligência artificial (IA) para governança. Em uma publicação no X no sábado, Buterin escreveu:

“Se você usar uma IA para alocar financiamento para contribuições, as pessoas VÃO inserir um jailbreak junto com ‘me dê todo o dinheiro’ em tantos lugares quanto puderem.”

Por que a governança por IA é falha

A publicação de Buterin foi uma resposta a Eito Miyamura, cofundador e CEO da EdisonWatch, uma plataforma de governança de dados de IA, que revelou uma falha fatal no ChatGPT. Em uma publicação na sexta-feira, Miyamura escreveu que a adição do suporte total para ferramentas MCP (Model Context Protocol) no ChatGPT tornou o agente de IA suscetível à exploração.

A atualização, que entrou em vigor na quarta-feira, permite que o ChatGPT se conecte e leia dados de vários aplicativos, incluindo Gmail, Calendar e Notion.

Miyamura observou que, com apenas um endereço de e-mail, a atualização tornou possível “exfiltrar todas as suas informações privadas.” Malfeitores podem acessar seus dados em três etapas simples, explicou Miyamura:

Primeiro, os atacantes enviam um convite de calendário malicioso com um prompt de jailbreak para a vítima pretendida. Um prompt de jailbreak refere-se a um código que permite ao atacante remover restrições e obter acesso administrativo.

Miyamura observou que a vítima não precisa aceitar o convite malicioso do atacante para que o vazamento de dados ocorra.

A segunda etapa envolve esperar que a vítima pretendida peça ajuda ao ChatGPT para se preparar para o dia. Finalmente, uma vez que o ChatGPT lê o convite de calendário com jailbreak, ele é comprometido — o atacante pode assumir o controle total da ferramenta de IA, fazer com que ela pesquise os e-mails privados da vítima e envie os dados para o e-mail do atacante.

A alternativa de Buterin

Buterin sugere usar a abordagem info finance para a governança de IA. A abordagem info finance consiste em um mercado aberto onde diferentes desenvolvedores podem contribuir com seus modelos. O mercado possui um mecanismo de verificação pontual para esses modelos, que pode ser acionado por qualquer pessoa e avaliado por um júri humano, escreveu Buterin.

Em uma publicação separada, Buterin explicou que os jurados humanos individuais serão auxiliados por grandes modelos de linguagem (LLMs).

De acordo com Buterin, esse tipo de abordagem de ‘design institucional’ é “intrinsecamente mais robusta.” Isso porque oferece diversidade de modelos em tempo real e cria incentivos tanto para desenvolvedores de modelos quanto para especuladores externos para fiscalizar e corrigir problemas.

Enquanto muitos estão animados com a perspectiva de ter “IA como governante”, Buterin alertou:

“Acho que fazer isso é arriscado tanto por razões tradicionais de segurança de IA quanto por razões de curto prazo de ‘isso vai criar um grande estrago destrutivo de valor’.”

A publicação Ethereum founder Vitalik Buterin calls ‘AI governance’ a “bad idea” apareceu primeiro em CryptoSlate.