Envenenamento de dados: o ataque cibernético que mira inteligência artificial (IA)
O envenenamento de dados é um novo tipo de ataque cibernético destinado a enganar os sistemas de inteligência artificial (IA). A IA, que tem em ‘aprendizado de máquina’ um nome mais adequado ao funcionamento desse tipo de sistema, é desenvolvida processando grandes quantidades de dados. A qualidade dos dados afeta a qualidade da IA. O envenenamento de dados é o fornecimento intencional de dados errados ou enganosos para impactar a qualidade da IA. O envenenamento de dados está se tornando particularmente arriscado com o desenvolvimento de Large Language Models (LLM, para grandes modelos de linguagem), como o ChatGPT.
Uma equipe de pesquisadores de ciência da computação com membros do Google, ETH Zurich, NVIDIA e Robust Intelligence publicou um estudo no qual analisam dois tipos de ataques de envenenamento de conjunto de dados que podem ser usados por pessoas mal-intencionadas para corromper os resultados do sistema de IA. O grupo escreveu um documento descrevendo os tipos de ataques que eles identificaram e o publicaram no servidor de pré-impressão arXiv.
Com o desenvolvimento de redes neurais de aprendizado profundo, as aplicações de inteligência artificial se tornaram uma grande novidade. E por causa de suas habilidades únicas de aprendizado, eles podem ser aplicados em uma ampla variedade de ambientes. Mas, como observam os pesquisadores neste novo esforço, uma coisa que todos eles têm em comum é a necessidade de dados de qualidade para usar para fins de treinamento.
Como esses sistemas aprendem com o que veem, se eles se deparam com algo que está errado, eles não têm como saber e, portanto, incorporam isso ao seu conjunto de regras. Como exemplo, considere um sistema de IA treinado para reconhecer padrões em uma mamografia como tumores cancerígenos. Esses sistemas seriam treinados mostrando-lhes muitos exemplos de tumores reais coletados durante as mamografias.
Mas o que acontece se alguém inserir imagens no conjunto de dados mostrando tumores cancerígenos, mas elas forem rotuladas como não cancerígenas? Muito em breve o sistema começaria a perder esses tumores porque foi ensinado a vê-los como não-cancerígenos. Nesse novo esforço, a equipe de pesquisa mostrou que algo semelhante pode acontecer com sistemas de IA treinados usando dados disponíveis publicamente na Internet.
Os pesquisadores começaram observando que a propriedade de URLs na Internet geralmente expira – incluindo aquelas que foram usadas como fontes por sistemas de IA. Isso os deixa disponíveis para compra por tipos nefastos que procuram interromper os sistemas de IA. Se essas URLs forem compradas e usadas para criar sites com informações falsas, o sistema de IA adicionará essas informações ao seu banco de conhecimento com a mesma facilidade com que adicionará informações verdadeiras – e isso fará com que o sistema de IA produza menos do que os resultados desejáveis.
A equipe de pesquisa chama esse tipo de ataque de envenenamento por visão dividida. Os testes mostraram que tal abordagem poderia ser usada para comprar URLs suficientes para envenenar uma grande parte dos principais sistemas de IA, por apenas US$ 10.000.
Existe outra maneira pela qual os sistemas de IA podem ser subvertidos – manipulando dados em repositórios de dados conhecidos, como a Wikipedia. Isso pode ser feito, observam os pesquisadores, modificando os dados imediatamente antes dos despejos regulares de dados, evitando que os monitores detectem as alterações antes de serem enviadas e usadas pelos sistemas de IA. Eles chamam essa abordagem de envenenamento frontrunning.
Convergência Digital, 17 de abril de 2023
Artigos relacionados
Tags
Compartilhe
