Em um grande salto ético para o mundo da tecnologia, as start-ups chinesas criaram algoritmos que o governo usa para rastrear membros de um grupo minoritário predominantemente muçulmano.
O governo chinês atraiu ampla condenação internacional por sua dura repressão aos muçulmanos étnicos em sua região ocidental, incluindo a manutenção de até um milhão deles em campos de detenção.
Agora, documentos e entrevistas mostram que as autoridades também estão usando um vasto sistema secreto de tecnologia avançada de reconhecimento facial para rastrear e controlar os uigures, uma minoria em grande parte muçulmana. É o primeiro exemplo conhecido de um governo usando intencionalmente inteligência artificial para o perfil racial, disseram os especialistas.
A tecnologia de reconhecimento facial, que está integrada às redes de câmeras de vigilância em rápida expansão da China, busca exclusivamente os uigures com base em sua aparência e mantém registros de suas idas e vindas para pesquisa e revisão. A prática torna a China uma pioneira na aplicação de tecnologia de última geração para vigiar seu povo, potencialmente inaugurando uma nova era de racismo automatizado.
A tecnologia e seu uso para controlar os 11 milhões de uigures da China foram descritos por cinco pessoas com conhecimento direto dos sistemas, que solicitaram o anonimato por temerem retaliação. O New York Times também revisou os bancos de dados usados pela polícia, documentos de compras governamentais e materiais publicitários distribuídos pela A.I. empresas que fazem os sistemas.
As autoridades chinesas já mantêm uma vasta rede de vigilância, incluindo rastreamento de DNA de pessoas, na região oeste de Xinjiang, que muitos uigures chamam de lar. Mas o escopo dos novos sistemas, antes não reportados, estende esse monitoramento a muitos outros cantos do país.
A polícia agora está usando tecnologia de reconhecimento facial para atingir uigures em cidades ricas do leste, como Hangzhou e Wenzhou, e na província costeira de Fujian, disseram duas pessoas. A polícia na cidade de Sanmenxia, no centro da China, ao longo do Rio Amarelo, administrou um sistema que, ao longo de um mês deste ano, rastreou se os residentes eram uigures 500.000 vezes.
Documentos policiais mostram que a demanda por tais recursos está se espalhando. Quase duas dezenas de departamentos de polícia em 16 diferentes províncias e regiões da China buscaram essa tecnologia a partir de 2018, de acordo com documentos de aquisição. A polícia da província central de Shaanxi, por exemplo, teve como objetivo adquirir um sistema de câmera inteligente no ano passado que “deve apoiar o reconhecimento facial para identificar atributos uigures / não uigures”.
Alguns departamentos de polícia e empresas de tecnologia descreveram a prática como “identificação de minoria”, embora três pessoas tenham dito que a frase era um eufemismo para uma ferramenta que buscava identificar exclusivamente os uigures. Os uigures costumam ser diferentes da maioria da população Han da China, mais parecidos com os da Ásia Central. Essas diferenças tornam mais fácil para o software identificá-los.
Por décadas, as democracias quase tiveram o monopólio da tecnologia de ponta. Hoje, uma nova geração de start-ups que atendem às necessidades autoritárias de Pequim está começando a definir o tom para tecnologias emergentes, como inteligência artificial. Ferramentas semelhantes podem automatizar preconceitos com base na cor da pele e etnia em outros lugares.
“Pegue a aplicação mais arriscada dessa tecnologia e provavelmente alguém vai experimentá-la”, disse Clare Garvie, associada do Centro de Privacidade e Tecnologia da Georgetown Law. “Se você fizer uma tecnologia que pode classificar as pessoas por uma etnia, alguém a usará para reprimir essa etnia.”
Do ponto de vista da tecnologia, usar algoritmos para rotular pessoas com base em raça ou etnia tornou-se relativamente fácil. Empresas como a I.B.M. anunciam software que pode classificar as pessoas em grupos amplos.
Mas a China abriu novos caminhos ao identificar um grupo étnico para fins de aplicação da lei. Uma start-up chinesa, CloudWalk, descreveu um exemplo de experiência no marketing de seus próprios sistemas de vigilância. A tecnologia, disse, poderia reconhecer “grupos de pessoas sensíveis”.
“Se originalmente um uigures morava em um bairro e, em 20 dias, seis uigures aparecem”, disse em seu site, “ele envia alarmes imediatamente” para as autoridades.
Na prática, os sistemas são imperfeitos, disseram duas das pessoas. Freqüentemente, sua precisão depende de fatores ambientais, como iluminação e posicionamento das câmeras.
Nos Estados Unidos e na Europa, o debate na comunidade de inteligência artificial tem se concentrado nos preconceitos inconscientes daqueles que projetam a tecnologia. Testes recentes mostraram que os sistemas de reconhecimento facial feitos por empresas como I.B.M. e Amazon eram menos precisos na identificação de características de pessoas de pele mais escura.
Os esforços da China levantam questões mais graves. Embora a tecnologia de reconhecimento facial use aspectos como tom de pele e formato de rosto para classificar imagens em fotos ou vídeos, ela deve ser informada pelos humanos para categorizar as pessoas com base nas definições sociais de raça ou etnia. A polícia chinesa, com a ajuda das start-ups, fez isso.
“É algo que parece chocante vindo dos EUA, onde provavelmente há racismo embutido em nossa tomada de decisão algorítmica, mas não de uma forma aberta como esta”, disse Jennifer Lynch, diretora de litígios de vigilância da Electronic Frontier Foundation. “Não existe um sistema projetado para identificar alguém como afro-americano, por exemplo.”
O A.I. chinês as empresas por trás do software incluem Yitu, Megvii, SenseTime e CloudWalk, cada uma avaliada em mais de US $ 1 bilhão. Outra empresa, a Hikvision, que vende câmeras e software para processar as imagens, ofereceu uma função de reconhecimento de minorias, mas começou a eliminá-la em 2018, de acordo com uma das pessoas.
As avaliações das empresas dispararam em 2018 quando o Ministério de Segurança Pública da China, sua principal agência policial, reservou bilhões de dólares em dois planos governamentais, chamados Skynet e Sharp Eyes, para informatizar a vigilância, o policiamento e a coleta de inteligência.
Em um comunicado, uma porta-voz da SenseTime disse que consultou “equipes relevantes”, que não sabiam que sua tecnologia estava sendo usada para criar perfis. A Megvii disse em um comunicado que se concentrava em “soluções comerciais e não políticas”, acrescentando: “Estamos preocupados com o bem-estar e a segurança dos cidadãos individuais, não com o monitoramento de grupos”. CloudWalk e Yitu não responderam aos pedidos de comentários.
O Ministério de Segurança Pública da China não respondeu a um pedido de comentários enviado por fax.
Vendendo produtos com nomes como Fire Eye, Sky Eye e Dragonfly Eye, as start-ups prometem usar a I.A. para analisar as filmagens das câmeras de vigilância da China. A tecnologia não está madura – em 2017, Yitu promoveu uma taxa de sucesso de um em três quando a polícia respondeu aos alarmes em uma estação de trem – e muitas das câmeras da China não são potentes o suficiente para que o software de reconhecimento facial funcione de forma eficaz.
No entanto, eles ajudam a promover a arquitetura da China para o controle social. Para fazer os algoritmos funcionarem, a polícia montou bancos de dados de imagens faciais de pessoas com antecedentes criminais, doenças mentais, registros de uso de drogas e aqueles que fizeram petições ao governo por causa de queixas, de acordo com duas das pessoas e documentos de licitação. Um banco de dados nacional de criminosos em geral inclui cerca de 300.000 rostos, enquanto uma lista de pessoas com histórico de uso de drogas na cidade de Wenzhou totaliza 8.000 rostos, disseram eles.
Usando um processo chamado aprendizado de máquina, os engenheiros alimentam os sistemas de inteligência artificial com dados para treiná-los a reconhecer padrões ou características. No caso do perfil, eles forneceriam milhares de imagens rotuladas de uigures e não uigures. Isso ajudaria a gerar uma função para distinguir o grupo étnico.
O A.I. as empresas têm tirado dinheiro de grandes investidores. A Fidelity International e a Qualcomm Ventures faziam parte de um consórcio que investiu US $ 620 milhões na SenseTime. Sequoia investiu em Yitu. A Megvii é apoiada pela Sinovation Ventures, o fundo do conhecido investidor chinês em tecnologia Kai-Fu Lee.
Uma porta-voz da Sinovation disse que o fundo vendeu recentemente uma parte de sua participação na Megvii e abriu mão de seu assento no conselho. A Fidelity não quis comentar. A Sequoia e a Qualcomm não responderam aos pedidos de comentários por e-mail.
O Sr. Lee, um incentivador da I.A. chinesa, argumentou que a China tem uma vantagem no desenvolvimento de I.A. porque seus líderes são menos preocupados com “complexidades legais” ou “consenso moral”.
“Não somos espectadores passivos na história da I.A. – nós somos os autores disso”, escreveu o Sr. Lee no ano passado. “Isso significa os valores que sustentam nossas visões de um I.A. futuro pode muito bem se tornar profecias autorrealizáveis.” Ele se recusou a comentar sobre o investimento de seu fundo na Megvii ou suas práticas.
O perfil étnico na indústria de tecnologia da China não é segredo, disseram as pessoas. Tornou-se tão comum que uma das pessoas o comparou à tecnologia sem fio de curto alcance Bluetooth. Funcionários da Megvii foram alertados sobre a delicadeza de discutir publicamente a segmentação étnica, disse outra pessoa.
A China dedicou recursos importantes para rastrear os uigures, citando violência étnica em Xinjiang e ataques terroristas uigures em outros lugares. Pequim colocou centenas de milhares de uigures e outros de Xinjiang em campos de reeducação.
O software estende a capacidade do estado de rotular os uigures para o resto do país. Um banco de dados nacional armazena os rostos de todos os uigures que deixaram Xinjiang, de acordo com duas pessoas.
Documentos de compras governamentais dos últimos dois anos também mostram que a demanda se espalhou. Na cidade de Yongzhou, no sul da província de Hunan, os policiais procuraram um software para “caracterizar e pesquisar se alguém é ou não um uigur”, segundo um documento.
Em dois condados da província de Guizhou, a polícia listou a necessidade de classificação uigur. Um pediu a capacidade de reconhecer uigures com base em fotos de identificação com mais de 97% de precisão. Na megacidade central de Chongqing e na região do Tibete, a polícia lançou licitações para software semelhante. E um documento de aquisição para a província de Hebei descreveu como a polícia deve ser notificada quando vários uigures reservarem o mesmo voo no mesmo dia.
Um estudo feito em 2018 pelas autoridades descreveu um uso para outros tipos de bancos de dados. Co-escrito por um oficial da polícia de Xangai, o jornal disse que sistemas de reconhecimento facial instalados perto de escolas podem rastrear pessoas incluídas em bancos de dados de doentes mentais ou suspeitos de crimes.
Um banco de dados gerado pelo software Yitu e revisado pelo The Times mostrou como a polícia na cidade de Sanmenxia usou um software executado em câmeras para tentar identificar os residentes mais de 500.000 vezes ao longo de um mês, começando em meados de fevereiro.
Incluído no código ao lado de tags como “rec_gender” e “rec_sunglasses” estava “rec_uygur”, que retornou 1 se o software acreditou ter encontrado um uigur. Dentro do meio milhão de identificações que as câmeras tentaram registrar, o software adivinhou que viu Uigures 2.834 vezes. As imagens armazenadas ao lado da entrada permitiriam que a polícia verificasse novamente.
Yitu e seus rivais têm ambições de se expandir no exterior. Tal impulso poderia facilmente colocar o software de criação de perfis étnicos nas mãos de outros governos, disse Jonathan Frankle, um A.I. pesquisador do Instituto de Tecnologia de Massachusetts.
“Não acho que seja exagero tratar isso como uma ameaça existencial à democracia”, disse Frankle. “Uma vez que um país adota um modelo neste modo fortemente autoritário, ele está usando dados para fazer cumprir o pensamento e as regras de uma forma muito mais arraigada do que seria possível 70 anos atrás na União Soviética. Nessa medida, esta é uma crise urgente na qual estamos lentamente entrando como sonâmbulos.”
Publicado em 06/02/2021 10h08
Artigo original:
Achou importante? Compartilhe!