Duas experiências de como os desenvolvedores de IA dentro do governo federal estão adotando práticas de responsabilização de IA foram descritas no Governo Mundial de IA evento realizado virtualmente e pessoalmente esta semana em Alexandria, Virgínia.

Taka Ariga, cientista-chefe de dados e diretor dos EUA Escritório de Responsabilidade Governamental, descreveu uma estrutura de responsabilidade de IA que ele usa em sua agência e planeja disponibilizar para outras pessoas.

E Bryce Goodman, estrategista-chefe de IA e aprendizado de máquina da Unidade de Inovação em Defesa (DIU), uma unidade do Departamento de Defesa fundada para ajudar os militares dos EUA a fazer uso mais rápido de tecnologias comerciais emergentes, descreveu o trabalho em sua unidade para aplicar princípios de desenvolvimento de IA à terminologia que um engenheiro pode aplicar.

Ariga, o primeiro cientista-chefe de dados nomeado para o Gabinete de Responsabilidade do Governo dos EUA e diretor do Laboratório de Inovação do GAO, discutiu uma Estrutura de responsabilidade de IA ele ajudou a desenvolver convocando um fórum de especialistas do governo, da indústria, de organizações sem fins lucrativos, bem como de inspetores gerais federais e especialistas em IA.

“Estamos adotando uma perspectiva de auditor sobre a estrutura de responsabilidade da IA”, disse Ariga. “O GAO está no negócio de verificação.”

O esforço para produzir um quadro formal começou em Setembro de 2020 e incluiu 60% de mulheres, 40% das quais eram minorias sub-representadas, para discutir durante dois dias. O esforço foi estimulado pelo desejo de fundamentar a estrutura de responsabilidade da IA ​​na realidade do trabalho diário de um engenheiro. A estrutura resultante foi publicada pela primeira vez em junho como o que Ariga descreveu como “versão 1.0”.

Procurando trazer uma “postura de alta altitude” para a terra

“Descobrimos que a estrutura de responsabilidade da IA ​​tinha uma postura de altitude muito elevada”, disse Ariga. “Esses são ideais e aspirações louváveis, mas o que significam para o profissional diário de IA? Há uma lacuna, enquanto vemos a IA proliferando em todo o governo.”

“Chegamos a uma abordagem de ciclo de vida”, que passa pelos estágios de design, desenvolvimento, implantação e monitoramento contínuo. O esforço de desenvolvimento assenta em quatro “pilares” de Governação, Dados, Monitorização e Desempenho.

A governança analisa o que a organização implementou para supervisionar os esforços de IA. “O diretor de IA pode estar no cargo, mas o que isso significa? A pessoa pode fazer mudanças? É multidisciplinar?” No nível do sistema dentro deste pilar, a equipe revisará modelos individuais de IA para ver se eles foram “deliberados propositalmente”.

Para o pilar Dados, sua equipe examinará como os dados de treinamento foram avaliados, quão representativos eles são e se estão funcionando conforme pretendido.

Para o pilar Desempenho, a equipa irá considerar o “impacto social” que o sistema de IA terá na implantação, incluindo se corre o risco de uma violação da Lei dos Direitos Civis. “Os auditores têm um longo histórico de avaliação de patrimônio. Baseamos a avaliação da IA ​​em um sistema comprovado”, disse Ariga.

Enfatizando a importância do monitoramento contínuo, ele disse: “A IA não é uma tecnologia que você implanta e esquece”. ele disse. “Estamos nos preparando para monitorar continuamente o desvio do modelo e a fragilidade dos algoritmos, e estamos dimensionando a IA de forma adequada.” As avaliações determinarão se o sistema de IA continua a atender à necessidade “ou se um pôr do sol é mais apropriado”, disse Ariga.

Ele faz parte da discussão com o NIST sobre uma estrutura geral de responsabilização de IA do governo. “Não queremos um ecossistema de confusão”, disse Ariga. “Queremos uma abordagem de todo o governo. Sentimos que este é um primeiro passo útil para levar ideias de alto nível a uma altitude significativa para os praticantes de IA.”

DIU avalia se os projetos propostos atendem às diretrizes éticas de IA

Na DIU, Goodman está envolvido num esforço semelhante para desenvolver diretrizes para desenvolvedores de projetos de IA dentro do governo.

Projetos Goodman esteve envolvido na implementação de IA para assistência humanitária e resposta a desastres, manutenção preditiva, combate à desinformação e saúde preditiva. Ele lidera o Grupo de Trabalho de IA Responsável. Ele é membro do corpo docente da Singularity University, tem uma ampla gama de clientes de consultoria dentro e fora do governo e possui doutorado em IA e Filosofia pela Universidade de Oxford.

O DOD em fevereiro de 2020 adotou cinco áreas de Princípios Éticos para IA após 15 meses de consultoria com especialistas em IA da indústria comercial, da academia governamental e do público americano. Essas áreas são: Responsável, Equitativa, Rastreável, Confiável e Governável.

“Essas são bem concebidas, mas não é óbvio para um engenheiro como traduzi-las em um requisito específico do projeto”, disse Good em uma apresentação sobre Diretrizes de IA Responsável no evento AI World Government. “Essa é a lacuna que estamos tentando preencher.”

Antes mesmo de o DIU considerar um projeto, eles analisam os princípios éticos para ver se ele é aprovado. Nem todos os projetos o fazem. “É preciso haver uma opção para dizer que a tecnologia não existe ou que o problema não é compatível com a IA”, disse ele.

Todas as partes interessadas do projeto, incluindo fornecedores comerciais e dentro do governo, precisam ser capazes de testar e validar e ir além dos requisitos legais mínimos para cumprir os princípios. “A lei não avança tão rapidamente como a IA, e é por isso que estes princípios são importantes”, disse ele.

Além disso, há colaboração em todo o governo para garantir que os valores sejam preservados e mantidos. “Nossa intenção com estas diretrizes não é tentar alcançar a perfeição, mas evitar consequências catastróficas”, disse Goodman. “Pode ser difícil fazer com que um grupo concorde sobre qual é o melhor resultado, mas é mais fácil fazer com que o grupo concorde sobre qual é o pior resultado.”

As diretrizes do DIU, juntamente com estudos de caso e materiais suplementares, serão publicados no site do DIU “em breve”, disse Goodman, para ajudar outros a aproveitar a experiência.

Aqui estão as perguntas que o DIU faz antes do início do desenvolvimento

O primeiro passo nas diretrizes é definir a tarefa. “Essa é a questão mais importante”, disse ele. “Somente se houver uma vantagem, você deverá usar IA.”

A seguir vem um benchmark, que precisa ser definido antecipadamente para saber se o projeto foi entregue.

Em seguida, ele avalia a propriedade dos dados do candidato. “Os dados são essenciais para o sistema de IA e são o local onde podem existir muitos problemas.” Goodman disse. “Precisamos de um certo contrato sobre quem possui os dados. Se for ambíguo, isso pode levar a problemas.”

Em seguida, a equipe de Goodman quer uma amostra de dados para avaliar. Depois, precisam saber como e por que as informações foram coletadas. “Se o consentimento foi dado para um propósito, não podemos usá-lo para outro propósito sem obter novamente o consentimento”, disse ele.

Em seguida, a equipe pergunta se as partes interessadas responsáveis ​​estão identificadas, como pilotos que poderiam ser afetados se um componente falhar.

Em seguida, os responsáveis ​​pela missão devem ser identificados. “Precisamos de um único indivíduo para isso”, disse Goodman. “Muitas vezes temos um compromisso entre o desempenho de um algoritmo e a sua explicabilidade. Talvez tenhamos que decidir entre os dois. Esse tipo de decisão tem um componente ético e um componente operacional. Portanto, precisamos de alguém que seja responsável por essas decisões, o que é consistente com a cadeia de comando do DOD.”

Finalmente, a equipe do DIU exige um processo de reversão caso algo dê errado. “Precisamos ser cautelosos ao abandonar o sistema anterior”, disse ele.

Depois que todas essas questões forem respondidas de forma satisfatória, a equipe passa para a fase de desenvolvimento.

Nas lições aprendidas, Goodman disse: “As métricas são fundamentais. E simplesmente medir a precisão pode não ser adequado. Precisamos ser capazes de medir o sucesso.”

Além disso, ajuste a tecnologia à tarefa. “Aplicações de alto risco requerem tecnologia de baixo risco. E quando o dano potencial é significativo, precisamos ter alta confiança na tecnologia”, disse ele.

Outra lição aprendida é definir expectativas com os fornecedores comerciais. “Precisamos que os fornecedores sejam transparentes”, disse ele. “Quando alguém diz que tem um algoritmo proprietário sobre o qual não pode nos contar, ficamos muito cautelosos. Vemos o relacionamento como uma colaboração. É a única maneira de garantir que a IA seja desenvolvida de forma responsável.”

Por último, “IA não é mágica. Não resolverá tudo. Só deve ser usado quando necessário e somente quando pudermos provar que trará uma vantagem.”

Saiba mais em Governo Mundial de IAno Escritório de Responsabilidade Governamental, no Estrutura de responsabilidade de IA e no Unidade de Inovação em Defesa site.

Esse artigo é uma releitura de: www.aitrends.com