«Humano no circuito» tornou-se uma das promessas mais repetidas na adoção de inteligência artificial.
Serve para tranquilizar as equipas de que uma pessoa continua envolvida.
Mas uma pessoa a clicar em Aprovar depois de um sistema de IA já ter produzido, classificado e recomendado o resultado não é necessariamente uma supervisão humana real.
Por vezes, o humano está na interface mas fora da decisão.
A adoção responsável exige uma definição mais precisa.
Um papel humano real precisa de autoridade, informação, tempo e um momento claro em que a intervenção ainda pode mudar o resultado.
O circuito tem de ter um propósito
Comece por perguntar porque é que um humano está incluído.
A pessoa pode ser responsável por:
- Verificar a exatidão dos factos
- Controlar a segurança
- Aplicar um juízo profissional
- Proteger informação sensível
- Rever o tom
- Identificar enviesamentos
- Lidar com casos invulgares
- Aprovar uma publicação externa
- Rejeitar uma recomendação automatizada
- Assumir a responsabilidade jurídica ou organizacional
São papéis diferentes.
Uma revisão desenhada para a exatidão dos factos não deteta automaticamente um tratamento injusto.
Uma revisão de marca não identifica automaticamente uma violação da privacidade.
Uma aprovação técnica não determina automaticamente se o resultado é adequado a um cliente vulnerável.
«Revisão humana» é demasiado vago para se tornar um controlo.
A organização tem de definir o que a pessoa está a rever e que decisão está autorizada a tomar.
O humano tem de poder dizer não
A supervisão não tem sentido quando a rejeição é impossível, desencorajada ou punida.
Um revisor deve poder:
- Rejeitar o resultado
- Editar o resultado
- Pedir mais informação
- Escalar o caso
- Encaminhar o trabalho para um especialista
- Devolver a tarefa a um processo humano
- Parar o sistema
- Registar o motivo da intervenção
Se o sistema trata cada rejeição como um atrito a eliminar, o humano não assegura a governação. Treina-se a si próprio para capitular.
Uma supervisão real inclui a capacidade de parar o percurso automatizado.
O humano precisa de informação suficiente
Uma pessoa não pode avaliar um resultado de forma responsável quando o sistema mostra apenas a sua resposta final.
O revisor pode precisar de aceder a:
- As fontes originais
- O contexto relevante
- A tarefa pedida
- Sinais de confiança ou incerteza
- As limitações dos dados
- As decisões anteriores
- As políticas aplicáveis
- Os fatores de risco conhecidos
- O motivo por que o caso foi sinalizado
- As alterações feitas pelo modelo
- A identidade do sistema envolvido
A informação exata depende da tarefa.
Uma pessoa que revê um título de campanha gerado precisa de provas diferentes de quem revê uma recomendação de risco de crédito.
A interface deve apoiar o juízo pedido.
Não deve esconder a incerteza atrás de uma resposta final limpa.
A revisão tem de acontecer no momento certo
Uma intervenção humana depois de uma ação irreversível não é um ponto de controlo.
É um relatório de incidente.
A revisão tem de ocorrer antes de:
- Um conteúdo ser publicado
- Um cliente receber uma mensagem com consequências
- Ser feita uma transferência de dinheiro
- Ser recusado um acesso
- Ser submetido um documento jurídico
- Ser executada uma instrução crítica para a segurança
- Ser exposta informação sensível
- Uma pessoa ser classificada numa categoria de forte impacto
- Ser alterado um registo permanente
As tarefas de baixo risco podem permitir uma amostragem retrospetiva.
As decisões de forte impacto exigem muitas vezes revisão antes da ação.
O sistema tem de distinguir estes casos de forma intencional.
Nem todos os resultados exigem a mesma revisão
Rever manualmente cada resultado de baixo risco pode criar fadiga sem melhorar realmente a segurança.
Um sistema melhor pode recorrer a diferentes níveis de intervenção.
Automático com monitorização
Adequado a tarefas de baixo risco, reversíveis e bem compreendidas.
Revisão por amostragem
Verifica-se uma percentagem dos resultados para detetar desvios, erros recorrentes ou mudanças de qualidade.
Revisão de exceções
O sistema encaminha para uma pessoa os casos incertos, invulgares ou de alto risco.
Aprovação obrigatória
Uma pessoa tem de aprovar cada resultado antes da ação.
Escalada para especialista
Certos casos passam para alguém com a competência ou a autoridade necessária.
O nível de supervisão deve refletir a consequência de uma falha.
Não use um único modelo de revisão para todas as tarefas só porque é mais fácil de implementar.
O revisor precisa de tempo
Um ponto de controlo que só permite três segundos por item é geralmente um ritual de confirmação.
As pessoas precisam de tempo suficiente para:
- Compreender o caso
- Examinar a fonte
- Comparar o resultado
- Aplicar a política relevante
- Tomar uma decisão
- Registar uma exceção
- Pedir ajuda
Quando se impõe aos revisores um volume impossível, aprendem a aceitar por omissão.
Isto cria um enviesamento de automação: a tendência para confiar no sistema porque discordar exige mais esforço.
Um desenho responsável do fluxo de trabalho tem de considerar a capacidade de revisão.
Um sistema que processa dez mil itens não pode alegar uma supervisão manual real quando se espera que uma só pessoa os inspecione a todos ao fim do dia.
O revisor precisa de competência
A intervenção humana não melhora automaticamente um sistema de IA.
O revisor tem de compreender:
- O assunto
- Os critérios de decisão
- Os limites do modelo
- Os modos de falha comuns
- Os requisitos jurídicos ou de política relevantes
- Quando escalar
- Como documentar um desacordo
Um administrativo generalista não pode fornecer supervisão médica especializada apenas por ser um ser humano.
A competência necessária deve corresponder ao risco e ao domínio.
A formação faz parte do sistema, não uma introdução opcional mostrada no lançamento.
O sistema tem de aprender com a intervenção
As correções humanas não deviam desaparecer.
Registe:
- O que foi alterado
- Porque foi alterado
- Quem reviu
- Que política se aplicava
- Se o caso era invulgar
- Se o modelo errou
- Se a entrada estava incompleta
- Se foi o próprio fluxo de trabalho que causou o problema
Estes registos podem revelar:
- Falhas recorrentes do modelo
- Instruções fracas
- Informação de origem em falta
- Políticas ambíguas
- Revisores inconsistentes
- Novos riscos
- Casos que já não deviam ser automatizados
O objetivo não é eliminar todas as intervenções humanas.
O objetivo é compreender o que essas intervenções dizem à organização.
A responsabilidade não pode ser delegada ao modelo
Um modelo não pode assumir a responsabilidade organizacional.
A empresa continua a ter de decidir:
- Quem é dono do sistema
- Quem aprova o seu uso
- Quem monitoriza o desempenho
- Quem trata das reclamações
- Quem responde a incidentes
- Quem protege os dados
- Quem decide se o sistema deve continuar
- Quem comunica com as pessoas afetadas
«Foi a IA que decidiu» não é uma estrutura de responsabilidade.
A organização que implementa o sistema continua responsável pela forma como é usado.
A supervisão humana tem de ser testada
Não presuma que um fluxo de trabalho funciona só porque existe um botão de aprovação.
Teste se os revisores conseguem:
- Reparar num resultado incorreto
- Compreender porque pode estar errado
- Encontrar as provas necessárias
- Rejeitá-lo com sucesso
- Escalá-lo corretamente
- Parar a ação subsequente
- Registar o motivo
- Recuperar de uma falha do sistema
Inclua casos deliberadamente errados durante testes controlados.
Meça:
- A taxa de rejeição
- A taxa de correção
- O tempo gasto a rever
- Os erros não detetados
- O desacordo entre revisores
- A qualidade das escaladas
- A confiança dos revisores
- A fadiga
- Os casos que contornaram a revisão
Um ponto de controlo é uma funcionalidade do produto. Deve ser desenhado e testado como tal.
Uma definição prática
Um humano está realmente no circuito quando:
- O seu papel está definido
- Recebe a informação necessária para julgar
- Tem a competência exigida
- Dispõe de tempo suficiente
- Pode rejeitar ou mudar o resultado
- A sua intervenção ocorre antes de qualquer ação com consequências
- As suas decisões são registadas
- Os casos difíceis podem ser escalados
- A organização aprende com as suas correções
- Uma pessoa ou equipa nomeada continua responsável
Tudo o que fique aquém pode continuar a ser envolvimento humano.
Não deve ser automaticamente descrito como supervisão humana.
A adoção responsável de IA não se consegue colocando uma pessoa perto do resultado.
Consegue-se integrando autoridade, provas, momento e responsabilidade em todo o sistema.
A MonoGrain ajuda as equipas a desenhar fluxos de trabalho de IA com pontos de controlo reais, responsabilidade clara e autoridade humana onde importa.