Sabemos como regular novos medicamentos e dispositivos médicos, mas estamos prestes a permitir que a inteligência artificial na área da saúde saia do controle.

Estamos prestes a perder o controle da inteligência artificial na área da saúde.

Junto com esse potencial emocionante, há uma verdade inconveniente: os dados usados para treinar modelos de IA médica refletem vieses e desigualdades embutidas que têm assolado o sistema de saúde dos EUA há muito tempo e muitas vezes carece de informações críticas das comunidades sub-representadas. Se não forem controlados, esses vieses ampliarão as desigualdades e levarão à perda de vidas devido ao status socioeconômico, raça, etnia, religião, gênero, deficiência ou orientação sexual.

Haverá mortes

Para produzir modelos de IA, os cientistas de dados usam algoritmos que descobrem ou aprendem associações de poder preditivo a partir de grandes conjuntos de dados. Em modelos de linguagem grande (LLM) ou IA geradora, técnicas de aprendizado profundo são implantadas para analisar e aprender padrões dos dados de texto de entrada, independentemente de essas informações serem verdadeiras, falsas ou simplesmente imprecisas. Essa massa de dados, no entanto imperfeita, é o que permite ao modelo formar respostas coerentes e relevantes para uma ampla variedade de consultas.

No cuidado de saúde, as diferenças no tratamento – ou falta de tratamento – dos pacientes estão embutidas nos próprios dados usados para treinar as ferramentas de IA. Quando aplicado a uma população grande e diversa, isso significa que as necessidades médicas de uma população selecionada – como pessoas de cor, comunidades sub-representadas, pessoas com deficiências ou pessoas com um tipo específico de cobertura de plano de saúde – podem ser ignoradas, negligenciadas ou diagnosticadas erroneamente. Se não forem controlados, as pessoas morrerão desnecessariamente – e talvez nem mesmo saibamos que a desinformação ou falsidades subjacentes existem.

Sistemas de IA não operam isoladamente. Vamos considerar um exemplo do mundo real: se o software de aprendizado de máquina é treinado em grandes conjuntos de dados que incluem vieses sistêmicos arraigados que levam a cuidados diferentes fornecidos a pacientes brancos em comparação com pacientes de cor, essas desigualdades de dados são transmitidas aos algoritmos de IA e amplificadas exponencialmente à medida que o modelo aprende e itera. Pesquisas realizadas quatro anos antes do nosso atual renascimento da IA demonstraram consequências tão graves para pessoas que já são sub-atendidas. Um estudo pioneiro de 2019 na Science investigou um algoritmo de previsão baseado em IA usado em hospitais que atendem a mais de 100 milhões de pacientes – e descobriu que os pacientes negros precisavam estar muito mais doentes do que os pacientes brancos para se tornarem candidatos aos mesmos níveis de cuidado.

• O executivo da Goldman Sachs, Chris Kojima, irá sair
• TSX recua à medida que os rendimentos alcançam máximas históricas d...
• Dizendo que as organizações de notícias não estão dedicando atenção...

Nesse caso, os dados subjacentes usados para treinar o modelo de IA estavam incorretos. Assim como o algoritmo, que foi treinado em dados de gastos com saúde como um proxy para as necessidades de saúde. O algoritmo refletia uma disparidade histórica de que os pacientes negros, em comparação com pacientes brancos com o mesmo nível de necessidades, têm menos acesso aos cuidados e, portanto, geraram menos dados de reclamações de seguro comercial e menos gastos com saúde. Usando custo histórico de atendimento de saúde como um proxy para saúde, o modelo de IA concluiu incorretamente que os pacientes negros estavam mais saudáveis do que os pacientes brancos igualmente doentes e, por sua vez, contabilizou menos da metade dos pacientes negros precisando de cuidados adicionais. Quando o algoritmo foi corrigido, a porcentagem de pacientes negros identificados para cuidados extras com base em suas necessidades médicas aumentou de 18% para 47%.

Outro algoritmo, criado para avaliar quantas horas de ajuda domiciliar deveriam ser destinadas a residentes gravemente deficientes, foi encontrado com vários vieses, resultando em erros relacionados às necessidades médicas dos beneficiários. Como resultado, o algoritmo direcionou serviços médicos muito necessários para serem cortados, levando a interrupções graves no atendimento de muitos pacientes e, em alguns casos, a hospitalizações.

As consequências de algoritmos falhos podem ser mortais. Um estudo recente se concentrou em uma ferramenta baseada em IA para promover a detecção precoce de sepse, uma doença que mata cerca de 270.000 pessoas por ano. A ferramenta, implantada em mais de 170 hospitais e sistemas de saúde, falhou em prever a sepse em 67% dos pacientes. Gerou alertas falsos de sepse para milhares de outros. A fonte da detecção falha, os pesquisadores descobriram, era que a ferramenta estava sendo usada em novas geografias com diferentes características demográficas dos pacientes em comparação com aquelas em que havia sido treinada. Conclusão: as ferramentas de IA não funcionam da mesma forma em diferentes geografias e demografias, onde estilos de vida dos pacientes, incidência de doenças e acesso a diagnósticos e tratamentos variam.

Particularmente preocupante é o fato de que chatbots alimentados por IA podem usar LLMs que dependem de dados não verificados para a precisão das informações. Informações falsas, conselhos ruins para pacientes e resultados médicos prejudiciais podem resultar.

Precisamos intensificar

Antes que a IA transforme a saúde, a comunidade médica precisa intensificar, insistir na supervisão humana em cada estágio de desenvolvimento e aplicar padrões éticos à implantação.

Uma abordagem abrangente e multidimensional é necessária ao desenvolver IA na medicina. Isso não é uma tarefa apenas para cientistas de dados, mas também requer um envolvimento profundo de uma mistura diversificada de profissionais – incluindo cientistas de dados, tecnólogos, administradores hospitalares, médicos e outros especialistas médicos de várias origens e com diferentes perspectivas, todos cientes dos perigos de uma IA mal gerenciada – fornecendo a supervisão necessária para garantir que a IA seja uma ferramenta transformadora positiva para a saúde.

Assim como um ensaio clínico de medicamentos requer supervisão da FDA – com princípios orientadores e dados e evidências compartilhados publicamente – a governança da IA na área da saúde requer auditorias independentes, avaliações e escrutínio antes de ser utilizada em ambientes clínicos. A FDA possui processos para regular dispositivos médicos, mas falta financiamento dedicado e caminhos claros para regular novas ferramentas baseadas em IA. Isso deixa os desenvolvedores de IA por conta própria para desenvolver processos que mitiguem o viés – se eles estiverem cientes da necessidade de fazê-lo. A indústria privada, os cientistas de dados e a comunidade médica devem incluir diversidade nas equipes que desenvolvem e implementam IA. A IA pode e deve ser desenvolvida e aplicada à medicina, pois seu potencial é monumental – mas todos nós precisamos reconhecer a complexidade da medicina, especialmente dadas as tendências arraigadas nos dados de treinamento, e exigir um modelo de design que leve isso em conta em cada etapa do processo.

Como médico, um dos primeiros princípios que aprendi na faculdade de medicina é o Juramento Hipocrático. Eu me comprometi a “primeiro, não causar danos”. Agora, como executivo e inovador, meu objetivo é ir além. Construir uma infraestrutura para que a IA funcione corretamente na área da saúde nos aproxima um passo gigante de transformar a saúde para o benefício de todos.

Chevon Rariy, M.D., é Diretora de Saúde e Vice-Presidente Sênior de Saúde Digital na Oncology Care Partners, uma rede inovadora de cuidados oncológicos baseados em valor, além de ser investidora e endocrinologista praticante especializada em oncologia. Ela é co-fundadora da Equity in STEMM, Innovation, & AI, que colabora com acadêmicos, indústria e formuladores de políticas para reduzir as barreiras na área da saúde e promover STEMM (Ciência, Tecnologia, Engenharia, Matemática e Medicina) em comunidades sub-representadas. A Dra. Rariy faz parte de vários conselhos sem fins lucrativos e privados no cruzamento entre saúde digital, tecnologia e equidade, e é uma JOURNEY Fellow 2023.

Mais comentários de leitura obrigatória publicados pelo ANBLE:

• Mandatos de retorno ao escritório: Veja onde você se encontra no espectro de desengajamento dos funcionários
• Nós adoramos chefes que se gabam de suas conquistas no trabalho – e detestamos colegas que fazem o mesmo, mostra uma nova pesquisa surpreendente do INSEAD
• O esgotamento está atacando nossos cérebros e dificultando a excelência no trabalho. A “calma deliberada” pode nos ajudar a nos adaptar
• A guerra comercial entre os Estados Unidos e a China é contraproducente – e o chip do Huawei P60 é apenas uma de suas muitas ramificações imprevistas

As opiniões expressas nos artigos de comentário do ANBLE.com são exclusivamente as opiniões de seus autores e não refletem necessariamente as opiniões e crenças do ANBLE.