Desafios na Consulta de Saúde com Chatbots
Um novo estudo publicado na revista Nature Medicine trouxe à tona preocupações sobre a precisão das orientações de saúde fornecidas por chatbots de inteligência artificial (IA). A pesquisa revelou que, em muitos casos, esses sistemas não se mostraram mais eficazes do que uma simples busca no Google, o que destaca as limitações e os riscos associados ao uso dessa tecnologia para questões de saúde. O experimento, que foi o primeiro a investigar de forma randomizada a eficácia desses modelos, concluiu que nenhum dos chatbots analisados estava pronto para ser utilizado no atendimento direto ao paciente.
Desde que esses assistentes virtuais se tornaram acessíveis ao público, as dúvidas relacionadas à saúde se destacam como uma das áreas mais consultadas pelos usuários. Dados apontam que cerca de um em cada seis adultos utiliza chatbots para buscar informações sobre saúde mensalmente. Médicos já relataram atender pacientes que buscaram uma opinião inicial com base em respostas geradas por IA. Gigantes do setor, como Amazon e OpenAI, também têm investido em ferramentas direcionadas a sanar perguntas relacionadas à saúde, despertando tanto expectativas quanto preocupações.
Um Estudo Abrangente
Adam Mahdi, professor do Instituto de Internet de Oxford e um dos autores do estudo, expressou ceticismo em relação ao uso de perguntas diretas para avaliar a eficácia dos chatbots em cenários reais. Ele argumentou que a realidade da medicina é complexa, muitas vezes indefinida e com variáveis que não podem ser capturadas em perguntas diretas. Para entender melhor a situação, Mahdi e sua equipe desenvolveram um experimento que envolveu mais de 1.200 participantes britânicos, a maioria sem formação médica. Os participantes foram apresentados a cenários médicos com sintomas e históricos detalhados e foram orientados a interagir com os chatbots para determinar os próximos passos, como a necessidade de chamar uma ambulância ou a possibilidade de tratar-se a partir de casa.
Os resultados foram alarmantes: os participantes conseguiram identificar a conduta correta — definida por um painel de médicos — em menos de 50% das vezes. A precisão na identificação de condições específicas, como cálculos biliares, foi de apenas 34%. Em comparação, o grupo de controle, que utilizou métodos de pesquisa tradicionais, como o Google, não apresentou resultados superiores. Isso levanta questões sobre a real eficácia desses assistentes virtuais na orientação de saúde.
Desafios na Comunicação com Chatbots
Embora o experimento não represente uma análise perfeita do uso de chatbots em interações médicas reais — uma vez que os participantes lidavam com cenários fictícios —, ele oferece uma visão interessante sobre as dificuldades enfrentadas ao buscar conselhos de saúde por meio dessa tecnologia. Os pesquisadores notaram que, em muitos casos, os erros cometidos estavam relacionados à falta de informações adequadas fornecidas pelos usuários. Em uma situação, por exemplo, um participante descreveu sintomas vagamente, levando o bot a sugerir uma condição incorreta.
Quando os pesquisadores inseriram dados completos diretamente nos chatbots, a taxa de diagnóstico correto subiu para 94%. Isso demonstra que a complexidade do diagnóstico médico exige informações detalhadas e precisas, algo que os usuários nem sempre conseguem fornecer. Robert Wachter, chefe do departamento de medicina da Universidade da Califórnia e especialista em IA na saúde, destacou que é necessário um nível de experiência e cognição que vai além do que o usuário comum pode alcançar ao interagir com esses sistemas.
A Necessidade de Melhoria nos Modelos
Andrew Bean, estudante de pós-graduação em Oxford e principal autor do artigo, afirmou que a responsabilidade pela formulação das perguntas não deve recair exclusivamente sobre os usuários. Ele defendeu que os chatbots deveriam ser mais proativos, fazendo perguntas complementares para coletar informações relevantes, assim como médicos fazem durante consultas. Esse é um aspecto que empresas de tecnologia têm buscado aprimorar, e dados indicam que os modelos atuais do ChatGPT, por exemplo, têm uma probabilidade maior de fazer perguntas adicionais do que suas versões anteriores.
Entretanto, o estudo também revelou que mesmo quando dados completos eram inseridos, os chatbots ainda encontravam dificuldades em distinguir entre situações que exigiam atenção médica imediata e aquelas que poderiam ser tratadas mais tarde. Danielle Bitterman, que estuda interações entre IA e pacientes, observou que os modelos são predominantemente treinados com base em conteúdos acadêmicos, mas carecem da experiência prática que médicos adquirem ao longo de suas carreiras.
Além disso, houve casos em que os chatbots forneceram informações imprecisas, como sugerir números de emergência que não existiam. Os pesquisadores notaram que até pequenas variações na forma como os usuários descreviam seus sintomas influenciavam significativamente as orientações dadas pelos bots, o que pode levar a decisões inadequadas em momentos críticos. Essa pesquisa ressalta a necessidade urgente de aperfeiçoar a tecnologia de chatbots em saúde, assegurando que possam oferecer orientações seguras e precisas, estabelecendo um padrão mais elevado para a integração da IA na medicina.