Desenvolvimento e Avaliação Preliminar do Instrumento de Avaliação de Inteligência Artificial-Paciente

PreprintNível 3 · Ciência emergentemedRxiv22 out 20260 citações

Pré-publicação. Ainda não revisada por pares; não deve orientar conduta.

O que aconteceu

Os pacientes usam cada vez mais inteligência artificial (IA) para conversas relacionadas com a saúde, mas as medidas de avaliação refletem amplamente o julgamento clínico. Desenvolver e avaliar preliminarmente um instrumento de avaliação da qualidade das conversas de saúde do paciente-AI. Pesquisa transversal realizada de 5 a 14 de junho de 2026, após o desenvolvimento do instrumento parceiro do paciente e entrevistas cognitivas. Uma pesquisa anónima online. Amostra de conveniência de adultos com uso prévio de modelos de linguagem de grande porte para consultas pessoais relacionadas à saúde, recrutados de um Centro Médico Acadêmico Filiado Insight Panel e pares de pacientes. Conversas prévias relacionadas à saúde dos participantes com ferramentas de IA de sua escolha.

O que encontraram

O instrumento Patient-AI Rating foi composto por 12 itens de qualidade de comunicação e engajamento do paciente classificados de 1 a 5 e um item de percepção-prejuízo-prejuízo separadamente. A consistência interna foi avaliada utilizando-se o alfa de Cronbach, com análises de sensibilidade utilizando-se as primeiras classificações apenas para aqueles que utilizaram o instrumento para avaliar múltiplas conversas e perfis de média-participante. Foram examinadas correlações item-total, estrutura interitem e variação entre- e dentro-participante. Quatorze participantes contribuíram com 46 avaliações completas; dentre 13 com dados demográficos, a mediana de idade foi de 63 anos (IQR, 53-70 anos), e 8 (62%) relataram sexo feminino. Os participantes forneceram uma mediana de 2 notações (intervalo, 1-17). O alfa de Cronbach foi de 0,88 (IC 95%, 0,83-0,93) em todas as classificações, 0,85 utilizando apenas as primeiras classificações e 0,92 utilizando os perfis média-participante. As correlações item-total corrigidas variaram de 0,42 a 0,72; a correlação interitem média foi de 0,40. Nenhum item deletado melhorou o alfa de Cronbach. O escore de qualidade médio foi de 4,43 (DP, 0,45). Entre 9 participantes que contribuíram com múltiplas classificações, o coeficiente de correlação intraclasse foi de 0,45, sugerindo variabilidade interconversa. Nenhum dano percebido foi relatado em 44 de 46 avaliações (96%); o item dano correlacionou-se minimamente com o total do instrumento (r = 0,09).

Por que isso importa

Neste pequeno estudo transversal com pacientes engajados, o instrumento Patient-AI Rating mostrou consistência interna promissora e variação entre conversas classificadas. Esses achados reforçam a avaliação da qualidade da comunicação relatada pelo paciente, juntamente com medidas baseadas em clínicos. A validação em populações maiores e mais diversificadas, incluindo avaliação de construto e validade de critério, é necessária antes do uso mais amplo.

Tradução automática do resumo original, publicado em medRxiv sob licença CC BY. Os números são conferidos contra o original; siglas e termos técnicos podem variar.