Avaliando as respostas do ChatGPT às perguntas quiropraxias do paciente: Um estudo comparativo

PreprintNível 3 · Ciência emergentemedRxiv28 out 20260 citações

Pré-publicação. Ainda não revisada por pares; não deve orientar conduta.

O que aconteceu

Modelos de linguagem grandes (LMLs) são usados em uma frequência aumentada pelos pacientes para responder perguntas relacionadas à saúde. Estudos prévios avaliaram LLMs e seu desempenho com domínios musculoesqueléticos (MSK) e coluna vertebral, mas não foram usados para avaliar conteúdo relevante para quiropraxia. Avaliar as respostas do ChatGPT às perguntas de quiropraxia comumente feitas para concordância com as diretrizes da prática clínica quiropraxia. Trinta questões abordando dor lombar, dor cervical e dor musculoesquelética crônica foram desenvolvidas com base nas diretrizes atuais da prática clínica quiropratica dos EUA (PGCs). ChatGPT (GPT-5.2) gerou respostas em sessões isoladas. As respostas foram avaliadas quanto à legibilidade por meio de índices estabelecidos e, em seguida, cinco quiropráticos licenciados avaliaram independentemente cada resposta utilizando uma escala Likert de 5 pontos em quatro domínios: relevância, clareza, completude e acurácia. A confiabilidade interavaliador foi avaliada utilizando Krippendorffs alfa (ordinário).

O que encontraram

Medidas de legibilidade demonstraram que as respostas do ChatGPT foram escritas em aproximadamente um grau de leitura de nível universitário. As classificações de especialistas em todas as médias de domínio (desvio padrão) foram predominantemente agrupadas no extremo superior da escala de classificação (1-5): Relevância 4,72 {+/-} 0,56; Clareza 4,76 {+/-} 0,50; Completude 4,23 {+/-} 0,81; Precisão 4,00 {+/-} 1,02. O alfa de Krippendorffs (ordinário) variou de -0,023-0,214 entre os domínios, todos refletivos da baixa confiabilidade interobservadores.

Por que isso importa

As respostas do ChatGPT foram amplamente consistentes com CPGs quiropráticos, embora os níveis de legibilidade excedessem os padrões recomendados de educação dos pacientes. Enquanto o painel de especialistas frequentemente atribuía escores semelhantes, pequenas diferenças de pontuação e distribuições restritas de pontuação produziram baixa confiabilidade corrigida por acaso. Esses achados sugerem que o ChatGPT pode produzir respostas concordantes, mas a legibilidade e a variabilidade interpretativa devem ser consideradas ao integrar as informações geradas pela LLM na educação do paciente.

Tradução automática do resumo original, publicado em medRxiv sob licença CC0. Os números são conferidos contra o original; siglas e termos técnicos podem variar.