Validade e Confiabilidade da Medição

Validade e confiabilidade são as duas propriedades centrais que determinam se uma medida de qualidade pode ser fidedigna. A validade refere-se a se uma medida realmente capta o aspecto da qualidade que afirma captar; a confiabilidade refere-se a se a medida produz resultados consistentes quando aplicada repetidamente sob as mesmas condições. Uma medida deve ser confiável e válida antes que seus resultados justifiquem julgamentos sobre a qualidade ou decisões de ação.

Definition

Confiabilidade é o grau em que uma medida produz resultados consistentes e reproduzíveis em aplicações repetidas, avaliadores ou itens; validade é o grau em que uma medida reflete com precisão o construto subjacente, aqui um aspecto da qualidade dos cuidados de saúde, que se pretende avaliar.

Scope

Esta entrada abrange as principais formas de validade e confiabilidade aplicadas a indicadores e instrumentos de qualidade, as estatísticas comumente usadas para quantificá-las e por que ambas as propriedades são importantes para medições que acarretam consequências. É uma referência metodológica e não fornece limiares de pontuação clínica para nenhum instrumento específico.

Core questions

• O que significa para uma medida de qualidade ser válida e como a validade é avaliada?
• Como a confiabilidade se distingue da validade e por que ambas são necessárias?
• Quais estatísticas quantificam a consistência interna e a concordância entre avaliadores?
• Como a baixa validade ou confiabilidade engana os julgamentos sobre a qualidade?

Key concepts

• Validade de conteúdo
• Validade de construto
• Validade de critério
• Consistência interna (alfa de Cronbach)
• Confiabilidade entre avaliadores (kappa de Cohen)
• Confiabilidade teste-reteste
• Erro de medição e variação aleatória

Key theories

Teoria clássica dos testes de confiabilidade

A teoria clássica dos testes enquadra uma medição observada como a soma de um valor verdadeiro e um erro aleatório, de modo que a confiabilidade é a proporção da variância observada atribuível a diferenças verdadeiras, em vez de erro. O coeficiente alfa de Cronbach operacionaliza uma forma disso como a consistência interna entre os itens destinados a medir o mesmo construto.

Mechanisms

A confiabilidade é avaliada examinando a consistência da medição em repetições: consistência interna entre os itens, concordância entre os avaliadores e estabilidade ao longo do tempo quando o estado subjacente não mudou. O alfa de Cronbach resume a consistência interna para escalas multi-itens, enquanto o kappa de Cohen quantifica a concordância entre dois avaliadores em julgamentos categóricos, corrigindo a concordância ao acaso. A validade é avaliada acumulando evidências de que a medida reflete seu construto pretendido: validade de conteúdo (cobertura abrangente do conceito), validade de construto (relações esperadas com outras medidas) e validade de critério (concordância com um padrão de referência). Uma medida pode ser confiável, mas inválida, medindo consistentemente a coisa errada, mas não pode ser válida sem ser confiável, porque o erro aleatório limita o quão bem uma medida pode rastrear seu alvo.

Clinical relevance

Antes que um indicador de qualidade ou instrumento relatado pelo paciente seja usado para relatórios, acreditação ou incentivos, sua validade e confiabilidade devem ser estabelecidas para que as diferenças observadas reflitam a variação real na qualidade, em vez de ruído de medição. Essas propriedades são centrais para a interpretação de qualquer programa de medição de qualidade. Esta entrada explica as propriedades de medição e não é uma fonte de regras de pontuação clínica para pacientes individuais.

Evidence & guidelines

Os fundamentos estatísticos vêm do coeficiente alfa de Cronbach e do kappa de Cohen, com orientação aplicada para medição em saúde consolidada no texto de Streiner e Norman. A orientação de classificação de indicadores situa essas propriedades dentro da medição de qualidade. Essas fontes são citadas por seu conteúdo metodológico e não são diretrizes clínicas.

History

Os conceitos de validade e confiabilidade foram formalizados na psicometria em meados do século XX, com o alfa de Cronbach de 1951 e o kappa de Cohen de 1960 tornando-se ferramentas padrão. À medida que a saúde adotou instrumentos relatados pelo paciente e indicadores de qualidade, esses princípios psicométricos foram incorporados à medição em saúde e codificados em guias práticos como o de Streiner e Norman.

Debates

O alfa de Cronbach é uma medida suficiente de confiabilidade?

O alfa é amplamente relatado, mas depende do número de itens e assume uma única dimensão subjacente; um alfa alto pode refletir redundância em vez de boa medição, e não estabelece unidimensionalidade ou validade, o que leva a pedidos de evidências complementares.

Key figures

• Lee Cronbach
• Jacob Cohen
• David Streiner
• Geoffrey Norman

Seminal works

• cronbach-1951
• cohen-1960
• streiner-norman-2015

Frequently asked questions

Uma medida pode ser confiável, mas não válida?

Sim. Uma medida pode fornecer resultados altamente consistentes enquanto capta consistentemente a coisa errada. A confiabilidade é necessária para a validade, mas não a garante; uma medida também deve demonstrar que reflete o construto que afirma avaliar.

Por que corrigir o acaso ao avaliar a concordância entre avaliadores?

Dois avaliadores concordarão às vezes puramente por acaso, especialmente com poucas categorias. O kappa de Cohen ajusta a concordância observada para a concordância esperada por acaso, fornecendo uma estimativa mais honesta da verdadeira confiabilidade.