Độ giá trị và độ tin cậy của phép đo

Độ giá trị và độ tin cậy là hai thuộc tính cốt lõi quyết định liệu một thước đo chất lượng có đáng tin cậy hay không. Độ giá trị liên quan đến việc liệu một thước đo có thực sự nắm bắt được khía cạnh chất lượng mà nó tuyên bố nắm bắt hay không; độ tin cậy liên quan đến việc liệu thước đo có tạo ra kết quả nhất quán khi được áp dụng lặp lại trong cùng điều kiện hay không. Một thước đo phải vừa đáng tin cậy vừa có giá trị trước khi kết quả của nó biện minh cho các đánh giá về chất lượng hoặc các quyết định hành động.

Definition

Độ tin cậy là mức độ mà một phép đo mang lại kết quả nhất quán, có thể tái tạo được qua các lần áp dụng, người đánh giá hoặc các mục lặp lại; độ giá trị là mức độ mà một phép đo phản ánh chính xác cấu trúc cơ bản, ở đây là một khía cạnh của chất lượng chăm sóc sức khỏe, mà nó dự định đánh giá.

Scope

Mục này bao gồm các hình thức chính của độ giá trị và độ tin cậy khi chúng áp dụng cho các chỉ số và công cụ chất lượng, các thống kê thường được sử dụng để định lượng chúng, và lý do tại sao cả hai thuộc tính này đều quan trọng đối với phép đo mang lại hậu quả. Đây là một tài liệu tham khảo về phương pháp luận và không cung cấp ngưỡng điểm lâm sàng cho bất kỳ công cụ cụ thể nào.

Core questions

• Một thước đo chất lượng có giá trị nghĩa là gì, và độ giá trị được đánh giá như thế nào?
• Độ tin cậy được phân biệt với độ giá trị như thế nào, và tại sao cả hai đều cần thiết?
• Những thống kê nào định lượng tính nhất quán nội bộ và sự đồng thuận giữa những người đánh giá?
• Độ giá trị hoặc độ tin cậy kém làm sai lệch các phán đoán về chất lượng như thế nào?

Key concepts

• Độ giá trị nội dung
• Độ giá trị cấu trúc
• Độ giá trị tiêu chí
• Tính nhất quán nội bộ (hệ số alpha của Cronbach)
• Độ tin cậy giữa những người đánh giá (hệ số kappa của Cohen)
• Độ tin cậy kiểm tra lại
• Sai số đo lường và biến thiên ngẫu nhiên

Key theories

Lý thuyết kiểm định cổ điển về độ tin cậy

Lý thuyết kiểm định cổ điển coi một phép đo quan sát được là tổng của một giá trị thực và sai số ngẫu nhiên, do đó độ tin cậy là tỷ lệ phương sai quan sát được có thể quy cho sự khác biệt thực sự chứ không phải sai số. Hệ số alpha của Cronbach vận hành một dạng của điều này như là tính nhất quán nội bộ giữa các mục nhằm đo lường cùng một cấu trúc.

Mechanisms

Độ tin cậy được đánh giá bằng cách kiểm tra tính nhất quán của phép đo qua các lần lặp lại: tính nhất quán nội bộ giữa các mục, sự đồng thuận giữa những người đánh giá và sự ổn định theo thời gian khi trạng thái cơ bản không thay đổi. Hệ số alpha của Cronbach tóm tắt tính nhất quán nội bộ cho các thang đo đa mục, trong khi hệ số kappa của Cohen định lượng sự đồng thuận giữa hai người đánh giá về các phán đoán phân loại, điều chỉnh cho sự đồng thuận ngẫu nhiên. Độ giá trị được đánh giá bằng cách tích lũy bằng chứng cho thấy phép đo phản ánh cấu trúc dự định của nó: độ giá trị nội dung (phạm vi bao phủ toàn diện của khái niệm), độ giá trị cấu trúc (mối quan hệ dự kiến với các phép đo khác) và độ giá trị tiêu chí (sự đồng thuận với một tiêu chuẩn tham chiếu). Một phép đo có thể đáng tin cậy nhưng không có giá trị, liên tục đo lường sai thứ, nhưng nó không thể có giá trị mà không đáng tin cậy, bởi vì sai số ngẫu nhiên giới hạn mức độ một phép đo có thể theo dõi mục tiêu của nó.

Clinical relevance

Trước khi một chỉ số chất lượng hoặc công cụ do bệnh nhân báo cáo được sử dụng để báo cáo, công nhận hoặc khuyến khích, độ giá trị và độ tin cậy của nó phải được thiết lập để những khác biệt quan sát được phản ánh sự biến đổi thực sự về chất lượng chứ không phải nhiễu phép đo. Các thuộc tính này là trung tâm để diễn giải bất kỳ chương trình đo lường chất lượng nào. Mục này giải thích các thuộc tính đo lường và không phải là nguồn quy tắc chấm điểm lâm sàng cho từng bệnh nhân.

Evidence & guidelines

Các nền tảng thống kê đến từ hệ số alpha của Cronbach và hệ số kappa của Cohen, với hướng dẫn ứng dụng cho phép đo lường sức khỏe được tổng hợp trong văn bản của Streiner và Norman. Hướng dẫn phân loại chỉ số đặt các thuộc tính này trong phạm vi đo lường chất lượng. Các nguồn này được trích dẫn vì nội dung phương pháp luận của chúng và không phải là các chỉ thị lâm sàng.

History

Các khái niệm về độ giá trị và độ tin cậy đã được chính thức hóa trong tâm trắc học vào giữa thế kỷ XX, với hệ số alpha của Cronbach năm 1951 và hệ số kappa của Cohen năm 1960 trở thành công cụ tiêu chuẩn. Khi chăm sóc sức khỏe áp dụng các công cụ do bệnh nhân báo cáo và các chỉ số chất lượng, các nguyên tắc tâm trắc học này đã được đưa vào đo lường chăm sóc sức khỏe và được hệ thống hóa trong các hướng dẫn thực hành như của Streiner và Norman.

Debates

Hệ số alpha của Cronbach có phải là một thước đo độ tin cậy đầy đủ không?

Hệ số alpha được báo cáo rộng rãi nhưng phụ thuộc vào số lượng mục và giả định một chiều cơ bản duy nhất; hệ số alpha cao có thể phản ánh sự dư thừa hơn là phép đo tốt, và nó không thiết lập tính đơn chiều hoặc độ giá trị, thúc đẩy các lời kêu gọi về bằng chứng bổ sung.

Key figures

• Lee Cronbach
• Jacob Cohen
• David Streiner
• Geoffrey Norman

Seminal works

• cronbach-1951
• cohen-1960
• streiner-norman-2015

Frequently asked questions

Một thước đo có thể đáng tin cậy nhưng không có giá trị không?

Có. Một thước đo có thể cho kết quả rất nhất quán trong khi liên tục nắm bắt sai thứ. Độ tin cậy là cần thiết cho độ giá trị nhưng không đảm bảo nó; một thước đo cũng phải được chứng minh là phản ánh cấu trúc mà nó tuyên bố đánh giá.

Tại sao phải điều chỉnh cho yếu tố ngẫu nhiên khi đánh giá sự đồng thuận giữa những người đánh giá?

Hai người đánh giá đôi khi sẽ đồng ý hoàn toàn do ngẫu nhiên, đặc biệt với ít danh mục. Hệ số kappa của Cohen điều chỉnh sự đồng thuận quan sát được cho sự đồng thuận dự kiến do ngẫu nhiên, đưa ra một ước tính trung thực hơn về độ tin cậy thực sự.