Eleştirel Değerlendirme ve Bireysel Kanıtın İncelenmesi
Eleştirel değerlendirme, bir araştırmanın geçerliliğini, sonuçlarının büyüklüğünü ve kesinliğini ve belirli bir soruya olan uygunluğunu yargılamak amacıyla tek bir araştırma parçasını sistematik olarak inceleyen yapılandırılmış bir süreçtir. Bir çalışmayı okumayı değerlendirmeye dönüştüren pratik bir beceridir ve kanıta dayalı uygulamanın merkezinde yer almaktadır: kanıtlar uygulanmadan veya sentezlenmeden önce, her bir çalışma öncelikle kendi koşulları içinde değerlendirilmelidir.
Tanım
Eleştirel değerlendirme, yöntemlerinin güvenilirliğini (iç geçerlilik), bulgularının anlamını ve kesinliğini ve bu bulguların diğer ortamlara veya popülasyonlara ne ölçüde uygulanabileceğini (dış geçerlilik) belirlemek amacıyla bireysel bir araştırma çalışmasının açık, kriterlere dayalı bir değerlendirmesidir.
Kapsam
Bu alan, okuyucuyu kanıt topluluklarının nasıl bir araya getirildiğinden ziyade, bireysel çalışmaların nasıl değerlendirildiğine yönlendirmektedir. Genel değerlendirme sorularını (geçerli mi? sonuçlar nelerdir? uygulanabilir mi?), bu soruları uygulamak için kullanılan yapılandırılmış araçları ve kontrol listelerini ve bir çalışmayı ilk etapta değerlendirilebilecek kadar şeffaf kılan raporlama standartlarını (CONSORT ve STROBE gibi) kapsamaktadır. Bu, referans-eğitim niteliğindedir ve klinik tavsiyeler sunmamaktadır.
Alt konular
Temel sorular
- Bu bireysel çalışmanın sonuçları, tasarlandığı ve yürütüldüğü şekliyle geçerli midir?
- Sonuçlar nelerdir ve ne kadar kesin, klinik veya pratik olarak ne kadar önemlidirler?
- Sonuçlar, mevcut popülasyona, ortama veya soruya uygulanabilir mi?
- Yapılandırılmış araçlar ve raporlama standartları bir çalışmayı nasıl değerlendirilebilir kılar ve sübjektif yargıyı azaltır?
Anahtar kavramlar
- İç geçerlilik
- Dış geçerlilik (genellenebilirlik)
- Yanlılık riski
- Geçerlilik-sonuçlar-uygulanabilirlik değerlendirme çerçevesi
- Raporlama standartları ve metodolojik kalite
- Eleştirel değerlendirme araçları ve kontrol listeleri
- Raporlamanın tekrarlanabilirliği ve şeffaflığı
Mekanizmalar
Değerlendirme, bir çalışmanın tasarımını, o tasarımın yatkın olduğu yanlılıklarla eşleştirerek ilerlemekte ve ardından yazarların bunlara karşı yeterli adımları atıp atmadığını sorgulamaktadır. Yaygın olarak öğretilen Kullanıcı Kılavuzları çerçevesi, bunu üç ardışık soru halinde düzenlemektedir: sonuçlar geçerli mi, sonuçlar nelerdir ve yerel olarak yardımcı olacaklar mı? Böylece geçerlilik yargısı, etki büyüklüğünün yorumlanmasından önce gelmekte, bu da uygulanabilirlik hakkındaki herhangi bir yargıdan önce gelmektedir (Guyatt 1993; Greenhalgh 1997). Yöntemlerin değerlendirilmesinden farklı olarak, raporlama standartları bir makalenin neyi açıklaması gerektiğini belirtmektedir, böylece bir okuyucu onu değerlendirmek için gerekli bilgilere sahip olabilmektedir; bu ikisi birbirini tamamlamaktadır, çünkü kötü raporlanmış iyi yürütülmüş bir çalışma değerlendirilemez ve şeffaf bir şekilde raporlanmış bir çalışma bile yüksek yanlılık riski taşıdığı şeklinde değerlendirilebilmektedir.
Klinik önem
Eleştirel değerlendirme, sağlık meslekleri genelinde kanıta dayalı uygulamanın temel bir yetkinliğidir, çünkü araştırmayı sorumlu bir şekilde uygulamak, öncelikle bir çalışmanın güvenilir ve ilgili olup olmadığını değerlendirmeyi gerektirmektedir. Bu alan, bireysel çalışmaların nasıl değerlendirildiğini ve raporlandığını açıklamaktadır; tanısal veya tedavi kararları önermek yerine kanıtı karakterize etmektedir ve klinik kılavuzların yerine geçmemektedir.
Kanıt ve kılavuzlar
Değerlendirme, tek bir evrensel kontrol listesi yerine doğrulanmış, tasarıma özgü araçlarla desteklenmektedir; bir sistematik derleme, yüzün üzerinde yayınlanmış araç arasında geniş bir değişkenlik olduğunu ve herhangi bir tasarım için üzerinde anlaşmaya varılmış bir altın standart bulunmadığını ortaya koymuştur (Katrak 2004). Dergiler ve EQUATOR Ağı tarafından onaylanan raporlama standartları — randomize çalışmalar için CONSORT ve gözlemsel çalışmalar için STROBE — açıklamayı standartlaştırarak değerlendirmeyi tamamlamaktadır; GRADE gibi çerçeveler ise değerlendirmeyi tek bir çalışmadan bir kanıt topluluğunun kesinliğine kadar genişletmektedir (Guyatt 2008).
Tarihçe
Yapılandırılmış eleştirel değerlendirme, McMaster Üniversitesi'nde geliştirilen klinik epidemiyolojiden ve 1990'ların kanıta dayalı tıp hareketinden doğmuştur. Sackett ve arkadaşlarının kanıta dayalı tıp tanımı, bireysel çalışmaların değerlendirilmesini rutin bir klinik beceri olarak çerçevelemiştir (Sackett 1996) ve JAMA Kullanıcı Kılavuzları serisi, her çalışma türü için açık, ardışık değerlendirme sorularını kodlamıştır (Guyatt 1993). Greenhalgh'ın geniş çapta okunan başlangıç kitapları, aynı yaklaşımı geniş bir klinik kitleye ulaştırmıştır (Greenhalgh 1997). Paralel olarak, raporlama standartları ve özel değerlendirme araçları 1990'ların sonlarından itibaren yaygınlaşmış ve sonunda EQUATOR Ağı aracılığıyla koordine edilmiştir.
Tartışmalar
- Raporlama kalitesi, çalışma kalitesini ölçer mi?
- Raporlama standartları, çalışmanın iyi yürütülüp yürütülmediğini değil, neyin açıklandığını belgelemektedir; bir raporlama kontrol listesine uyumu metodolojik kalitenin bir ölçüsü olarak ele almak, şeffaflığı geçerlilikle karıştırmaktadır ve çoğu standardın yazarları, bunları kalite puanı olarak kullanmaya karşı uyarmaktadır.
- Altın standart bir değerlendirme aracı var mıdır?
- İçeriklerinde az örtüşme bulunan ve herhangi bir tasarım için üzerinde anlaşmaya varılmış bir referans aracı olmayan çok sayıda rakip kontrol listesi, değerlendirmeyi kısmen seçilen araca ve değerlendiricinin yargısına bağlı kılmaktadır.
Öne çıkan isimler
- David Sackett
- Gordon Guyatt
- Trisha Greenhalgh
- Andrew Oxman
İlgili konular
Temel eserler
- sackett-1996
- guyatt-1993
- greenhalgh-1997
Sıkça sorulan sorular
- Eleştirel değerlendirme, kanıt sentezinden nasıl farklıdır?
- Eleştirel değerlendirme, bir seferde tek bir çalışmayı değerlendirerek geçerliliğini ve uygunluğunu yargılamaktadır. Kanıt sentezi ise birçok değerlendirilmiş çalışmanın bulgularını birleştirmektedir; her bir bireysel çalışmanın değerlendirilmesi, sentez içindeki ön koşul bir adımdır.
- Bir raporlama kontrol listesini takip etmek, bir çalışmayı değerlendirmekle aynı mıdır?
- Hayır. Raporlama standartları, bir çalışmanın yeterli bilgi açıklayıp açıklamadığını size bildirmektedir; değerlendirme ise bu bilgiyi kullanarak çalışmanın yöntemlerinin ve sonuçlarının güvenilir olup olmadığını ve uygulanıp uygulanamayacağını yargılamaktadır. Tamamen raporlanmış bir çalışma bile yüksek yanlılık riski taşıyabilmektedir.