Özet:

Giriş Psikolojik alanda kullanılan testlerden elde edilen puanların geçerliği, psikolojik ölçme alanınınönemli konuları arasında yer almaktadır. Geçerlik, uygulanan testlerden elde edilen puanların bir özelliği olarak düşünülmekte ve şemsiye bir kavram olarak yapı geçerliği altında toplanabilmektedir. Yapı geçerliğine yönelik kanıt toplama sürecinde genellikle açımlayıcı ve doğrulayıcı faktör analizinden yararlanılmaktadır. Açımlayıcı faktör analizi (AFA) kovaryans yapıları üzerine kurulmuş olup gözlenen değişkenler arasındaki kovaryans matrisinden daha az sayıda gizil değişkenler (faktörler) elde etmeye yarayan bir tekniktir. AFA’da amaç, değişkenlerin oluşturduğu kümenin faktör yapısını ortaya çıkarmaktır. DFA’da ise teorik olarak ortaya konulan kuramsal yapının test edilmekte ve analiz öncesinde ölçülen değişkenin yapısal özellikeri bilinmektedir. Bu nedenle DFA’da amaç ölçme aracından elde edilen ölçümlere dayanarak öngörülen faktör yapısının doğrulanmaya çalışılmasıdır. Yapı geçerliğine yönelik kanıt toplama sürecinde her iki analizin de önemi yüksektir. Nunnally (1978), faktör analizi psikolojik yapıların ölçümünün kalbinde yer almaktadır diyerek faktör analizinin önemi vurgulamaktadır. Testten elde edilen puanların geçerliğini artırmak amacıyla farklı önlemler alınabilir. Buna örnek olarak ölçme aracının geliştirilme aşamasında ölçek geliştirme prosedürünü takip etmek, kuramsal alt yapıyı iyi bir şekilde bilmek ve ölçme aracına yansıtabilmek, testlerin uygulanma aşamasında bazı önlemlerin alınması gösterilebilir. Ancak test uygulandıktan sonra elde edilen puanlar üzerinde bazı ağırlıklandırma işlemleri ile de testten elde edilen puanların geçerliğinin artırılabileceği düşünülmüş ve madde ağırlıklıklandırmasına yönelik araştırmalar yürütülmüştür. Madde ağırlıklandırmaya yönelik araştırmalar incelendiğinde çoğunlukla 1900’lü yılların ilk yarısında yer aldığı görülmektedir. Madde ağırlıklandırmayla ilgili olarak önerilen yöntemler arasında çoklu regresyon yoluyla değer atama, kısmı regresyon katsayılarını atama Guilford (1954), madde ayırıcılık indeksleri ile ağırlıklandırma Birnbaum (1968), faktör analizini kullanma (Burt, 1950) gibi yöntemlerin kullanılmasının yanında test varyansını ya da madde varyansını kullanarak madde ağırlıklandırma (Dick, 1965), maddelerin bağlantılı olduğu içerik dikkate alınarak daha önemli konularla ilişkili olan maddeleri ağırlıklandırma (Ghiselli, 1964) tek tek maddeler yerine madde kümelerinin ağırlıklandırma şeklinde yöntemler öneren yazarlarda bulunmaktadır (Gulliksen, 1950). Günümüze daha yakın bir çalışmada ise Rotou, Headrick ve Elmore (2002) çok boyutlu madde tepki kuramı parametreleri kullanarak maddeleri ağırlıklandırmayı ve bireylerin puanlarını hesaplamak için klasik test kuramındaki toplam puan hesaplamasını kullanmaya dayanan bir hibrit ağırlıklandırma yöntemi önermiştir. Türkiye’de ağırlıklandırmaya yönelik araştırmalar yürütülmüş ancak genellikle çoktan seçmeli maddeler için seçenek ağırlıklandırma üzerinde durulmuş (Akkuş & Baykul, 2001; Erdem, Ertuna, & Doğan, 2016; Gözen-Çıtak, 2010; Özdemir, 2004) madde ağırlıklandırma üzerinde yürütülen araştırmaların sınırlı olduğu görülmüştür (Yurdugül, 2010). Yurdugül (2010) tarafından yürütülen araştırmada bireylerin toplam puanları üzerinden değerlendirme yapılmıştır. Mevcut araştırmada ise yapı geçerliğine yönelik araştırmada bulunulmuştur. Yöntemler genel olarak değerlendirildiğinde, Guilford (1954) ve Phillips (1943) madde ağırlıklandırma için harcanan emeğe değmeyeceğini belirtmiştir. Ancak madde ağırlıklandırmayla testten elde edilen sonuçların geçerliği ve güvenirliğinin artırılmasının yanında bireyler arasındaki farkı da maksimize etmesi gerektiğinden (Horst, 1936) bireyleri daha iyi ayırmayı sağlayacaktır. Günümüzde bilgisayar teknolojisinin oldukça gelişmiş olması madde ağırlıklandırma işlemine harcanacak emeği de azaltacağından geçerlik ve güvenirliğe aşırı katkı yapmasa bile kısmi katkıları sebebiyle kullanılması önerilebilir. Madde ağırlıklandırmanın sonuçları genel olarak incelendiğinde, kısa testler için maddelerin farklı ağırlıklandırmanın daha verimli olduğu, madde sayısının 10 ila 20 arasında olduğunda madde ağırlıklandırmanın çok az etkili olduğu (Ghiselli, 1964), uzun testler içinseiyi ağırlıklandırmanın tüm maddeler için 1 olarak seçilmesi olduğu belirtilmektedir. Maddeler arası korelasyonların ortalaması düşük olduğunda madde ağırlıklandırmanın daha iyi sonuçlar verdiği (Guilford, 1954) ve testteki bileşen sayısı azaldıkça maddeleri farklı puanlamanın eşit ağırlıklandırma yoluyla elde edilen toplam puana (Örneğin, doğru cevap için 1, yanlış cevap için 0 puan vermek ve doğru cevap verilen maddeleri toplamak gibi.) göre bireyleri sıralama üzerinde daha etkili olduğu ifade edilmiştir (Ghiselli, 1964). Madde ağırlıklandırmanın testten elde edilen sonuçların geçerliğini ve güvenirliğini artırıcı etki yapması ve bu nedenle de açıkça önem arz etmesine rağmen çok az sayıda çalışmada kullanılması Burt (1950) tarafından da şaşırtıcı olarak ifade edilmiştir. Günümüzde madde ağırlıklandırmanın etkilerine yönelik olarak yürütülen araştırmaların sınırlı olması nedeniyle bu araştırmada araştırmacılar tarafından geliştirilen madde ağırlıklandırma yöntemi farklı koşullar altında incelenmiştir. Araştırmada “Madde ağırlıklandırmanın testin geçerlik ve güvenirliğine etkisi nasıldır?” sorusuna yanıt aramak amacıyla i) önerilen madde ağırlıklandırma yöntemiyle elde edilen dönüştürülmüş madde puanları matrisi üzerinden yürütülen AFA sonucunda açıklanan varyans oranı nasıl değişmektedir?, ii) önerilen madde ağırlıklandırma yöntemiyle elde edilen dönüştürülmüş madde puanları matrisi üzerinden yürütülen DFA sonucunda CFI, RMSEA ve ki-kare değerleri nasıl değişmektedir?, iii) önerilen madde ağırlıklandırma yöntemiyle elde edilen dönüştürülmüş madde puanları matrisi üzerinden yürütülen güvenirlik analizi sonucunda Cronbach Alfa güvenirlik katsayısı değerleri nasıl değişmektedir? Sorularına yanıt aranmıştır.   Yöntem Araştırmacılar tarafından önerilen ağırlıklandırma yönteminin testin geçerlik ve güvenirliği üzerindeki etkisinin incelenmesi amacıyla Monte Carlo simülasyon çalışması yürütülmüştür. Araştırmanın verileri, kategorik veri türlerinin çokluğu ve ayrı çalışılması gerektiği düşüncesiyle 1-0 puanlamayla sınırlandırılmıştır. Diğer bir sınırlılık ise veri setlerinin tek boyutlu üretilmesidir. Bunun nedeni ise çok boyutlu verilerde veri türü, boyut sayısı, boyutlar arası ilişkiler, boyutlardaki madde sayıları vb. gibi birçok koşulu bir arada ele almanın çalışmayı amacından uzaklaştırabileceği düşüncesidir. Simülasyon koşulu olarak örneklem büyüklüğü (250, 1000 ve 3000), madde sayısı (20, 30 ve 40) ve ortalama faktör yükü (0.5 ve 0.7) ele alınmıştır. Örneklem büyüklüğü olarak küçük, orta ve büyük olacak şekilde örneklemler oluşturulmuştur. Ağırlıklandırma sonrasında madde sayısının, faktör analizi ve puanların güvenirliğine etkisini incelemek için madde sayısı da simülasyon çalışmasına koşul olarak eklenmiştir. Faktör yükleri ortalaması da tek boyutluluğun güçlü ya da zayıf olması durumunda ağırlandırmanın etkisini görmeyi sağlayacağı düşüncesiyle ele alınmıştır. Bütün koşullar ele alındığında toplamda 18 simülasyon koşulu araştırılmış ve her bir koşul için 1000 replikasyon yapılmıştır. Araştırmada kullanılan ağırlıklandırma yönteminde,                           (1)   fonksiyonu kullanılmıştır. Burada pi, i maddesinin madde güçlüğünü, Ij ise j. bireyin ortalama puanını ifade etmektedir. Yani;                                                                                                                               (2) şeklinde ifade edilebilir. Burada xi, bireyin i. maddeden aldığı puanı (0 ya da 1), n ise toplam madde sayısını ifade etmektedir. Böylece her bireyin ortalama puanı hesaplanmaktadır. Buna göre bireyin ortalama puanının 0 ile 1 arasında değer alacağı söylenebilir. Ağırlıklandırma fonksiyonu parçalı fonksiyon olarak tanımlanmıştır. Fonksiyon incelendiğinde xij, j bireyinin i maddesine verdiği yanıtı ifade etmektedir. Buna göre j bireyinin i maddesine verdiği yanıt 1 ya da 0 değerinin alabilir. Parçalı fonksiyonun kuralları incelendiğinde eğer bireyin testten aldığı ortalama puan yani Ij ile i maddesinin madde güçlük indeksinin toplamı 1 ve daha büyükse o zaman bireyin madde puanına (0 ya da 1) i maddesinin madde güvenirlik indeksi eklenmektedir. Eğer bu toplam 1’den küçükse bu durumda bireyin madde puanı aynen korunmaktadır. Madde ağırlıklandırma fonksiyonunun Denklem 1’de belirtilen şekilde tanımlanmasının amacı, ölçme sonuçlarına karışan tesadüfi hatayı düzeltmeye çalışmaktır. Fonksiyon incelendiğinde başarılı bir bireyin kolay bir soruya dikkatsizlikle veya farklı tesadüfi hata kaynakları nedeniyle verdiği cevabın düzeltilmesi esasına dayanmaktadır. Aynı şekilde düşük başarılı bir birey de kendi cevaplayabileceği madde güçlüğü için düzeltme puanı alabilmektedir.   Sonuç ve Tartışma Araştırma sonucunda önerilen madde ağırlıklandırma yönteminin açıklanan varyans oranını ortalama %13.8 artırdığı gözlenmiştir. Ortalama faktör yükü arttıkça ağırlıklandırma işleminin açıklanan varyans üzerindeki etkisi artmıştır. Buna göre maddeler arasındaki ilişki arttıkça ağırlıklandırma işleminin etkisinin arttığı söylenebilir. Bu sonuç Ghiselli (1964) tarafından belirtilen nominal ağırlıklandırma yönteminden elde edilen sonuçla farklılaşmaktadır. Nominal ağırlıklandırma yönteminde bileşenlere farklı ağırlıklıklar atanmaktadır. Ghiselli (1964) tarafından belirtilen nominal ağırlıklandırma yöntemiyle bileşenler arası ortalama korelasyon azaldıkça ağırlıklandırılmış puanların bireylerin sıralanmasında daha fazla etkili olduğu raporlanmıştır. Mevcut araştırmada ise maddelerin ortalama faktör yükü arttıkça açıklanan varyans oranının da arttığı gözlenmiştir. Buna göre maddeleri arasındaki ilişkileri yüksek olan testlerde mevcut araştırmada kullanılan ağırlıklandırma yönteminin kullanılması önerilebilir.  Ağırlıklandırma işleminin açıklanan varyans oranına etkisi incelendiğinde faktör yükü, madde sayısı ve örneklem arttıkça açıklanan varyans oranın da arttığı söylenebilir. Guilford (1954) ve Phillips (1943) harcanan emeğe nazaran elde edilen iyileşmenin önemsiz olduğunu vurgulamıştır. Ancak mevcut araştırmadan elde edilen ortalamalar incelendiğinde madde ağırlıklandırma yönteminin kullanılmasının harcanan efora değecek sonuçlar ürettiği düşünülmektedir. Diğer bir deyişle kullanışlık açısından araştırmada önerilen ağırlıklandırma yönteminin önerilebileceği söylenebilir.  Bir psikolojik özellikteki açıklanan varyans oranını %13 civarında arttırmak önemli bir kazançtır ve artık bilgisayar programlarının da yardımıyla ağırlıklandırma yapmak çok da zor olmamaktadır.  Doğrulayıcı faktör analizi sonuçları incelendiğinde ise genel olarak ağırlıklandırma işleminin CFI ve RMSEA değerlerinde iyileşme sağladığı söylenebilir. Ki-Kare değerleri incelendiğinde bazı modeller için iyileşme olmadığı gözlense de ortalama olarak değerlendirildiğinde ki-kare değerlerinde de bir düşme olduğu gözlenmiştir. Güvenirlik analizi sonuçları incelendiğinde ise ortalama olarak 0.05 düzeyinde güvenirlik katsayısının yükseldiği gözlenmiştir. Bu sonuç Guilford, Lovell, & Williams (1942) araştırma bulgularıyla da benzerdir. Ancak AFA ve DFA sonuçları birlikte değerlendirildiğinde güvenirlik katsayısının azalmamasının yeterli olabileceği düşünülmektedir. Çünkü madde sayısının artması güvenirlik katsayısını da arttırmaktadır. Hesaplanan tüm güvenirlik katsayıları ağırlıklandırma sonuçlarının kullanılabileceğini göstermektedir. Ağırlıklandırma işleminin güvenirliği düşürücü bir etki yapmamasının yeterli olabileceği değerlendirilmektedir. Araştırma sonuçlarına göre araştırmacılar tarafından önerilen ağırlıklandırma yönteminin kullanılması hem araştırmacılara hem de politika uygulayıcılarına önerilebilir. Yapı geçerliğine katkı sunan bu ağırlıklandırma yönteminin tek boyutlu yapılar için araştırıldığı gözden kaçırılmamalıdır. Araştırmacılara iki yada daha çok boyutlu testler için önerilen ağırlıklandırma yönteminin nasıl sonuçlar ürettiğini araştırılması önerilebilir.        

Anahtar Kelimeler: