SlideShare a Scribd company logo
1 of 55
Download to read offline
A.FARUK KILIÇ
ELİF ÖZLEM ARDIÇ
İLHAN KOYUNCU
MUSTAFA GÖKCAN
STANDART BELİRLEME NEDİR?
Standart belirleme; iki ya da
daha fazla performans derecesini
ayıran puanların belirlenmesinde
izlenen tanımlanmış sistemli
kurallar ya da süreçler bütünüdür.
STANDART BELİRLEME YÖNTEMLERİ
Kesme puanının belirlenmesi standart belirleme sürecidir
ve istenilen yeterlikte olan öğrenci ile olmayan öğrencinin ayırt
edilmesini sağlar.
Kesme puanı belirlenmeden önce performans düzeyi
tanımlanmalıdır.
STANDART BELİRLEME YÖNTEMLERİ
Performans Düzeyi: Kişilerin belirli bir alanda “yetersiz”,
“temel düzeyde”, “yeterli” ya da “ileri düzeyde”
sınıflandırıldıklarında hangi bilgi, beceri ve yeteneğe sahip
olmaları gerektiğini detaylı olarak anlatan tanımlamalardır.
STANDART BELİRLEME YÖNTEMLERİ
Standart belirleme sürecini kişileri performans düzeylerine
göre ayıran performans standartlarını, test puanları cetvelindeki
rakamsal hale getirme süreci olarak adlandırılabiliriz.
STANDART BELİRLEME AŞAMALARI
Standart Belirleme Aşamaları:
1. Uygulama grubu (panel) seçilmesi
2. Standart belirleme metodunun seçimi, çalışma materyallerinin
hazırlanması
3. Performans düzeyleri tanımlarının hazırlanması
4. Standart belirleme metodunu kullanabilmesi için katılımcıların
eğitilmesi
5. Katılımcı kararlarının alınması
6. Nihai kesme puanının hesaplanması
STANDART BELİRLEME YÖNTEMLERİ
1. Nedelsky Yöntemi
-Sadece çoktan seçmeli testlerde kullanılabilir.
-Uzmanlardan her bir olası yanlış seçeneği değerlendirmeleri
istenir.
-Her bir madde için, geçti-kaldı sınırındaki bir öğrencinin
seçeneklerden kaç tanesinin yanlış olduğunu bilerek
eleyebileceklerini tahmin etmeleri beklenmektedir.
STANDART BELİRLEME NEDİR?
2. Angoff Yöntemi
 Angoff yönteminde Nedelsky yönteminden farklı olarak
maddelerin seçenekleri ayrı ayrı değil, madde bir bütün olarak
değerlendirilir.
 Uzman her bir soruyu sınırdaki bir öğrencinin
cevaplayabilme olasılığını tahmin eder.
 Doğru cevaplama olasılıklarının toplamı, bir uzman
tarafından belirlenen kesme puanıdır.
STANDART BELİRLEME NEDİR?
3. Angoff Çeşitlemeleri / 1-0 ( Yes/No ) Yöntemi
- Uzmanlardan, öğrenciye uygulanacak olan testteki her bir test maddesini
inceleyip, minimum yeterlilik düzeyindeki bir öğrencinin bu maddeleri doğru
cevaplayıp cevaplayamayacağını tahmin etmeleri istenir.
- Öğrencinin maddeyi doğru cevaplayacağı düşünülüyorsa 1 puan, yanlış
cevaplayacağı düşünülüyorsa 0 puan verilir.
- Puan toplamları alınarak o uzman için bir kesme puanı belirlenir; tüm
uzmanların kesme puanı ortalaması ile de testin kesme puanı belirlenmiş olur.
STANDART BELİRLEME NEDİR?
4. Ebel Yöntemi
-Her uzman soruları önce gruplara ayırır ve daha sonra da her
gruptaki sorular için tahminde bulunur.
-Her soru için iki farklı yargıya varılır. Bir yargı “güçlüğü” ile ilgili,
diğeri ise “uygunluğu” ile ilgili olarak verilir.
-Ebel “kolay”, “orta”, “zor” olmak üzere üç güçlük düzeyi, “gerekli”,
“önemli”, kabul edilebilir” ve “tartışılabilir” olmak üzere dört
uygunluk boyutu tanımlamıştır.
STANDART BELİRLEME NEDİR?
4. Ebel Yöntemi
Yargıcılardan maddelerin tamamını tabloda belirtilen hücrelere
yerleştirmeleri ve minimum yeterlikteki bireylerin, sınıflanan bu
maddelerin yüzde kaçını doğru cevaplayabileceğini belirtmeleri istenir.
Hesaplama aşamasında, her bir hücredeki madde sayısı ile o hücre
için belirtilen geçme oranı çarpılmakta ve bu çarpımlar toplanmaktadır.
Her bir yargıcı için bu işlem tekrarlanmakta ve ortalama alınarak
nihai kesme puanına ulaşılmaktadır.
STANDART BELİRLEME NEDİR?
5. İşaretleme/Ayraç (Bookmark) Yöntemi
İşaretleme yönteminin esası, madde tepki kuramı (MTK)
kullanılarak maddelerin haritalanmasıdır.
Maddeler ölçek üzerindeki yerlerine göre sıralanırlar.
Ölçek üzerindeki yerleri de madde güçlüklerine (p) göre
belirlenir.
Sıralama ise en basit maddeden en zor maddeye doğru
yapılır.
STANDART BELİRLEME NEDİR?
6. Sınır Grup Yöntemi
- Bu yöntemde kesme puanı performans düzeyleri sınırındaki
(tam olarak yeterli değil ama yetersiz de değil) öğrencilerin
puanları esas alınarak hesaplanır.
- Sınır grupta olan öğrencileri belirlemeleri istenir.
- Öğrenciler belirlendikten sonra uygulanan test sonucunda
elde edilen puanların medyanı kesme puanı olarak alınır.
STANDART BELİRLEME NEDİR?
7. Karşıt Gruplar Yöntemi
Farklı yetenek grupları arasında beklenen performans
düzeyi ile var olan performans düzeyi karşılaştırılmakta, kesme
puanı da bu karşılaştırmaya göre belirlenmektedir.
Grup “yeterli” ve “yetersiz” olmak üzere uzmanlar
tarafından 2 gruba ayrılır.
Yeterli ve yetersiz grubun dağılımının kesiştiği nokta kesme
puanı olarak belirlenir.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Makale Künyesi:
Seçil ÖMÜR ve Hüseyin SELVİ,
Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi,
Kış 2010, 1 (2), 109-113
Giriş: Ölçme araçlarından elde edilen puanlara dayanarak
bireyler hakkında seçme, yerleştirme, tanı, rehberlik gibi çeşitli
kurumsal kararlar verilmektedir.
Geliştirilmiş bir ölçme aracını kullanarak bir birey için elde
edilmiş bir puan hakkında karar verebilmek (assessment) için de
çeşitli ölçütler kullanılmaktadır. Bu ölçütlerden biri de elde edilen
puanın, belirlenen bir kesme puanını aşıp aşmadığıdır.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Kesme puanına dayalı değerlendirme işleminde teste giren
bireylerin sınıflanması söz konusu olduğundan, verilecek olan
kararlar da; geçer-kalır, başarılı-başarısız, yeterli-yetersiz,
olumlu-olumsuz tutuma sahip vb. şeklinde genellikle iki kategori
düzeyinde belirlenmektedir.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Kesme puanının belirlenmesine ilişkin birçok farklı yöntem
bulunmaktadır. Bu çalışma kapsamında kesme puanı belirlemede
kullanılan yöntemler aşağıdaki gibidir:
• Angoff Yöntemi
• Ebel Yöntemi
• Nedelsky Yöntemi
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Belirtilen kesme puanı belirleme yöntemlerinde yeterli yargıcı
sayısının belirlenmesi, yargıcıların niteliklerine karar verilmesi,
yargıcıların seçilmesi gibi sıkıntılar da bulunmaktadır. Ayrıca belirtilen
farklı yöntemlerle belirlenen kesme puanları temel alınarak, bu puanların
ne derecede tutarlı sınıflama yaptığının belirlenmesi de oldukça
önemlidir. Bu yöntemleri karşılaştıran çeşitli çalışmalar bulunmasına
rağmen (Chang, 1999; Livingston ve Zieky, 1989; Alsmadi, 2007),
hiçbirinin sınıflama tutarlılığını incelemediği görülmektedir.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Amaç: Bu üç yöntemin kesme puanlarından hangisinin, değişik
yargıcı sayılarında daha tutarlı sınıflama yaptığını incelemek.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Problemler:
1. Angoff, Ebel ve Nedelsky yöntemleriyle elde edilen kesme
puanlarına dayanarak hesaplanan sınıflama tutarlığı indeksleri
hangi yöntemde daha yüksektir?
2. Farklı yargıcı sayılarına (10, 20 ve 30) göre Angoff, Ebel ve
Nedelsky yöntemleriyle hesaplanan kesme puanlarının, sınıflama
tutarlığı indeksleri hangi yöntemde daha yüksektir?
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Yöntem: Çalışma kapsamında; Angoff, Ebel ve Nedelsky
Yöntemleriyle ve farklı yargıcı sayıları kullanılarak elde edilen kesme
puanlarının sınıflama tutarlığı indekslerini incelenmiştir.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Çalışma Grubu:
Yargıcılar: 2009–2010 eğitim öğretim yılında çeşitli illerin ilköğretim
okullarında görev yapan 24 İngilizce öğretmeni ve Mersin Üniversitesi’nde görev
yapan 6 alan uzmanı
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Öğrenciler: Mersin ilindeki özel
bir dershaneye devam eden
176 ilköğretim 8. sınıf
öğrencisi.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Veri Toplamı Aracı:
8. sınıf düzeyinde 17 tane çoktan seçmeli test maddesinden
oluşan ve bir dershanenin deneme sınavında kullanılan İngilizce
testi (KR-20: .60).
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Veri Toplama Süreci:
Yargıcılardan testin maddeleri için kendilerine verilen
değerlendirme formları üzerinde,
1. Angoff yöntemi için, geçme-kalma (minimum yeterlik) sınırındaki
öğrencilerin o maddeyi doğru cevaplama yüzdesini tespit etmeleri,
2. Ebel yöntemi için, ölçekteki bütün maddeleri güçlük ve önem
derecelerine göre sınıflamaları ve geçme-kalma (minimum yeterlik)
sınırındaki öğrencilerin sınıflanan bu maddelerin yüzde kaçını
geçebileceklerini belirtmeleri
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Veri Toplama Süreci:
3. Nedelsky yöntemi için, geçme-kalma (minimum yeterlik)
sınırındaki öğrencilerin, her bir madde için eleyebileceği çeldirici
sayısını belirtmeleri istenmiştir.
Ardından farklı yargıcı sayılarına (10, 20 ve 30) göre Angoff,
Ebel ve Nedelsky yöntemleriyle elde edilen kesme puanlarının
sınıflama tutarlığı indeksleri karşılaştırılmıştır.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Verilerin Analizi: Farklı yargıcı sayıları (10, 20 ve 30) tüm yargıcılar
içindenseçkisiz(random) seçilerek elde edilmiştir.
Angoff, Ebel ve Nedelsky yöntemleri kullanılarak elde edilen kesme
puanlarının sınıflama tutarlığı indeksleri, tek uygulamaya dayanan ve
Subkoviak (1988) tarafından geliştirilen
𝒛 =
(𝒄 − 𝟎, 𝟓 − 𝑿)
𝑺
formülü kullanılarak hesaplanmıştır.
c:KesmePuanı 𝑋 :Testin Ortalaması ve S:Testin Standart Sapması
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Bulgular
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Farklı yargıcı sayısına göre; Angoff, Ebel ve Nedelsky yöntemleriyle elde edilen kesme
puanları ve bu puanların sınıflama tutarlığı indeksleri aşağıda belirtilmektedir.
Tablo 1. Angoff, Ebel ve Nedelsky yöntemleri ile elde edilen kesme puanları ve bu
puanların sınıflama tutarlığı indeksleri
Yargıcı
Sayısı (N)
En Yüksek
Standart Sapma
En yüksek
kesme
puanı
En yüksek
sınıflama tutarlılığı
10 Nedelsky Ebel Nedelsky
20 Ebel Ebel Nedelsky
30 Nedelsky Angoff Nedelsky
Bulgular
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Yargıcı sayısının 10 ve 20 olması durumlarında, en yüksek kesme
puanının Ebel yöntemiyle ve en iyi sınıflamanın Nedelsky yöntemiyle elde
edildiği görülmektedir. Yargıcı sayısının 30 olması durumunda ise, en yüksek
kesme puanının Angoff yöntemiyle ve en iyi sınıflamanın Nedelsky yöntemiyle
elde edildiği görülmektedir.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Sonuç
Yargıcı sayısına bağlı olarak kesme puanlarında önemli bir
değişim gözlenmemekle birlikte, üç yöntemde ve üç ayrı
yargıcı sayısında en yüksek sınıflama tutarlığı indeksinin
Nedelsky yöntemiyle elde edildiği sonucuna ulaşılmıştır.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Öneriler
Po değerlerinin güvenirliği yüksek ölçeklerde daha iyi sonuçlar
vereceği düşünüldüğünden benzer çalışmaların, farklı güvenirlik
katsayılarına sahip ölçekler için elde edilen kesme puanlarının
sınıflama tutarlılıkları karşılaştırılabilir.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Makale Künyesi:
Sevda ÇETİN ve Selahattin GELBAL
Kuram ve Uygulamada Eğitim Bilimleri, 13 (4),
2159-2175
Amaç: Bu araştırma ile Angoff ve İşaretleme
Yöntemleri ile bulunan kesme puanlarının mevcut bir
geçme puanı ile karşılaştırılması amaçlanmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Problemler:
İşaretleme ve Angoff standart belirleme yöntemleri ile elde
edilen kesme puanları bir vakıf üniversitesinin İngilizce yeterlik
sınavının belirlenmiş mevcut geçme puanından farklılaşmakta mıdır?
Bu yöntemlerle yürütülen standart belirleme süreci nasıl işlemektedir?
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Yöntem:
Angoff ve İşaretleme yöntemlerinin özelliklerinin
belirlenmesi, durum saptamaya yönelik olduğundan bu yönüyle
çalışma betimsel bir araştırma niteliği taşımaktadır.
Ayrıca yöntemlerin kıyaslanmış olması bakımından da temel
bir araştırmadır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Yöntem
Yargıcılar: 17 İngilizce dil uzmanı
Öğrenciler: 2009 yılı güz döneminde üniversite İngilizce
yeterlik sınavına giren toplam 564 öğrenci
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Veri Toplama Aracı:
Bir vakıf üniversitenin
hazırlık birimince uygulanmakta
olan ve önceden belirlenmiş bir
kesme puanı bulunan yeterlik
testidir.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Verilerin Analizi:
1 Parametreli ve 2 Parametreli
Lojistik Model sayıltılarının
incelenmesi için çalışmada
BILOG programı kullanılmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Araştırmada model veri uyumu için
● Tek Boyutluluk,
● Yerel Bağımsızlık,
● Testteki Maddelerin Sabit Ayırt Edicilik Düzeyine Sahip Olup Olmadığı,
● Şans Başarısı,
● Testin Hız Testi Olup Olmadığı,
● Madde Ve Yetenek Parametrelerinin Değişmezliği varsayımları her üç
modele göre incelenmiş, kullanılan veriye uygun düşen modeller
belirlenmeye çalışılmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Yapılan tüm analizler
sonucunda veri setinin 2
Parametreli Model için en uygun
olduğu görülmüştür. Çalışmada
modeller arasında karşılaştırma
yapabilmek adına madde
parametreleri 1 Parametreli
Model için de kestirilmiştir.
Problem 1:
Üniversite İngilizce hazırlık programı yeterlik sınavının
Angoff yöntemiyle hesaplanan yeterlik puanı mevcut yeterlik
puanından farklı mıdır?
İşlemler:
Angoff Yönteminin işlemleri uygulanmıştır. Bunun için 17
İngilizce dil uzmanından (okutman) yardım alınmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Bulgular:
Üniversitenin Belirlediği Kesme
Puanı: 35,75
Angoff Yöntemine Göre Belirlenen
Kesme Puanı: 27,83
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Problem 2:
Üniversite İngilizce hazırlık programı yeterlik sınavının
İşaretleme yöntemiyle hesaplanan yeterlik puanı mevcut yeterlik
puanından farklı mıdır?
İşlemler:
İşaretleme Yönteminin işlemleri uygulanmıştır. Bunun için 17
İngilizce dil uzmanından (okutman) yardım alınmıştır. Ayrıca BILOG
programı kullanılmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Bulgular:
Üniversitenin Belirlediği Kesme Puanı: 35,75
İşaretleme Yöntemine Göre Bulunan Kesme Puanları:
19,242 (1PLM ve RP50)
25,247 (1 PLM ve RP67)
18,897 (2PLM ve RP50)
25,102 (2PLM ve RP67)
Problem 3:
Angoff yönteminde uzmanların belirlediği madde
cevaplama olasılıkları ile üniversite İngilizce hazırlık programı
yeterlik sınav puanlarından hesaplanan gerçek madde güçlükleri
arasındaki ilişki düzeyi nasıldır?
İşlemler:
Angoff Yönteminin işlemleri uygulanmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Bulgular:
Uzmanların Madde Cevaplama Olasılıkları Ortalamaları İle Gerçek
Madde Güçlükleri Arasındaki Korelasyon=0,60
Manidarlık Düzeyi: 0,01
Anlamlı olduğu görülmüştür.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Problem 4:
Üniversite İngilizce hazırlık programı yeterlik sınavına ilişkin Angoff
ve İşaretleme Yöntemiyle hesaplanan yeterlik puanı (kesme puanı) ile
mevcut yeterlik puanı üstünde puan alan öğrenci yüzdeleri farklılaşmakta
mıdır?
İşlemler:
Öğrenci yüzdeleri bulunduktan sonra karşılaştırma yapılmıştır.
Bunun için bağımlı iki yüzde arasındaki farkın testi yapılmış ve anlamlılığı
z testi ile sınanmıştır. Test işleminde önem düzeyi 0.05 alınmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Bulgular:
Üniversite kesme puanının
diğer yöntemlerle belirlenene kesme
puanlarıyla farklılaştığı
gözlenmektedir. Fakat Angoff ve
İşaretleme yöntemlerinden elde
edilen kesme puanları arasında
anlamlı bir fark bulunmamaktadır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Tartışma ve Öneriler
1. Üniversitenin belirlemiş olduğu geçme puanı, olması
gerekenden daha yüksek bir puan olarak karşımıza çıkmaktadır.
2. Üniversitenin idari olarak kesme puanı belirlerken A1 ve A2
düzeyi sınırındaki öğrenciler için değil, genel olarak A2 düzeyindeki
öğrenciler için bir geçme puan belirlemesi neden olarak
gösterilebilir.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Tartışma ve Öneriler
3. Uzmanların kararlarıyla testin yapısının oldukça benzer
olduğu, uzmanların madde cevaplama olasılıkları ortalamaları ile
gerçek madde güçlükleri arasındaki orta düzeyde bir ilişki olduğu
görülmüştür.
4. Üniversite herhangi bir standart belirleme yöntemi
kullanmamış olup idari bir kararla belirlemiş olduğu kesme puanı A2
düzeyindeki öğrenciler düşünülerek hesaplanmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Tartışma ve Öneriler
 Eğitimcilerin geçerli bir geçme puanı belirlemek için, kendi koşullarına
uygun daha kullanışlı olabilecek bir standart belirleme yöntemi kullanmaları
önerilebilir.
 Benzer bir çalışma farklı standart belirleme yöntemleri kullanılarak
yapılabilir.
 İşaretleme yöntemi ile standart belirme çalışması sadece çoktan seçmeli
maddelerden oluşan bir testte yönelik değil farklı soru tiplerinin olduğu
sınavlara yönelik olarak da yapılabilir.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
 Ömür, S. & Selvi, H. (2010). Angoff, Ebel ve Nedelsky yöntemleriyle
belirlenen kesme puanlarının sınıflama tutarlılıklarının
karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme
Dergisi, 1 (2), 109-113.
 Çetin, S. & Gelbal, S. (2013). İşaretleme ve Angoff standart
belirleme yöntemlerinin karşılaştırılması. Kuram ve Uygulamada
Eğitim Bilimleri, 13(4), 2159-2175.
KAYNAKÇA
TEŞEKKÜRLER…

More Related Content

What's hot

Statistic Level of Measurement
Statistic Level of MeasurementStatistic Level of Measurement
Statistic Level of MeasurementDebra Wallace
 
Chapter 6 validity & reliability
Chapter 6 validity & reliabilityChapter 6 validity & reliability
Chapter 6 validity & reliabilityBean Malicse
 
validity its types and importance
validity its types and importancevalidity its types and importance
validity its types and importanceIerine Joy Caserial
 
Reliability & validity
Reliability & validityReliability & validity
Reliability & validityalameenpa
 
Test Reliability and Validity
Test Reliability and ValidityTest Reliability and Validity
Test Reliability and ValidityBrian Ebie
 
Qualitative codes and coding
Qualitative codes and coding Qualitative codes and coding
Qualitative codes and coding Heather Ford
 
Parametrik ve Parametrik Olmayan İstatistikler
Parametrik ve Parametrik Olmayan İstatistiklerParametrik ve Parametrik Olmayan İstatistikler
Parametrik ve Parametrik Olmayan İstatistiklerGülşah Başol
 
Validity and reliability in assessment.
Validity and reliability in assessment. Validity and reliability in assessment.
Validity and reliability in assessment. Tarek Tawfik Amin
 
Reliability and validity ppt
Reliability and validity pptReliability and validity ppt
Reliability and validity pptsurendra poudel
 
Nature and goals of assessment and evaluation
Nature and goals of assessment and evaluationNature and goals of assessment and evaluation
Nature and goals of assessment and evaluationAsit Kumar Maurya
 
reliability presentation.pptx
reliability presentation.pptxreliability presentation.pptx
reliability presentation.pptxRamsha Makhdum
 
Who, what, why, and where
Who, what, why, and whereWho, what, why, and where
Who, what, why, and whereLo-Ann Placido
 
Reliability by Vartika Verma .pdf
Reliability by Vartika Verma .pdfReliability by Vartika Verma .pdf
Reliability by Vartika Verma .pdfVartika Verma
 
Güvenirlik ve Geçerlik (Validity & Reliability )
Güvenirlik ve Geçerlik (Validity & Reliability )Güvenirlik ve Geçerlik (Validity & Reliability )
Güvenirlik ve Geçerlik (Validity & Reliability )Saed Jama
 

What's hot (20)

Statistic Level of Measurement
Statistic Level of MeasurementStatistic Level of Measurement
Statistic Level of Measurement
 
Chapter 6 validity & reliability
Chapter 6 validity & reliabilityChapter 6 validity & reliability
Chapter 6 validity & reliability
 
validity its types and importance
validity its types and importancevalidity its types and importance
validity its types and importance
 
Reliability & validity
Reliability & validityReliability & validity
Reliability & validity
 
Test Reliability and Validity
Test Reliability and ValidityTest Reliability and Validity
Test Reliability and Validity
 
Qualitative codes and coding
Qualitative codes and coding Qualitative codes and coding
Qualitative codes and coding
 
Parametrik ve Parametrik Olmayan İstatistikler
Parametrik ve Parametrik Olmayan İstatistiklerParametrik ve Parametrik Olmayan İstatistikler
Parametrik ve Parametrik Olmayan İstatistikler
 
Validity and reliability in assessment.
Validity and reliability in assessment. Validity and reliability in assessment.
Validity and reliability in assessment.
 
Reliability and validity ppt
Reliability and validity pptReliability and validity ppt
Reliability and validity ppt
 
Nature and goals of assessment and evaluation
Nature and goals of assessment and evaluationNature and goals of assessment and evaluation
Nature and goals of assessment and evaluation
 
reliability presentation.pptx
reliability presentation.pptxreliability presentation.pptx
reliability presentation.pptx
 
01 validity and its type
01 validity and its type01 validity and its type
01 validity and its type
 
Reliability types
Reliability typesReliability types
Reliability types
 
Reliability
ReliabilityReliability
Reliability
 
Who, what, why, and where
Who, what, why, and whereWho, what, why, and where
Who, what, why, and where
 
Reliability by Vartika Verma .pdf
Reliability by Vartika Verma .pdfReliability by Vartika Verma .pdf
Reliability by Vartika Verma .pdf
 
Reliability
ReliabilityReliability
Reliability
 
Hipotez testi
Hipotez testiHipotez testi
Hipotez testi
 
Güvenirlik ve Geçerlik (Validity & Reliability )
Güvenirlik ve Geçerlik (Validity & Reliability )Güvenirlik ve Geçerlik (Validity & Reliability )
Güvenirlik ve Geçerlik (Validity & Reliability )
 
3.2 TEST ADMINISTRATION AND ETHICAL PRINCIPLES
3.2 TEST ADMINISTRATION AND ETHICAL PRINCIPLES3.2 TEST ADMINISTRATION AND ETHICAL PRINCIPLES
3.2 TEST ADMINISTRATION AND ETHICAL PRINCIPLES
 

Viewers also liked

Arabic language presentation 01
Arabic language presentation 01Arabic language presentation 01
Arabic language presentation 01Mohammed Attia
 
Teacher Standard 5 - Adapting teaching for all learners
Teacher Standard 5 - Adapting teaching for all learnersTeacher Standard 5 - Adapting teaching for all learners
Teacher Standard 5 - Adapting teaching for all learnersDavid Rogers
 
Teaching and learning standards 2012
Teaching and learning standards 2012Teaching and learning standards 2012
Teaching and learning standards 2012Laura Chambless
 
Standard 6: Collaboration and Communication
Standard 6: Collaboration and CommunicationStandard 6: Collaboration and Communication
Standard 6: Collaboration and CommunicationSonya Price
 
Teaching Standards
Teaching StandardsTeaching Standards
Teaching Standardsnengolio
 
EuSakai: Directions for Standards in Teaching and Learning
EuSakai: Directions for Standards in Teaching and LearningEuSakai: Directions for Standards in Teaching and Learning
EuSakai: Directions for Standards in Teaching and LearningCharles Severance
 
North carolina teaching standards
North carolina teaching standardsNorth carolina teaching standards
North carolina teaching standardsAntwan Brown
 
Reformulating Indonesia's Professional Teaching Standards for English Languag...
Reformulating Indonesia's Professional Teaching Standards for English Languag...Reformulating Indonesia's Professional Teaching Standards for English Languag...
Reformulating Indonesia's Professional Teaching Standards for English Languag...Chairil Korompot
 
Professional Teaching Standards Slides
Professional Teaching Standards SlidesProfessional Teaching Standards Slides
Professional Teaching Standards SlidesAudrey Yee
 
English teaching-standards
English teaching-standardsEnglish teaching-standards
English teaching-standardsPablo Days
 
Standard 1: Students
Standard 1: StudentsStandard 1: Students
Standard 1: StudentsSonya Price
 
Standard 5: The Learning Environment
Standard 5: The Learning EnvironmentStandard 5: The Learning Environment
Standard 5: The Learning EnvironmentSonya Price
 
Professional teaching standards
Professional teaching standardsProfessional teaching standards
Professional teaching standardsLau Ee
 
Professional teaching standard 3
Professional  teaching standard 3Professional  teaching standard 3
Professional teaching standard 3Amie Joan Juanis
 
Professional standards for teaching assistants
Professional standards for teaching assistantsProfessional standards for teaching assistants
Professional standards for teaching assistantsMrsMcGinty
 
Standard 7: Professional Responsibility and Growth
Standard 7: Professional Responsibility and GrowthStandard 7: Professional Responsibility and Growth
Standard 7: Professional Responsibility and GrowthSonya Price
 
Standard 4: Instruction
Standard 4: InstructionStandard 4: Instruction
Standard 4: InstructionSonya Price
 
Professional standards for teaching
Professional standards for teachingProfessional standards for teaching
Professional standards for teachingirshad narejo
 
Professional teaching standard 2
Professional teaching standard 2Professional teaching standard 2
Professional teaching standard 2Amie Joan Juanis
 
TEACHING COMPETENCY Standards IN SOUTHEAST ASIAN COUNTRIES
TEACHING COMPETENCY Standards IN SOUTHEAST ASIAN COUNTRIESTEACHING COMPETENCY Standards IN SOUTHEAST ASIAN COUNTRIES
TEACHING COMPETENCY Standards IN SOUTHEAST ASIAN COUNTRIESGuru Online
 

Viewers also liked (20)

Arabic language presentation 01
Arabic language presentation 01Arabic language presentation 01
Arabic language presentation 01
 
Teacher Standard 5 - Adapting teaching for all learners
Teacher Standard 5 - Adapting teaching for all learnersTeacher Standard 5 - Adapting teaching for all learners
Teacher Standard 5 - Adapting teaching for all learners
 
Teaching and learning standards 2012
Teaching and learning standards 2012Teaching and learning standards 2012
Teaching and learning standards 2012
 
Standard 6: Collaboration and Communication
Standard 6: Collaboration and CommunicationStandard 6: Collaboration and Communication
Standard 6: Collaboration and Communication
 
Teaching Standards
Teaching StandardsTeaching Standards
Teaching Standards
 
EuSakai: Directions for Standards in Teaching and Learning
EuSakai: Directions for Standards in Teaching and LearningEuSakai: Directions for Standards in Teaching and Learning
EuSakai: Directions for Standards in Teaching and Learning
 
North carolina teaching standards
North carolina teaching standardsNorth carolina teaching standards
North carolina teaching standards
 
Reformulating Indonesia's Professional Teaching Standards for English Languag...
Reformulating Indonesia's Professional Teaching Standards for English Languag...Reformulating Indonesia's Professional Teaching Standards for English Languag...
Reformulating Indonesia's Professional Teaching Standards for English Languag...
 
Professional Teaching Standards Slides
Professional Teaching Standards SlidesProfessional Teaching Standards Slides
Professional Teaching Standards Slides
 
English teaching-standards
English teaching-standardsEnglish teaching-standards
English teaching-standards
 
Standard 1: Students
Standard 1: StudentsStandard 1: Students
Standard 1: Students
 
Standard 5: The Learning Environment
Standard 5: The Learning EnvironmentStandard 5: The Learning Environment
Standard 5: The Learning Environment
 
Professional teaching standards
Professional teaching standardsProfessional teaching standards
Professional teaching standards
 
Professional teaching standard 3
Professional  teaching standard 3Professional  teaching standard 3
Professional teaching standard 3
 
Professional standards for teaching assistants
Professional standards for teaching assistantsProfessional standards for teaching assistants
Professional standards for teaching assistants
 
Standard 7: Professional Responsibility and Growth
Standard 7: Professional Responsibility and GrowthStandard 7: Professional Responsibility and Growth
Standard 7: Professional Responsibility and Growth
 
Standard 4: Instruction
Standard 4: InstructionStandard 4: Instruction
Standard 4: Instruction
 
Professional standards for teaching
Professional standards for teachingProfessional standards for teaching
Professional standards for teaching
 
Professional teaching standard 2
Professional teaching standard 2Professional teaching standard 2
Professional teaching standard 2
 
TEACHING COMPETENCY Standards IN SOUTHEAST ASIAN COUNTRIES
TEACHING COMPETENCY Standards IN SOUTHEAST ASIAN COUNTRIESTEACHING COMPETENCY Standards IN SOUTHEAST ASIAN COUNTRIES
TEACHING COMPETENCY Standards IN SOUTHEAST ASIAN COUNTRIES
 

Similar to Standart belirleme

Psikolojik_testler (fazlası için www.tipfakultesi.org)
Psikolojik_testler (fazlası için www.tipfakultesi.org)Psikolojik_testler (fazlası için www.tipfakultesi.org)
Psikolojik_testler (fazlası için www.tipfakultesi.org)www.tipfakultesi. org
 
Uzaktan eği̇ti̇mde ölçme ve değerlendi̇rme
Uzaktan eği̇ti̇mde ölçme ve değerlendi̇rmeUzaktan eği̇ti̇mde ölçme ve değerlendi̇rme
Uzaktan eği̇ti̇mde ölçme ve değerlendi̇rmeozgurkaragoz54
 
Geleneksel ölçme-ve-değerlendi̇rme-yöntemleri̇
Geleneksel ölçme-ve-değerlendi̇rme-yöntemleri̇Geleneksel ölçme-ve-değerlendi̇rme-yöntemleri̇
Geleneksel ölçme-ve-değerlendi̇rme-yöntemleri̇Nuran Uyan
 
öLçme sunu
öLçme sunuöLçme sunu
öLçme sunutolga
 
Muhammed ali deveci 20082763
Muhammed ali deveci 20082763Muhammed ali deveci 20082763
Muhammed ali deveci 20082763deveci
 
Muhammed ali deveci 20082763
Muhammed ali deveci 20082763Muhammed ali deveci 20082763
Muhammed ali deveci 20082763deveci
 
öLçümlerin geçerliliği
öLçümlerin geçerliliğiöLçümlerin geçerliliği
öLçümlerin geçerliliğidilekservet
 
öLçme ve değerlendirme1
öLçme ve değerlendirme1öLçme ve değerlendirme1
öLçme ve değerlendirme1massive501
 
Açık ve Uzaktan Öğrenmede Başarının Ölçme-Değerledirmesi Temel Kavramlar
Açık ve Uzaktan Öğrenmede Başarının Ölçme-Değerledirmesi Temel KavramlarAçık ve Uzaktan Öğrenmede Başarının Ölçme-Değerledirmesi Temel Kavramlar
Açık ve Uzaktan Öğrenmede Başarının Ölçme-Değerledirmesi Temel Kavramlarekaypak
 
Olcmedegerlendirmeninyeri
OlcmedegerlendirmeninyeriOlcmedegerlendirmeninyeri
Olcmedegerlendirmeninyeribdr,
 
Doğa cenkciler 20060637
Doğa cenkciler 20060637Doğa cenkciler 20060637
Doğa cenkciler 20060637dogaa
 
Bilimsel Araştırma ve Yayın Etiği.pptx
Bilimsel Araştırma ve Yayın Etiği.pptxBilimsel Araştırma ve Yayın Etiği.pptx
Bilimsel Araştırma ve Yayın Etiği.pptxkaan885546
 

Similar to Standart belirleme (20)

Psikolojik_testler (fazlası için www.tipfakultesi.org)
Psikolojik_testler (fazlası için www.tipfakultesi.org)Psikolojik_testler (fazlası için www.tipfakultesi.org)
Psikolojik_testler (fazlası için www.tipfakultesi.org)
 
Olcme
OlcmeOlcme
Olcme
 
Olcme
OlcmeOlcme
Olcme
 
Uzaktan eği̇ti̇mde ölçme ve değerlendi̇rme
Uzaktan eği̇ti̇mde ölçme ve değerlendi̇rmeUzaktan eği̇ti̇mde ölçme ve değerlendi̇rme
Uzaktan eği̇ti̇mde ölçme ve değerlendi̇rme
 
2. üni̇te
2. üni̇te2. üni̇te
2. üni̇te
 
KPSS10.COM
KPSS10.COMKPSS10.COM
KPSS10.COM
 
Geleneksel ölçme-ve-değerlendi̇rme-yöntemleri̇
Geleneksel ölçme-ve-değerlendi̇rme-yöntemleri̇Geleneksel ölçme-ve-değerlendi̇rme-yöntemleri̇
Geleneksel ölçme-ve-değerlendi̇rme-yöntemleri̇
 
öLçme sunu
öLçme sunuöLçme sunu
öLçme sunu
 
Zehra
ZehraZehra
Zehra
 
Muhammed ali deveci 20082763
Muhammed ali deveci 20082763Muhammed ali deveci 20082763
Muhammed ali deveci 20082763
 
Muhammed ali deveci 20082763
Muhammed ali deveci 20082763Muhammed ali deveci 20082763
Muhammed ali deveci 20082763
 
Skula
SkulaSkula
Skula
 
öLçümlerin geçerliliği
öLçümlerin geçerliliğiöLçümlerin geçerliliği
öLçümlerin geçerliliği
 
E öğrenme storyboard
E öğrenme storyboardE öğrenme storyboard
E öğrenme storyboard
 
öLçme ve değerlendirme1
öLçme ve değerlendirme1öLçme ve değerlendirme1
öLçme ve değerlendirme1
 
Açık ve Uzaktan Öğrenmede Başarının Ölçme-Değerledirmesi Temel Kavramlar
Açık ve Uzaktan Öğrenmede Başarının Ölçme-Değerledirmesi Temel KavramlarAçık ve Uzaktan Öğrenmede Başarının Ölçme-Değerledirmesi Temel Kavramlar
Açık ve Uzaktan Öğrenmede Başarının Ölçme-Değerledirmesi Temel Kavramlar
 
Olcmedegerlendirmeninyeri
OlcmedegerlendirmeninyeriOlcmedegerlendirmeninyeri
Olcmedegerlendirmeninyeri
 
Doğa cenkciler 20060637
Doğa cenkciler 20060637Doğa cenkciler 20060637
Doğa cenkciler 20060637
 
Erzurum
ErzurumErzurum
Erzurum
 
Bilimsel Araştırma ve Yayın Etiği.pptx
Bilimsel Araştırma ve Yayın Etiği.pptxBilimsel Araştırma ve Yayın Etiği.pptx
Bilimsel Araştırma ve Yayın Etiği.pptx
 

Standart belirleme

  • 1. A.FARUK KILIÇ ELİF ÖZLEM ARDIÇ İLHAN KOYUNCU MUSTAFA GÖKCAN
  • 2. STANDART BELİRLEME NEDİR? Standart belirleme; iki ya da daha fazla performans derecesini ayıran puanların belirlenmesinde izlenen tanımlanmış sistemli kurallar ya da süreçler bütünüdür.
  • 3. STANDART BELİRLEME YÖNTEMLERİ Kesme puanının belirlenmesi standart belirleme sürecidir ve istenilen yeterlikte olan öğrenci ile olmayan öğrencinin ayırt edilmesini sağlar. Kesme puanı belirlenmeden önce performans düzeyi tanımlanmalıdır.
  • 4. STANDART BELİRLEME YÖNTEMLERİ Performans Düzeyi: Kişilerin belirli bir alanda “yetersiz”, “temel düzeyde”, “yeterli” ya da “ileri düzeyde” sınıflandırıldıklarında hangi bilgi, beceri ve yeteneğe sahip olmaları gerektiğini detaylı olarak anlatan tanımlamalardır.
  • 5. STANDART BELİRLEME YÖNTEMLERİ Standart belirleme sürecini kişileri performans düzeylerine göre ayıran performans standartlarını, test puanları cetvelindeki rakamsal hale getirme süreci olarak adlandırılabiliriz.
  • 6. STANDART BELİRLEME AŞAMALARI Standart Belirleme Aşamaları: 1. Uygulama grubu (panel) seçilmesi 2. Standart belirleme metodunun seçimi, çalışma materyallerinin hazırlanması 3. Performans düzeyleri tanımlarının hazırlanması 4. Standart belirleme metodunu kullanabilmesi için katılımcıların eğitilmesi 5. Katılımcı kararlarının alınması 6. Nihai kesme puanının hesaplanması
  • 7. STANDART BELİRLEME YÖNTEMLERİ 1. Nedelsky Yöntemi -Sadece çoktan seçmeli testlerde kullanılabilir. -Uzmanlardan her bir olası yanlış seçeneği değerlendirmeleri istenir. -Her bir madde için, geçti-kaldı sınırındaki bir öğrencinin seçeneklerden kaç tanesinin yanlış olduğunu bilerek eleyebileceklerini tahmin etmeleri beklenmektedir.
  • 8. STANDART BELİRLEME NEDİR? 2. Angoff Yöntemi  Angoff yönteminde Nedelsky yönteminden farklı olarak maddelerin seçenekleri ayrı ayrı değil, madde bir bütün olarak değerlendirilir.  Uzman her bir soruyu sınırdaki bir öğrencinin cevaplayabilme olasılığını tahmin eder.  Doğru cevaplama olasılıklarının toplamı, bir uzman tarafından belirlenen kesme puanıdır.
  • 9. STANDART BELİRLEME NEDİR? 3. Angoff Çeşitlemeleri / 1-0 ( Yes/No ) Yöntemi - Uzmanlardan, öğrenciye uygulanacak olan testteki her bir test maddesini inceleyip, minimum yeterlilik düzeyindeki bir öğrencinin bu maddeleri doğru cevaplayıp cevaplayamayacağını tahmin etmeleri istenir. - Öğrencinin maddeyi doğru cevaplayacağı düşünülüyorsa 1 puan, yanlış cevaplayacağı düşünülüyorsa 0 puan verilir. - Puan toplamları alınarak o uzman için bir kesme puanı belirlenir; tüm uzmanların kesme puanı ortalaması ile de testin kesme puanı belirlenmiş olur.
  • 10. STANDART BELİRLEME NEDİR? 4. Ebel Yöntemi -Her uzman soruları önce gruplara ayırır ve daha sonra da her gruptaki sorular için tahminde bulunur. -Her soru için iki farklı yargıya varılır. Bir yargı “güçlüğü” ile ilgili, diğeri ise “uygunluğu” ile ilgili olarak verilir. -Ebel “kolay”, “orta”, “zor” olmak üzere üç güçlük düzeyi, “gerekli”, “önemli”, kabul edilebilir” ve “tartışılabilir” olmak üzere dört uygunluk boyutu tanımlamıştır.
  • 11. STANDART BELİRLEME NEDİR? 4. Ebel Yöntemi Yargıcılardan maddelerin tamamını tabloda belirtilen hücrelere yerleştirmeleri ve minimum yeterlikteki bireylerin, sınıflanan bu maddelerin yüzde kaçını doğru cevaplayabileceğini belirtmeleri istenir. Hesaplama aşamasında, her bir hücredeki madde sayısı ile o hücre için belirtilen geçme oranı çarpılmakta ve bu çarpımlar toplanmaktadır. Her bir yargıcı için bu işlem tekrarlanmakta ve ortalama alınarak nihai kesme puanına ulaşılmaktadır.
  • 12. STANDART BELİRLEME NEDİR? 5. İşaretleme/Ayraç (Bookmark) Yöntemi İşaretleme yönteminin esası, madde tepki kuramı (MTK) kullanılarak maddelerin haritalanmasıdır. Maddeler ölçek üzerindeki yerlerine göre sıralanırlar. Ölçek üzerindeki yerleri de madde güçlüklerine (p) göre belirlenir. Sıralama ise en basit maddeden en zor maddeye doğru yapılır.
  • 13. STANDART BELİRLEME NEDİR? 6. Sınır Grup Yöntemi - Bu yöntemde kesme puanı performans düzeyleri sınırındaki (tam olarak yeterli değil ama yetersiz de değil) öğrencilerin puanları esas alınarak hesaplanır. - Sınır grupta olan öğrencileri belirlemeleri istenir. - Öğrenciler belirlendikten sonra uygulanan test sonucunda elde edilen puanların medyanı kesme puanı olarak alınır.
  • 14. STANDART BELİRLEME NEDİR? 7. Karşıt Gruplar Yöntemi Farklı yetenek grupları arasında beklenen performans düzeyi ile var olan performans düzeyi karşılaştırılmakta, kesme puanı da bu karşılaştırmaya göre belirlenmektedir. Grup “yeterli” ve “yetersiz” olmak üzere uzmanlar tarafından 2 gruba ayrılır. Yeterli ve yetersiz grubun dağılımının kesiştiği nokta kesme puanı olarak belirlenir.
  • 15. Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması Makale Künyesi: Seçil ÖMÜR ve Hüseyin SELVİ, Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, Kış 2010, 1 (2), 109-113
  • 16. Giriş: Ölçme araçlarından elde edilen puanlara dayanarak bireyler hakkında seçme, yerleştirme, tanı, rehberlik gibi çeşitli kurumsal kararlar verilmektedir. Geliştirilmiş bir ölçme aracını kullanarak bir birey için elde edilmiş bir puan hakkında karar verebilmek (assessment) için de çeşitli ölçütler kullanılmaktadır. Bu ölçütlerden biri de elde edilen puanın, belirlenen bir kesme puanını aşıp aşmadığıdır. Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
  • 17. Kesme puanına dayalı değerlendirme işleminde teste giren bireylerin sınıflanması söz konusu olduğundan, verilecek olan kararlar da; geçer-kalır, başarılı-başarısız, yeterli-yetersiz, olumlu-olumsuz tutuma sahip vb. şeklinde genellikle iki kategori düzeyinde belirlenmektedir. Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
  • 18. Kesme puanının belirlenmesine ilişkin birçok farklı yöntem bulunmaktadır. Bu çalışma kapsamında kesme puanı belirlemede kullanılan yöntemler aşağıdaki gibidir: • Angoff Yöntemi • Ebel Yöntemi • Nedelsky Yöntemi Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
  • 19. Belirtilen kesme puanı belirleme yöntemlerinde yeterli yargıcı sayısının belirlenmesi, yargıcıların niteliklerine karar verilmesi, yargıcıların seçilmesi gibi sıkıntılar da bulunmaktadır. Ayrıca belirtilen farklı yöntemlerle belirlenen kesme puanları temel alınarak, bu puanların ne derecede tutarlı sınıflama yaptığının belirlenmesi de oldukça önemlidir. Bu yöntemleri karşılaştıran çeşitli çalışmalar bulunmasına rağmen (Chang, 1999; Livingston ve Zieky, 1989; Alsmadi, 2007), hiçbirinin sınıflama tutarlılığını incelemediği görülmektedir. Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
  • 20. Amaç: Bu üç yöntemin kesme puanlarından hangisinin, değişik yargıcı sayılarında daha tutarlı sınıflama yaptığını incelemek. Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
  • 21. Problemler: 1. Angoff, Ebel ve Nedelsky yöntemleriyle elde edilen kesme puanlarına dayanarak hesaplanan sınıflama tutarlığı indeksleri hangi yöntemde daha yüksektir? 2. Farklı yargıcı sayılarına (10, 20 ve 30) göre Angoff, Ebel ve Nedelsky yöntemleriyle hesaplanan kesme puanlarının, sınıflama tutarlığı indeksleri hangi yöntemde daha yüksektir? Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
  • 22. Yöntem: Çalışma kapsamında; Angoff, Ebel ve Nedelsky Yöntemleriyle ve farklı yargıcı sayıları kullanılarak elde edilen kesme puanlarının sınıflama tutarlığı indekslerini incelenmiştir. Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
  • 23. Çalışma Grubu: Yargıcılar: 2009–2010 eğitim öğretim yılında çeşitli illerin ilköğretim okullarında görev yapan 24 İngilizce öğretmeni ve Mersin Üniversitesi’nde görev yapan 6 alan uzmanı Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
  • 24. Öğrenciler: Mersin ilindeki özel bir dershaneye devam eden 176 ilköğretim 8. sınıf öğrencisi. Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
  • 25. Veri Toplamı Aracı: 8. sınıf düzeyinde 17 tane çoktan seçmeli test maddesinden oluşan ve bir dershanenin deneme sınavında kullanılan İngilizce testi (KR-20: .60). Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
  • 26. Veri Toplama Süreci: Yargıcılardan testin maddeleri için kendilerine verilen değerlendirme formları üzerinde, 1. Angoff yöntemi için, geçme-kalma (minimum yeterlik) sınırındaki öğrencilerin o maddeyi doğru cevaplama yüzdesini tespit etmeleri, 2. Ebel yöntemi için, ölçekteki bütün maddeleri güçlük ve önem derecelerine göre sınıflamaları ve geçme-kalma (minimum yeterlik) sınırındaki öğrencilerin sınıflanan bu maddelerin yüzde kaçını geçebileceklerini belirtmeleri Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
  • 27. Veri Toplama Süreci: 3. Nedelsky yöntemi için, geçme-kalma (minimum yeterlik) sınırındaki öğrencilerin, her bir madde için eleyebileceği çeldirici sayısını belirtmeleri istenmiştir. Ardından farklı yargıcı sayılarına (10, 20 ve 30) göre Angoff, Ebel ve Nedelsky yöntemleriyle elde edilen kesme puanlarının sınıflama tutarlığı indeksleri karşılaştırılmıştır. Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
  • 28. Verilerin Analizi: Farklı yargıcı sayıları (10, 20 ve 30) tüm yargıcılar içindenseçkisiz(random) seçilerek elde edilmiştir. Angoff, Ebel ve Nedelsky yöntemleri kullanılarak elde edilen kesme puanlarının sınıflama tutarlığı indeksleri, tek uygulamaya dayanan ve Subkoviak (1988) tarafından geliştirilen 𝒛 = (𝒄 − 𝟎, 𝟓 − 𝑿) 𝑺 formülü kullanılarak hesaplanmıştır. c:KesmePuanı 𝑋 :Testin Ortalaması ve S:Testin Standart Sapması Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
  • 29. Bulgular Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması Farklı yargıcı sayısına göre; Angoff, Ebel ve Nedelsky yöntemleriyle elde edilen kesme puanları ve bu puanların sınıflama tutarlığı indeksleri aşağıda belirtilmektedir. Tablo 1. Angoff, Ebel ve Nedelsky yöntemleri ile elde edilen kesme puanları ve bu puanların sınıflama tutarlığı indeksleri
  • 30. Yargıcı Sayısı (N) En Yüksek Standart Sapma En yüksek kesme puanı En yüksek sınıflama tutarlılığı 10 Nedelsky Ebel Nedelsky 20 Ebel Ebel Nedelsky 30 Nedelsky Angoff Nedelsky Bulgular Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması Yargıcı sayısının 10 ve 20 olması durumlarında, en yüksek kesme puanının Ebel yöntemiyle ve en iyi sınıflamanın Nedelsky yöntemiyle elde edildiği görülmektedir. Yargıcı sayısının 30 olması durumunda ise, en yüksek kesme puanının Angoff yöntemiyle ve en iyi sınıflamanın Nedelsky yöntemiyle elde edildiği görülmektedir.
  • 31. Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması Sonuç Yargıcı sayısına bağlı olarak kesme puanlarında önemli bir değişim gözlenmemekle birlikte, üç yöntemde ve üç ayrı yargıcı sayısında en yüksek sınıflama tutarlığı indeksinin Nedelsky yöntemiyle elde edildiği sonucuna ulaşılmıştır.
  • 32. Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması Öneriler Po değerlerinin güvenirliği yüksek ölçeklerde daha iyi sonuçlar vereceği düşünüldüğünden benzer çalışmaların, farklı güvenirlik katsayılarına sahip ölçekler için elde edilen kesme puanlarının sınıflama tutarlılıkları karşılaştırılabilir.
  • 33. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması Makale Künyesi: Sevda ÇETİN ve Selahattin GELBAL Kuram ve Uygulamada Eğitim Bilimleri, 13 (4), 2159-2175
  • 34. Amaç: Bu araştırma ile Angoff ve İşaretleme Yöntemleri ile bulunan kesme puanlarının mevcut bir geçme puanı ile karşılaştırılması amaçlanmıştır. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 35. Problemler: İşaretleme ve Angoff standart belirleme yöntemleri ile elde edilen kesme puanları bir vakıf üniversitesinin İngilizce yeterlik sınavının belirlenmiş mevcut geçme puanından farklılaşmakta mıdır? Bu yöntemlerle yürütülen standart belirleme süreci nasıl işlemektedir? İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 36. Yöntem: Angoff ve İşaretleme yöntemlerinin özelliklerinin belirlenmesi, durum saptamaya yönelik olduğundan bu yönüyle çalışma betimsel bir araştırma niteliği taşımaktadır. Ayrıca yöntemlerin kıyaslanmış olması bakımından da temel bir araştırmadır. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 37. Yöntem Yargıcılar: 17 İngilizce dil uzmanı Öğrenciler: 2009 yılı güz döneminde üniversite İngilizce yeterlik sınavına giren toplam 564 öğrenci İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 38. Veri Toplama Aracı: Bir vakıf üniversitenin hazırlık birimince uygulanmakta olan ve önceden belirlenmiş bir kesme puanı bulunan yeterlik testidir. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 39. Verilerin Analizi: 1 Parametreli ve 2 Parametreli Lojistik Model sayıltılarının incelenmesi için çalışmada BILOG programı kullanılmıştır. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 40. Araştırmada model veri uyumu için ● Tek Boyutluluk, ● Yerel Bağımsızlık, ● Testteki Maddelerin Sabit Ayırt Edicilik Düzeyine Sahip Olup Olmadığı, ● Şans Başarısı, ● Testin Hız Testi Olup Olmadığı, ● Madde Ve Yetenek Parametrelerinin Değişmezliği varsayımları her üç modele göre incelenmiş, kullanılan veriye uygun düşen modeller belirlenmeye çalışılmıştır. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 41. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması Yapılan tüm analizler sonucunda veri setinin 2 Parametreli Model için en uygun olduğu görülmüştür. Çalışmada modeller arasında karşılaştırma yapabilmek adına madde parametreleri 1 Parametreli Model için de kestirilmiştir.
  • 42. Problem 1: Üniversite İngilizce hazırlık programı yeterlik sınavının Angoff yöntemiyle hesaplanan yeterlik puanı mevcut yeterlik puanından farklı mıdır? İşlemler: Angoff Yönteminin işlemleri uygulanmıştır. Bunun için 17 İngilizce dil uzmanından (okutman) yardım alınmıştır. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 43. Bulgular: Üniversitenin Belirlediği Kesme Puanı: 35,75 Angoff Yöntemine Göre Belirlenen Kesme Puanı: 27,83 İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 44. Problem 2: Üniversite İngilizce hazırlık programı yeterlik sınavının İşaretleme yöntemiyle hesaplanan yeterlik puanı mevcut yeterlik puanından farklı mıdır? İşlemler: İşaretleme Yönteminin işlemleri uygulanmıştır. Bunun için 17 İngilizce dil uzmanından (okutman) yardım alınmıştır. Ayrıca BILOG programı kullanılmıştır. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 45. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 46. Bulgular: Üniversitenin Belirlediği Kesme Puanı: 35,75 İşaretleme Yöntemine Göre Bulunan Kesme Puanları: 19,242 (1PLM ve RP50) 25,247 (1 PLM ve RP67) 18,897 (2PLM ve RP50) 25,102 (2PLM ve RP67)
  • 47. Problem 3: Angoff yönteminde uzmanların belirlediği madde cevaplama olasılıkları ile üniversite İngilizce hazırlık programı yeterlik sınav puanlarından hesaplanan gerçek madde güçlükleri arasındaki ilişki düzeyi nasıldır? İşlemler: Angoff Yönteminin işlemleri uygulanmıştır. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 48. Bulgular: Uzmanların Madde Cevaplama Olasılıkları Ortalamaları İle Gerçek Madde Güçlükleri Arasındaki Korelasyon=0,60 Manidarlık Düzeyi: 0,01 Anlamlı olduğu görülmüştür. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 49. Problem 4: Üniversite İngilizce hazırlık programı yeterlik sınavına ilişkin Angoff ve İşaretleme Yöntemiyle hesaplanan yeterlik puanı (kesme puanı) ile mevcut yeterlik puanı üstünde puan alan öğrenci yüzdeleri farklılaşmakta mıdır? İşlemler: Öğrenci yüzdeleri bulunduktan sonra karşılaştırma yapılmıştır. Bunun için bağımlı iki yüzde arasındaki farkın testi yapılmış ve anlamlılığı z testi ile sınanmıştır. Test işleminde önem düzeyi 0.05 alınmıştır. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 50. Bulgular: Üniversite kesme puanının diğer yöntemlerle belirlenene kesme puanlarıyla farklılaştığı gözlenmektedir. Fakat Angoff ve İşaretleme yöntemlerinden elde edilen kesme puanları arasında anlamlı bir fark bulunmamaktadır. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 51. Tartışma ve Öneriler 1. Üniversitenin belirlemiş olduğu geçme puanı, olması gerekenden daha yüksek bir puan olarak karşımıza çıkmaktadır. 2. Üniversitenin idari olarak kesme puanı belirlerken A1 ve A2 düzeyi sınırındaki öğrenciler için değil, genel olarak A2 düzeyindeki öğrenciler için bir geçme puan belirlemesi neden olarak gösterilebilir. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 52. Tartışma ve Öneriler 3. Uzmanların kararlarıyla testin yapısının oldukça benzer olduğu, uzmanların madde cevaplama olasılıkları ortalamaları ile gerçek madde güçlükleri arasındaki orta düzeyde bir ilişki olduğu görülmüştür. 4. Üniversite herhangi bir standart belirleme yöntemi kullanmamış olup idari bir kararla belirlemiş olduğu kesme puanı A2 düzeyindeki öğrenciler düşünülerek hesaplanmıştır. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 53. Tartışma ve Öneriler  Eğitimcilerin geçerli bir geçme puanı belirlemek için, kendi koşullarına uygun daha kullanışlı olabilecek bir standart belirleme yöntemi kullanmaları önerilebilir.  Benzer bir çalışma farklı standart belirleme yöntemleri kullanılarak yapılabilir.  İşaretleme yöntemi ile standart belirme çalışması sadece çoktan seçmeli maddelerden oluşan bir testte yönelik değil farklı soru tiplerinin olduğu sınavlara yönelik olarak da yapılabilir. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması
  • 54.  Ömür, S. & Selvi, H. (2010). Angoff, Ebel ve Nedelsky yöntemleriyle belirlenen kesme puanlarının sınıflama tutarlılıklarının karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1 (2), 109-113.  Çetin, S. & Gelbal, S. (2013). İşaretleme ve Angoff standart belirleme yöntemlerinin karşılaştırılması. Kuram ve Uygulamada Eğitim Bilimleri, 13(4), 2159-2175. KAYNAKÇA