2. STANDART BELİRLEME NEDİR?
Standart belirleme; iki ya da
daha fazla performans derecesini
ayıran puanların belirlenmesinde
izlenen tanımlanmış sistemli
kurallar ya da süreçler bütünüdür.
3. STANDART BELİRLEME YÖNTEMLERİ
Kesme puanının belirlenmesi standart belirleme sürecidir
ve istenilen yeterlikte olan öğrenci ile olmayan öğrencinin ayırt
edilmesini sağlar.
Kesme puanı belirlenmeden önce performans düzeyi
tanımlanmalıdır.
4. STANDART BELİRLEME YÖNTEMLERİ
Performans Düzeyi: Kişilerin belirli bir alanda “yetersiz”,
“temel düzeyde”, “yeterli” ya da “ileri düzeyde”
sınıflandırıldıklarında hangi bilgi, beceri ve yeteneğe sahip
olmaları gerektiğini detaylı olarak anlatan tanımlamalardır.
5. STANDART BELİRLEME YÖNTEMLERİ
Standart belirleme sürecini kişileri performans düzeylerine
göre ayıran performans standartlarını, test puanları cetvelindeki
rakamsal hale getirme süreci olarak adlandırılabiliriz.
6. STANDART BELİRLEME AŞAMALARI
Standart Belirleme Aşamaları:
1. Uygulama grubu (panel) seçilmesi
2. Standart belirleme metodunun seçimi, çalışma materyallerinin
hazırlanması
3. Performans düzeyleri tanımlarının hazırlanması
4. Standart belirleme metodunu kullanabilmesi için katılımcıların
eğitilmesi
5. Katılımcı kararlarının alınması
6. Nihai kesme puanının hesaplanması
7. STANDART BELİRLEME YÖNTEMLERİ
1. Nedelsky Yöntemi
-Sadece çoktan seçmeli testlerde kullanılabilir.
-Uzmanlardan her bir olası yanlış seçeneği değerlendirmeleri
istenir.
-Her bir madde için, geçti-kaldı sınırındaki bir öğrencinin
seçeneklerden kaç tanesinin yanlış olduğunu bilerek
eleyebileceklerini tahmin etmeleri beklenmektedir.
8. STANDART BELİRLEME NEDİR?
2. Angoff Yöntemi
Angoff yönteminde Nedelsky yönteminden farklı olarak
maddelerin seçenekleri ayrı ayrı değil, madde bir bütün olarak
değerlendirilir.
Uzman her bir soruyu sınırdaki bir öğrencinin
cevaplayabilme olasılığını tahmin eder.
Doğru cevaplama olasılıklarının toplamı, bir uzman
tarafından belirlenen kesme puanıdır.
9. STANDART BELİRLEME NEDİR?
3. Angoff Çeşitlemeleri / 1-0 ( Yes/No ) Yöntemi
- Uzmanlardan, öğrenciye uygulanacak olan testteki her bir test maddesini
inceleyip, minimum yeterlilik düzeyindeki bir öğrencinin bu maddeleri doğru
cevaplayıp cevaplayamayacağını tahmin etmeleri istenir.
- Öğrencinin maddeyi doğru cevaplayacağı düşünülüyorsa 1 puan, yanlış
cevaplayacağı düşünülüyorsa 0 puan verilir.
- Puan toplamları alınarak o uzman için bir kesme puanı belirlenir; tüm
uzmanların kesme puanı ortalaması ile de testin kesme puanı belirlenmiş olur.
10. STANDART BELİRLEME NEDİR?
4. Ebel Yöntemi
-Her uzman soruları önce gruplara ayırır ve daha sonra da her
gruptaki sorular için tahminde bulunur.
-Her soru için iki farklı yargıya varılır. Bir yargı “güçlüğü” ile ilgili,
diğeri ise “uygunluğu” ile ilgili olarak verilir.
-Ebel “kolay”, “orta”, “zor” olmak üzere üç güçlük düzeyi, “gerekli”,
“önemli”, kabul edilebilir” ve “tartışılabilir” olmak üzere dört
uygunluk boyutu tanımlamıştır.
11. STANDART BELİRLEME NEDİR?
4. Ebel Yöntemi
Yargıcılardan maddelerin tamamını tabloda belirtilen hücrelere
yerleştirmeleri ve minimum yeterlikteki bireylerin, sınıflanan bu
maddelerin yüzde kaçını doğru cevaplayabileceğini belirtmeleri istenir.
Hesaplama aşamasında, her bir hücredeki madde sayısı ile o hücre
için belirtilen geçme oranı çarpılmakta ve bu çarpımlar toplanmaktadır.
Her bir yargıcı için bu işlem tekrarlanmakta ve ortalama alınarak
nihai kesme puanına ulaşılmaktadır.
12. STANDART BELİRLEME NEDİR?
5. İşaretleme/Ayraç (Bookmark) Yöntemi
İşaretleme yönteminin esası, madde tepki kuramı (MTK)
kullanılarak maddelerin haritalanmasıdır.
Maddeler ölçek üzerindeki yerlerine göre sıralanırlar.
Ölçek üzerindeki yerleri de madde güçlüklerine (p) göre
belirlenir.
Sıralama ise en basit maddeden en zor maddeye doğru
yapılır.
13. STANDART BELİRLEME NEDİR?
6. Sınır Grup Yöntemi
- Bu yöntemde kesme puanı performans düzeyleri sınırındaki
(tam olarak yeterli değil ama yetersiz de değil) öğrencilerin
puanları esas alınarak hesaplanır.
- Sınır grupta olan öğrencileri belirlemeleri istenir.
- Öğrenciler belirlendikten sonra uygulanan test sonucunda
elde edilen puanların medyanı kesme puanı olarak alınır.
14. STANDART BELİRLEME NEDİR?
7. Karşıt Gruplar Yöntemi
Farklı yetenek grupları arasında beklenen performans
düzeyi ile var olan performans düzeyi karşılaştırılmakta, kesme
puanı da bu karşılaştırmaya göre belirlenmektedir.
Grup “yeterli” ve “yetersiz” olmak üzere uzmanlar
tarafından 2 gruba ayrılır.
Yeterli ve yetersiz grubun dağılımının kesiştiği nokta kesme
puanı olarak belirlenir.
15. Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Makale Künyesi:
Seçil ÖMÜR ve Hüseyin SELVİ,
Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi,
Kış 2010, 1 (2), 109-113
16. Giriş: Ölçme araçlarından elde edilen puanlara dayanarak
bireyler hakkında seçme, yerleştirme, tanı, rehberlik gibi çeşitli
kurumsal kararlar verilmektedir.
Geliştirilmiş bir ölçme aracını kullanarak bir birey için elde
edilmiş bir puan hakkında karar verebilmek (assessment) için de
çeşitli ölçütler kullanılmaktadır. Bu ölçütlerden biri de elde edilen
puanın, belirlenen bir kesme puanını aşıp aşmadığıdır.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
17. Kesme puanına dayalı değerlendirme işleminde teste giren
bireylerin sınıflanması söz konusu olduğundan, verilecek olan
kararlar da; geçer-kalır, başarılı-başarısız, yeterli-yetersiz,
olumlu-olumsuz tutuma sahip vb. şeklinde genellikle iki kategori
düzeyinde belirlenmektedir.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
18. Kesme puanının belirlenmesine ilişkin birçok farklı yöntem
bulunmaktadır. Bu çalışma kapsamında kesme puanı belirlemede
kullanılan yöntemler aşağıdaki gibidir:
• Angoff Yöntemi
• Ebel Yöntemi
• Nedelsky Yöntemi
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
19. Belirtilen kesme puanı belirleme yöntemlerinde yeterli yargıcı
sayısının belirlenmesi, yargıcıların niteliklerine karar verilmesi,
yargıcıların seçilmesi gibi sıkıntılar da bulunmaktadır. Ayrıca belirtilen
farklı yöntemlerle belirlenen kesme puanları temel alınarak, bu puanların
ne derecede tutarlı sınıflama yaptığının belirlenmesi de oldukça
önemlidir. Bu yöntemleri karşılaştıran çeşitli çalışmalar bulunmasına
rağmen (Chang, 1999; Livingston ve Zieky, 1989; Alsmadi, 2007),
hiçbirinin sınıflama tutarlılığını incelemediği görülmektedir.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
20. Amaç: Bu üç yöntemin kesme puanlarından hangisinin, değişik
yargıcı sayılarında daha tutarlı sınıflama yaptığını incelemek.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
21. Problemler:
1. Angoff, Ebel ve Nedelsky yöntemleriyle elde edilen kesme
puanlarına dayanarak hesaplanan sınıflama tutarlığı indeksleri
hangi yöntemde daha yüksektir?
2. Farklı yargıcı sayılarına (10, 20 ve 30) göre Angoff, Ebel ve
Nedelsky yöntemleriyle hesaplanan kesme puanlarının, sınıflama
tutarlığı indeksleri hangi yöntemde daha yüksektir?
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
22. Yöntem: Çalışma kapsamında; Angoff, Ebel ve Nedelsky
Yöntemleriyle ve farklı yargıcı sayıları kullanılarak elde edilen kesme
puanlarının sınıflama tutarlığı indekslerini incelenmiştir.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
23. Çalışma Grubu:
Yargıcılar: 2009–2010 eğitim öğretim yılında çeşitli illerin ilköğretim
okullarında görev yapan 24 İngilizce öğretmeni ve Mersin Üniversitesi’nde görev
yapan 6 alan uzmanı
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
24. Öğrenciler: Mersin ilindeki özel
bir dershaneye devam eden
176 ilköğretim 8. sınıf
öğrencisi.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
25. Veri Toplamı Aracı:
8. sınıf düzeyinde 17 tane çoktan seçmeli test maddesinden
oluşan ve bir dershanenin deneme sınavında kullanılan İngilizce
testi (KR-20: .60).
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
26. Veri Toplama Süreci:
Yargıcılardan testin maddeleri için kendilerine verilen
değerlendirme formları üzerinde,
1. Angoff yöntemi için, geçme-kalma (minimum yeterlik) sınırındaki
öğrencilerin o maddeyi doğru cevaplama yüzdesini tespit etmeleri,
2. Ebel yöntemi için, ölçekteki bütün maddeleri güçlük ve önem
derecelerine göre sınıflamaları ve geçme-kalma (minimum yeterlik)
sınırındaki öğrencilerin sınıflanan bu maddelerin yüzde kaçını
geçebileceklerini belirtmeleri
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
27. Veri Toplama Süreci:
3. Nedelsky yöntemi için, geçme-kalma (minimum yeterlik)
sınırındaki öğrencilerin, her bir madde için eleyebileceği çeldirici
sayısını belirtmeleri istenmiştir.
Ardından farklı yargıcı sayılarına (10, 20 ve 30) göre Angoff,
Ebel ve Nedelsky yöntemleriyle elde edilen kesme puanlarının
sınıflama tutarlığı indeksleri karşılaştırılmıştır.
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
28. Verilerin Analizi: Farklı yargıcı sayıları (10, 20 ve 30) tüm yargıcılar
içindenseçkisiz(random) seçilerek elde edilmiştir.
Angoff, Ebel ve Nedelsky yöntemleri kullanılarak elde edilen kesme
puanlarının sınıflama tutarlığı indeksleri, tek uygulamaya dayanan ve
Subkoviak (1988) tarafından geliştirilen
𝒛 =
(𝒄 − 𝟎, 𝟓 − 𝑿)
𝑺
formülü kullanılarak hesaplanmıştır.
c:KesmePuanı 𝑋 :Testin Ortalaması ve S:Testin Standart Sapması
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
29. Bulgular
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Farklı yargıcı sayısına göre; Angoff, Ebel ve Nedelsky yöntemleriyle elde edilen kesme
puanları ve bu puanların sınıflama tutarlığı indeksleri aşağıda belirtilmektedir.
Tablo 1. Angoff, Ebel ve Nedelsky yöntemleri ile elde edilen kesme puanları ve bu
puanların sınıflama tutarlığı indeksleri
30. Yargıcı
Sayısı (N)
En Yüksek
Standart Sapma
En yüksek
kesme
puanı
En yüksek
sınıflama tutarlılığı
10 Nedelsky Ebel Nedelsky
20 Ebel Ebel Nedelsky
30 Nedelsky Angoff Nedelsky
Bulgular
Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Yargıcı sayısının 10 ve 20 olması durumlarında, en yüksek kesme
puanının Ebel yöntemiyle ve en iyi sınıflamanın Nedelsky yöntemiyle elde
edildiği görülmektedir. Yargıcı sayısının 30 olması durumunda ise, en yüksek
kesme puanının Angoff yöntemiyle ve en iyi sınıflamanın Nedelsky yöntemiyle
elde edildiği görülmektedir.
31. Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Sonuç
Yargıcı sayısına bağlı olarak kesme puanlarında önemli bir
değişim gözlenmemekle birlikte, üç yöntemde ve üç ayrı
yargıcı sayısında en yüksek sınıflama tutarlığı indeksinin
Nedelsky yöntemiyle elde edildiği sonucuna ulaşılmıştır.
32. Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme
Puanlarının Sınıflama Tutarlılıklarının Karşılaştırılması
Öneriler
Po değerlerinin güvenirliği yüksek ölçeklerde daha iyi sonuçlar
vereceği düşünüldüğünden benzer çalışmaların, farklı güvenirlik
katsayılarına sahip ölçekler için elde edilen kesme puanlarının
sınıflama tutarlılıkları karşılaştırılabilir.
33. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Makale Künyesi:
Sevda ÇETİN ve Selahattin GELBAL
Kuram ve Uygulamada Eğitim Bilimleri, 13 (4),
2159-2175
34. Amaç: Bu araştırma ile Angoff ve İşaretleme
Yöntemleri ile bulunan kesme puanlarının mevcut bir
geçme puanı ile karşılaştırılması amaçlanmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
35. Problemler:
İşaretleme ve Angoff standart belirleme yöntemleri ile elde
edilen kesme puanları bir vakıf üniversitesinin İngilizce yeterlik
sınavının belirlenmiş mevcut geçme puanından farklılaşmakta mıdır?
Bu yöntemlerle yürütülen standart belirleme süreci nasıl işlemektedir?
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
36. Yöntem:
Angoff ve İşaretleme yöntemlerinin özelliklerinin
belirlenmesi, durum saptamaya yönelik olduğundan bu yönüyle
çalışma betimsel bir araştırma niteliği taşımaktadır.
Ayrıca yöntemlerin kıyaslanmış olması bakımından da temel
bir araştırmadır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
37. Yöntem
Yargıcılar: 17 İngilizce dil uzmanı
Öğrenciler: 2009 yılı güz döneminde üniversite İngilizce
yeterlik sınavına giren toplam 564 öğrenci
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
38. Veri Toplama Aracı:
Bir vakıf üniversitenin
hazırlık birimince uygulanmakta
olan ve önceden belirlenmiş bir
kesme puanı bulunan yeterlik
testidir.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
39. Verilerin Analizi:
1 Parametreli ve 2 Parametreli
Lojistik Model sayıltılarının
incelenmesi için çalışmada
BILOG programı kullanılmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
40. Araştırmada model veri uyumu için
● Tek Boyutluluk,
● Yerel Bağımsızlık,
● Testteki Maddelerin Sabit Ayırt Edicilik Düzeyine Sahip Olup Olmadığı,
● Şans Başarısı,
● Testin Hız Testi Olup Olmadığı,
● Madde Ve Yetenek Parametrelerinin Değişmezliği varsayımları her üç
modele göre incelenmiş, kullanılan veriye uygun düşen modeller
belirlenmeye çalışılmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
41. İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
Yapılan tüm analizler
sonucunda veri setinin 2
Parametreli Model için en uygun
olduğu görülmüştür. Çalışmada
modeller arasında karşılaştırma
yapabilmek adına madde
parametreleri 1 Parametreli
Model için de kestirilmiştir.
42. Problem 1:
Üniversite İngilizce hazırlık programı yeterlik sınavının
Angoff yöntemiyle hesaplanan yeterlik puanı mevcut yeterlik
puanından farklı mıdır?
İşlemler:
Angoff Yönteminin işlemleri uygulanmıştır. Bunun için 17
İngilizce dil uzmanından (okutman) yardım alınmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
44. Problem 2:
Üniversite İngilizce hazırlık programı yeterlik sınavının
İşaretleme yöntemiyle hesaplanan yeterlik puanı mevcut yeterlik
puanından farklı mıdır?
İşlemler:
İşaretleme Yönteminin işlemleri uygulanmıştır. Bunun için 17
İngilizce dil uzmanından (okutman) yardım alınmıştır. Ayrıca BILOG
programı kullanılmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
46. Bulgular:
Üniversitenin Belirlediği Kesme Puanı: 35,75
İşaretleme Yöntemine Göre Bulunan Kesme Puanları:
19,242 (1PLM ve RP50)
25,247 (1 PLM ve RP67)
18,897 (2PLM ve RP50)
25,102 (2PLM ve RP67)
47. Problem 3:
Angoff yönteminde uzmanların belirlediği madde
cevaplama olasılıkları ile üniversite İngilizce hazırlık programı
yeterlik sınav puanlarından hesaplanan gerçek madde güçlükleri
arasındaki ilişki düzeyi nasıldır?
İşlemler:
Angoff Yönteminin işlemleri uygulanmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
48. Bulgular:
Uzmanların Madde Cevaplama Olasılıkları Ortalamaları İle Gerçek
Madde Güçlükleri Arasındaki Korelasyon=0,60
Manidarlık Düzeyi: 0,01
Anlamlı olduğu görülmüştür.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
49. Problem 4:
Üniversite İngilizce hazırlık programı yeterlik sınavına ilişkin Angoff
ve İşaretleme Yöntemiyle hesaplanan yeterlik puanı (kesme puanı) ile
mevcut yeterlik puanı üstünde puan alan öğrenci yüzdeleri farklılaşmakta
mıdır?
İşlemler:
Öğrenci yüzdeleri bulunduktan sonra karşılaştırma yapılmıştır.
Bunun için bağımlı iki yüzde arasındaki farkın testi yapılmış ve anlamlılığı
z testi ile sınanmıştır. Test işleminde önem düzeyi 0.05 alınmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
50. Bulgular:
Üniversite kesme puanının
diğer yöntemlerle belirlenene kesme
puanlarıyla farklılaştığı
gözlenmektedir. Fakat Angoff ve
İşaretleme yöntemlerinden elde
edilen kesme puanları arasında
anlamlı bir fark bulunmamaktadır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
51. Tartışma ve Öneriler
1. Üniversitenin belirlemiş olduğu geçme puanı, olması
gerekenden daha yüksek bir puan olarak karşımıza çıkmaktadır.
2. Üniversitenin idari olarak kesme puanı belirlerken A1 ve A2
düzeyi sınırındaki öğrenciler için değil, genel olarak A2 düzeyindeki
öğrenciler için bir geçme puan belirlemesi neden olarak
gösterilebilir.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
52. Tartışma ve Öneriler
3. Uzmanların kararlarıyla testin yapısının oldukça benzer
olduğu, uzmanların madde cevaplama olasılıkları ortalamaları ile
gerçek madde güçlükleri arasındaki orta düzeyde bir ilişki olduğu
görülmüştür.
4. Üniversite herhangi bir standart belirleme yöntemi
kullanmamış olup idari bir kararla belirlemiş olduğu kesme puanı A2
düzeyindeki öğrenciler düşünülerek hesaplanmıştır.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
53. Tartışma ve Öneriler
Eğitimcilerin geçerli bir geçme puanı belirlemek için, kendi koşullarına
uygun daha kullanışlı olabilecek bir standart belirleme yöntemi kullanmaları
önerilebilir.
Benzer bir çalışma farklı standart belirleme yöntemleri kullanılarak
yapılabilir.
İşaretleme yöntemi ile standart belirme çalışması sadece çoktan seçmeli
maddelerden oluşan bir testte yönelik değil farklı soru tiplerinin olduğu
sınavlara yönelik olarak da yapılabilir.
İşaretleme ve Angoff Standart Belirleme Yöntemlerinin
Karşılaştırılması
54. Ömür, S. & Selvi, H. (2010). Angoff, Ebel ve Nedelsky yöntemleriyle
belirlenen kesme puanlarının sınıflama tutarlılıklarının
karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme
Dergisi, 1 (2), 109-113.
Çetin, S. & Gelbal, S. (2013). İşaretleme ve Angoff standart
belirleme yöntemlerinin karşılaştırılması. Kuram ve Uygulamada
Eğitim Bilimleri, 13(4), 2159-2175.
KAYNAKÇA