1.
Bibliyometrik Ölçevlerin Akademik
Yükseltme, Araştırma ve Yayın Desteği İçin
Kullanımı
Yaşar Tonta
Hacettepe Üniversitesi
Bilgi ve Belge Yönetimi Bölümü
06800 Beytepe, Ankara
yunus.hacettepe.edu.tr/~tonta/tonta.html
yasartonta@gmail.com
@yasartonta
Hacettepe Üniversitesi Spor Bilimleri Fakültesi Semineri, 4 Mayıs 2015, Beytepe, Ankara

2.
Plan
• Araştırma değerlendirme
– Akademik performans (öğretim üyeliğine yükseltme)
– Araştırma ve yayın desteği
• Bibliyometrik ve bilimetrik (scientometric)
ölçevler (measures)
– Dergi etki faktörleri
– H dizini
• Bibliyometrik ölçevlerin araştırma
değerlendirmede kullanımı
• Sonuç

3.
Türkiye’de üniversite ve yayın sayıları
• 185 üniversite (2014 bütçesi 16,9 milyar lira)
• 5.139.460 öğrenci
• 150.820 öğretim elemanı (69.850 öğretim üyesi)
• 50.752 kitap
– %14’ü (7171) akademik kitap
• 1679 bilimsel akademik dergi
• DergiPark (ULAKBİM)
– 597 açık erişim dergi
– 136.203 açık erişim makale
• Web of Science
– Toplam yayın sayısı: 385.395 (dünyada 18. sırada)
– Türkiye’de yayımlanan dergi sayısı: 70
Kaynak: https://istatistik.yok.gov.tr/; http://tuik.gov.tr/PreTablo.do?alt_id=1086; Kozak, 2014; http://dergipark.ulakbim.gov.tr; http://webofscience.com

4.
Yıl Yayın sayısı
1990 1181
1991 1404
1992 1748
1993 2287
1994 2933
1995 3423
1996 4408
1997 5183
1998 6058
1999 6708
2000 6984
2001 8428
2002 10819
2003 13206
2004 16358
2005 17653
2006 20114
2007 24175
2008 25128
2009 28525
2010 29480
2011 30425
2012 32841
2013 35717
2014 34231
0
5000
10000
15000
20000
25000
30000
35000
40000
1990 1995 2000 2005 2010 2015
Türkiye'nin yayın sayısı
Kaynak: http://webofscience.com, 26 Nisan 2015

5.
Araştırma değerlendirme
• Akran değerlendirmesi
• Ekonomik göstergeler (ör., GSMH’nin AR-GE’ye
harcanan yüzdesi, Frascati Manual for the
Measurement of Scientific and Technical Activities)
• Akademik performans
– Öğretim üyeliğine yükseltme
• Araştırma ve yayın desteği
– Araştırma desteği (ör., Research Excellence Framework
(REF)
– Yayın desteği (ör., TÜBİTAK, üniversiteler)

6.
Etki faktörü takıntısı
Kaynak: Hicks ve diğerleri, 2015, s. 431

7.
Dergi Etki Faktörü (DEF)
• Atıf dizinleri (citation indexes)
• Web of Science (WoS)
• Journal Citation Reports (JCR)
• Dergi etki faktörü (Journal Impact
Factor)
– Kütüphanecilere koleksiyon
geliştirmede yardımcı olmak
amacıyla geliştirildi
– Bir dergide çıkan yayınlara yapılan
ortalama atıf sayısı (atıf sayısı / yayın
sayısı)
IF = 4,699
IF5 = 5,009

8.
DEF niçin iyi bir ölçev değil?

9.
Çarpık dağılımlar
• 11.500 derginin %43’ünün DEF’i 0 ile 1 arasında (2012 JCR)
• Türkiye kökenli fen dergilerinin %90’ının, sosyal bilim
dergilerinin ise hepsinin DEF’i 0 ile 1 arasında (FB ortanca:
0.396, SB ortanca: 0,246)
• Hiç atıf almayan yayınlar Türkiye
Kaynak: Al ve Soydal, 2014; Casadevall ve Fang, 2014; Hicks, 2015; Seglen, 1997; Sgroi ve Oswald, 2013, s. F256; Tonta, 2014a, 2014b, 2015; SCImago, 2015,
http://www.scimagojr.com

10.
Yayın ve atıf örüntüleri farklı
• Ekonomide en çok atıf yapılan makalenin atıf sayısı 60, Fen
Bilimlerindekinin ise > 1000 (2008-2012)
• En yüksek DEF Matematik dergileri için 3, Doku Biyolojisi
dergileri için 30
Kaynak: Al ve Soydal, 2014; Casadevall ve Fang, 2014; Hicks, 2015; Seglen, 1997; Sgroi ve Oswald, 2013, s. F256; Tonta, 2014a, 2014b, 2015; LSE, 2011, s. 26

11.
Değişen yayıncı politikaları
• Thomson Reuters’ın 2006’daki genişleme kararı
• Manipülasyona açık olması
JCR’deki dergi sayısı
Kaynak: Al ve Soydal, 2014; Tonta, 2014a, 2014b

12.
DEF akademik performans
ölçümlerinde kullanılmamalı
• Çünkü tek tek makalelerin kalitesini ölçmüyor
• Ama sıklıkla akademik yükseltme kararları DEF’e
dayanarak veriliyor
• YÖK’ün ve üniversitelerin akademik yükseltme
ölçütleri
Kaynak: Al ve Soydal, 2014; Tonta, 2014a, 2014b, 2015

13.
DEF’in araştırma ve yayın desteği
için kullanımı

14.
TÜBİTAK UBYT Programı
• Uluslararası Bilimsel Yayınları Teşvik Programı (1993- )
• 2013’e kadar teşvik, JCR’den alınan DEF’lere göre verildi
• Dergiler A, B, C, D diye sınıflandı
• 2013’te TÜBİTAK kendi tanımladığı DEF’e göre teşvik vermeye
başladı
– TÜBİTAK DEF = 5 yıllık DEF * atıf yarı yaşamı (atıf yapılan makalelerin
ortanca yaşı)
– Ortalamanın ± 2 SS üstündeki dergilere en yüksek/en düşük destek
• 2014’te makale etki skoru (MES) kullanılmaya başlandı
– MES bir makalenin ortalama etkisini ölçüyor
– Google’ın PageRank algoritmasında olduğu gibi bir makaleye yüksek atıf
alan dergilerden gelen atıflara daha çok ağırlık veriliyor
Kaynak: Tonta, 2014a, 2014b, 2015

15.
Uluslararası Bilimsel Yayınları Teşvik (UBYT)
2011 2012 2013 2014
8,01
8,15
10,06
11,511,342
11,708
10,653
11,5311,721 12,053
11,199
12,449
Türkiye Adresli UBYT Programı Yıllık İşlem Sayıları
Teşvik Tutarı (Milyon TL) Yayın Sayısı Araştırmacı Sayısı
Kaynak: Satoğlu, 2015 http://193.140.98.158/wp-content/uploads/2015/03/ULAKBIM_EYES-Acilis.pptx

16.
TÜBİTAK’ın yıllara göre yayın destek
miktarı (2012-2014)
Kaynak: Tonta, 2015
Yıllar arası Pearson
korelasyon katsayıları
• 2012-2013 r = 0,29
• 2012-2014 r = 0,23
• 2013-2014 r = 0,77

17.
Yayın desteği ile ilgili sorunlar
• DEF gibi dergilerin atıf yarı yaşamı dağılımları da çarpık
• Atıf yarı yaşamının makale kalitesiyle ilgisi yok, literatür eskimesiyle
ilgisi var
• 2012’de en yüksek destek alan 13 Arkeoloji dergisinden sadece 3’ü
2013’te en yüksek destek alabildi, 4’ü ise en düşük destek aldı
• 2013’te Jeoloji dergilerinin %56’sı daha düşük destek aldı, %49’u
yanlış sınıflandı
• DEF ile makale etki skoru arasındaki korelasyon r = 0,90
– (N=5900 dergi, JCR 2007)
• Yüksek DEF => Yüksek makale etki skoru
• TÜBİTAK UBYT Programı gözden geçirilmeli ya da kaldırılmalı
Kaynak: Batmaz, 2013; Yaltırak, 2014; Arendt, 2010; Tonta, 2014a, 2015

18.
H Dizini
Kaynak: Hirsch, 2005, s. 16570
atıf
sayısı
makale sayısı
Bir araştırmacının atıf dizinlerinde listelenen dergilerde yayımlanan
h sayıdaki makalesinin her birine en az h sayıda atıf yapılması
Araştırma grubu,
üniversite ve ülkeler
için de h dizinleri
hesaplanıyor
Web of Science
Scopus
Google Scholar

19.
H diziniyle ilgili sorunlar

20.
Yapısal sorunlar
• “Zekice bir buluş” ama bazı mantıksal
gerekirlikleri karşılamıyor
• H dizini makale sayısıyla sınırlı
• Hesaplamada ortak yazarlık dikkate alınmıyor
• Atıflara dayanıyor
• Atıf örüntüleri konulara göre farklı
• Normalizasyon sorunu var (PoP, Scholarometer)
• Manipülasyona açık
Kaynak: Rousseau, García-Zorita ve Sanz-Casado, 2013, s. 299; Hirsch, 2007

21.
Sosyal bilimcilerin ortalama h
skorları (N=120, LSE)
Konu Ortalama h skoru
Coğrafya 5,04
Ekonomi 4,83
Siyaset bilimi 2,46
Sosyoloji 2,38
Hukuk 1,25
Kaynak: LSE, 2011, s. 87

22.
Matematikte ilk 10 üniversite (USNWR)
1. UC Berkeley
2. Stanford
3. Princeton
4. UCLA
5. Oxford
6. Harvard
7. King Abdulaziz University
8. Pierre and Marie Curie – Paris 6
9. Hong Kong University
10. University of Cambridge
Kaynak: http://www.usnews.com/education/best-global-universities/mathematics; Pachter, 2014; http://highlycited.com
James O Berger, Mathematics, Duke University, USA; King Abdulaziz University, S. Arabia
• MIT 11. sırada!
• KAU, highlycited.com
listesindeki en yüksek atıf alan
(üst %1) 99 matematikçiden
%25’ini (24) işe almış.. (4’ü tam
zamanlı, 20’si yarım zamanlı
• Highlycited.com’daki tüm
alanlardaki 3215 bilimciden 29’u
ilk, 141’i (%4,4) ikinci adres
olarak KAU’yu göstermiş. KAU’yu
sadece 3 kişi tek adres olarak
göstermiş.
Michael Gratzel, Chemistry, Ecole Polytechnique Federale de Lausanne (80%), Switzerland; King
Abdulaziz University (15%), S. Arabia; Nanyang Technological University (5%), Singapore

23.
Geçerlik sorunu
• Akran değerlendirmesi sonuçları ile h dizini
arasındaki korelasyon düşük
Farklı araştırma gruplarının 2008 yılı h dizinleri ile
akran değerlendirmesi skorları (r = 0,62)
Kaynak: http://blogs.lse.ac.uk/impactofsocialsciences/2014/12/16/predicting-the-results-of-the-ref/

24.
H dizini ve Nobel Ödülü
• H dizini ve atıf oranları Nobel ödülü
kazananları tahmin etmek için bile kullanılıyor
• "h-80 sayısını aşan bilim insanları dünyada
Nobel ödülü alabilecek insanlar arasına
giriyor." (Bursalı, 2014).
• Ama ikisi arasında bir korelasyon yok
Kaynak: Avcı, 2012; Bursalı, 2014; Doğan ve Soylak, 2014;Hacettepe, 2013; Hirsh, 2005; Pendlebury, 2009; Marques, 2013; Van der Wall, 2011

25.
Peter Higgs, 2013 Nobel Ödülü (Fizik)
"Bugün akademik bir işe giremem. Bu kadar basit".
H = 11
Yayın sayısı
Atıf sayısı
1968-1996 arası sadece 1 yayın
Kaynak: http://upload.wikimedia.org/wikipedia/commons/5/5f/Nobel_Prize_24_2013.jpg;
http://www.theguardian.com/science/2013/dec/06/peter-higgs-boson-academic-system; Web of Science, 24 Nisan 2015

26.
H dizini akademik performans
ölçümlerinde kullanılmamalı
• Zamanla ilgili
• Dolayısıyla (özellikle kısa dönemli) araştırma
değerlendirme için kullanılmamalıdır
• Ama akademik yükseltme, araştırma ve yayın
desteği için kullanılıyor
• TÜBA üyelikleri
• H.Ü. akademik yükseltme ölçütleri taslağı
(2013)

27.
Sonuç
• Dergi etki faktörü: "öldürücü cazibe", "fakirin atıf analizi"
• "... bibliyometrik performans göstergeleri (tek tek değil) sadece
toplu olarak ve açıkça tanımlanmış uygulama kurallarına göre
yapılan akran değerlendirmesiyle birlikte kullanılmalı" (abç) (IEEE,
2013)
• Nicel değerlendirme akran değerlendirmesini desteklemeli, onun
yerine geçmemeli
• Performans kurumun araştırma misyonuyla karşılaştırılarak ölçülmeli
• Alanlara göre yayın/atıf uygulamalarındaki farklılıklar dikkate alınmalı
• Bibliyometrik ölçevler makalelerin, araştırmacıların ve kurumların
kalitesini ölçmek ve birbiriyle karşılaştırmak için kullanılmamalı
Kaynak: Van Raan, 2005; IEEE, 2013; Hicks ve diğerleri, 2015; Marx ve Bornmann, 2013; http://am.ascb.org/dora/

28.
Son söz
"Önemli olan her şey sayılamayabilir, ve
sayılabilen her şey önemli değildir."
-- William Bruce Cameron, 1963
"Bir ölçev hedef haline gelince iyi bir ölçev
olmaktan çıkar."
-- Charles Goodhart, 1975
Kaynak: http://quoteinvestigator.com/2010/05/26/everything-counts-einstein/; http://en.wikipedia.org/wiki/Goodhart%27s_law

29.
Kaynak: http://issi2015.org/en/

30.
Kaynaklar• Al, U. ve Soydal. İ. (2014). Akademinin atıf dizinleri ile savaşı. Hacettepe Üniversitesi Edebiyat Fakültesi Dergisi, 31(1): 23-42. http://yunus.hacettepe.edu.tr/~umutal/publications/war.pdf
• Arendt, J. (2010). Are article influence scores comparable across scientific fields? Issues in Science and Technology Librarianship, No. 60. http://www.istl.org/10-winter/refereed2.html
• Avcı, B. (2012, 15 Haziran). Hükümet kurumlarının atadığı yeni TÜBA üyelerinin bilimsel başarımları. Cumhuriyet Bilim ve Teknoloji, No. 1317, s. 14.
• Batmaz, A. (2013, 14 Haziran). Türkiye’de bilim üretimi ve arkeoloji. Cumhuriyet Bilim ve Teknoloji, (1369), 18.
• Best Global Universities for Mathematics. http://www.usnews.com/education/best-global-universities/mathematics
• Bornmann, M. ve Leydesdorff, L. (2014). Scientometrics in a changing research landscape. EMBO Reports, 15(12): 1228-1232.
• Bursalı, O. (2014, 10 Ekim). Bilimsel başarılarımız. Ne kadar sevinmeliyiz? Cumhuriyet Bilim ve Teknoloji, No. 1438. http://orhanbursali.blogspot.com.tr/2014/10/bilimsel-basarm-listesi-i-bilimsel.html
• Casadevall, A. ve Fang, F.C. (2014). Causes for the persistence of impact factor mania. mBio, 5(2). tarihinde http://mbio.asm.org/content/5/2/e00064-14.full.pdf
• Centre for Science and Technology Studies. (2007). Scoping study on the use of bibliometric analysis to measure the quality of research in UK higher education institutions. Report to HEFCE. Leiden: Centre
for Science and Technology Studies, Leiden University.
• Doğan, M.H. ve Soylak, M. (2014, 10 Ekim). Hangi bilim insanlarımızın başarıları hızla artıyor? Cumhuriyet Bilim ve Teknoloji Dergisi, No. 1438, pp. 10-11.
• Hacettepe Üniversitesi Öğretim Üyeliğine Yükseltme ve Atama Kriterleri Taslağı Genel (GSF ve ADK hariç). (2013, 25 Haziran).
• Harnad, Stevan (2009). Open access scientometrics and the UK Research Assessment Exercise. Scientometrics, 79(1): 147-156. http://www.archipel.uqam.ca/2440/1/scientometproofs.pdf
• Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. ve Rafols, I. (2015, 23 Nisan). The Leiden Manifesto for research metrics. Nature, 520, 429-431.
http://www.nature.com/polopoly_fs/1.17351!/menu/main/topColumns/topLeftColumn/pdf/520429a.pdf
• Hirsch, J.E. (2005). An index to quantify an individual’s scientific research output. PNAS, 102(46), 16569-16572.
• Hirsch, J.E. (2007). Does the h index have predictive power? PNAS, 104(49), 19193-19198.
• Kozak, N. (2014). Türkiye akademik dergiler rehberi-2014. Ankara: Detay Yayıncılık.
• LSE Public Policy Group. (Nisan 2011). Maximizing the impacts of your research: A handbook for social scientists.
http://www.lse.ac.uk/government/research/resgroups/LSEPublicPolicy/Docs/LSE_Impact_Handbook_April_2011.pdf
• Leydesdorff, L. (2005, November 10). Evaluation of research and evolution of science indicators. Current Science, 89(9), 1510-1517. http://arxiv.org/ftp/arxiv/papers/0911/0911.4298.pdf
• Marques, F. (May 2013). The limits of the h-index. Revista Pesquisa FAPESP, Edition 207. http://revistapesquisa.fapesp.br/en/2013/06/25/the-limits-of-the-h-index/.
• Marx, W. ve Bornmann, L. (2013). Journal Impact Factor: “the poor man’s citation analysis” and alternative approaches. European Science Editing, 39(2), 62-63.
http://www.ease.org.uk/sites/default/files/aug13pageslowres.pdf.
• Mryglod, O., Kenna, R., Holovatch, Y. ve Berche, B. (2014). Predicting the results of the REF using departmental h-index: A look at biology, chemistry, physics, and sociology.
http://blogs.lse.ac.uk/impactofsocialsciences/2014/12/16/predicting-the-results-of-the-ref/
• Pachter, L. (2014, 31 Ekim). To some a citation is worth $3 per year. https://liorpachter.wordpress.com/2014/10/31/
• Pendlebury, D. (2009 November). Discover the power of quantitative analysis: The art and science of identifying future Nobel laureates (slides). http://ip-
science.thomsonreuters.com/m/pdfs/Identifying_Nobel_Laureates.pdf
• Rousseau, R., García-Zorita, C. ve Sanz-Casado, E. (2013). The h-bubble. Journal of Informetrics, 7, 294-300.
• Satoğlu, M.M. (2015, 4 Mart). Bilimsel yayınlarda kaliteye ulaşmak: Editör ve yazar eğitim seminerleri. http://193.140.98.158/wp-content/uploads/2015/03/ULAKBIM_EYES-Acilis.pptx
• SCImago. (2015). SJR — SCImago Journal & Country Rank. http://www.scimagojr.com.
• Seglen, P.O. (1997, Şubat 15). Why the impact factor of journals should not be used for evaluating research. British Medical Journal, 314(7079):498-502. http://www.dcscience.net/seglen97.pdf
• Sgroi, D. ve Oswald, A.J. (2013). How should peer-review panels behave? The Economic Journal, 123(570), F255–F278.
• Tonta, Y. (2014a). Akademik Performans, Öğretim Üyeliğine Yükseltme ve Yayın Destekleme Ölçütleriyle İlgili Bir Değerlendirme (yayımlanmamış makale).
http://yunus.hacettepe.edu.tr/~tonta/yayinlar/tonta-yukseltme-kriterleri-hakkinda-degerlendirme-11-Temmuz-2014.pdf.
• Tonta, Y. (2014b). Use and Misuse of Bibliometric Measures for Assessment of Academic Performance, Tenure and Publication Support. Metrics 2014: Workshop on Informetric and Scientometric Research
(SIG/MET). 77th Annual Meeting of the Association for Information Science and Technology, October 31-November 5, 2014, Seattle, WA. Bildirinin tam metni: http://bit.ly/1ur3cGN; Slaytlar:
http://slidesha.re/10VuVTf
• Tonta, Y. (2015). Support Programs to Increase the Number of Scientific Publications Using Bibliometric Measures: The Turkish Case (bildiri). ISSI 2015, June 29-July 4, 2015, İstanbul.
• Van Raan, A.F.J. (2005). Fatal attraction: conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics, 62(1), 133–43.
• Yaltırak, C. (2014, 21 Mart). TÜBİTAK yayın teşvik sistemini değiştirmeli! Cumhuriyet Bilim ve Teknoloji, No. 1409, s. 18.

31.
Bibliyometrik Ölçevlerin Akademik
Yükseltme, Araştırma ve Yayın Desteği İçin
Kullanımı
Yaşar Tonta
Hacettepe Üniversitesi
Bilgi ve Belge Yönetimi Bölümü
06800 Beytepe, Ankara
yunus.hacettepe.edu.tr/~tonta/tonta.html
yasartonta@gmail.com
@yasartonta
Hacettepe Üniversitesi Spor Bilimleri Fakültesi Semineri, 4 Mayıs 2015, Beytepe, Ankara