O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Hamming Yapay Sinir Ağı (Konu anlatımı)

1.303 visualizações

Publicada em

Hamming Ağları ve Öğrenmesi
Doktora YSA ders ödevi

Publicada em: Tecnologia
  • Entre para ver os comentários

  • Seja a primeira pessoa a gostar disto

Hamming Yapay Sinir Ağı (Konu anlatımı)

  1. 1. Hamming Yapay Sinir Ağı ve Öğrenmesi Murat ÖZALP Bilecik Şeyh Edebali Üniversitesi murat.ozalp@bilecik.edu.tr Abstract This study was conducted as ANN homework. Hamming network was researched and presented. Özet Bu çalışma, YSA ev ödevi olarak yapılmıştır. Ödev kapsamında, Hamming ağının araştırılması ve sunumu yapılmıştır. 1. Giriş Ağın temel kullanım amaçları; desen eşleştirme (pattern matching) ve sınıflandırma (classification) gibi uygulamalardır. Aşağıda ağın temsili şeması verilmiştir. Şekil 1. Hamming Ağı'nın şeması Hamming ağı tek katmanlı bir ağdır. Girişler ve çıkışlar arasında tam bağlantı bulunmaktadır. Bağlantı ağırlıkları eğitim sırasında belirlenmekte ve iteratif olarak değişmemektedir. Bu özelliklerinden dolayı; sabit ağırlıklı ve tek katmanlı bir ağ olarak tanımlanmaktadır. Ağ ağırlıkları hesaplanırken, Hamming mesafesi kullanılmaktadır. Ağın ismi buradan gelmektedir. 2. Tarihçe Richard Hamming, 1915-1998 yılları arasında yaşamış bilim adamıdır. 1940'lı yıllarda delikli kart kullanan bilgisayarlarla çalışırken, hata bulma/düzeltme algoritmaları üzerine uzun süre çalışmıştır. Hata bulma süresini kısaltmak üzere yaptığı çalışmalar sırasında, sayısal olmayan ifadeler arasındaki benzerliği ifade edebilmek için bir tanım yapmış vr buna Hamming mesafesi ismini vermiştir. Hamming mesafesini kullanan yapay sinir ağları ilk kez 1987 yılında Lippmann tarafından “An Introduction to Computing with Neural Nets” isimli çalışmada ifade edilmiştir. 3. Hamming Mesafesi İki vektörün birbirine uzaklığını bulmak için kullanılan yöntemlerden birisi Hamming mesafesidir. Öklid mesafesi ve benzerleri sayısal verilerle işlem yaparken, Hamming mesafesi sayısal olmayan ifadelerle işlem yapmaktadır. Hamming mesafesi; özetle, iki vektör (ifade, katar) arasında kaç tane sembolün farklı olduğuna bağlı olarak benzerlik ifade eder. Vektörlerin arasındaki farklı sembol sayısı, iki vektör arasındaki uzaklığı ifade eder. Aşağıda bununla ilgili birkaç örnek verilmiştir: 1. Vektör 2. Vektör Mesafe 11110000 1011000 2 abc123 abc120 1 Antalya Antakya 1 Hamming mesafesinin ağ içerisinde kullanılma amacı, girişten verilen vektörlerin, önceden öğretilmiş olan örneklere (sınıflar ~ classes) ne kadar benzediğini bulmaktır. Mesafenin (uzaklığın) tersi yakınlık (benzerlik) olarak kullanılmaktadır. Örneğin; 8 sembollü iki ifade arasındaki mesafe 2 ise, bu iki ifadenin benzerlik değeri 6 olarak hesaplanmaktadır. Hamming ağlarında, giriş vekörü ile benzerlik değeri en fazla olan sınıf, çıkışta elde edilmektedir. 21.12.2015 Sayfa: 1/4 Murat ÖZALP
  2. 2. 4. Ağın Temel Özellikleri YSA algoritmaları sınıflandırmasında, “danışmansız ağlar (unsupervised networks)” kategorisinde yer almaktadır. Bazı kaynaklarda “danışmanlı ağlar” kategorisine de dahil edildiği olmuştur. Bunun sebebi ağın “sınıf” olarak kullanacağı örnek vektörlerin ağa önceden veriliyor olmasıdır. Sınıflandırma sırasında “giriş vektörüne en çok benzeyen sınıf” arandığından, “yarışmacı ağlar (competitive networks)” kategorisinde yer almaktadır. Ağırlıkları baştan belirlendiği ve daha sonra değişmediği için; “sabit ağırlıklı (fixed weights)” ağlardandır. Ağın ana karakterini ifade eden bu özellikleri şu şekilde özetleyebiliriz: • danışmansızdır • yarışmacıdır • tek katmanlıdır • yarışmacıdır “En yakın komşu (nearest neighboor)” tarzında kümeleme veya sınıflandırma ağlarına da benzerlik göstermektedir. kNN türü uygulamalarda, girişin her bir elemanı, önceki elemanlardan en yakın k tanesinin yoğunlukla dahil olduğu kümeye dahil olmaya çalışır. Bu tarz uygulamalar genellikle sayısal veriler ile çalışmaktadır. Ancak Hamming ağının bunlardan en önemli farkı, sayısal olmayan veriler arasında yakınlık ifade edebilmesidir. Hamming ağı ile benzer durumlarda kullanılan diğer ağlar; MaxNET ve Meksika Şapkası'dır. MaxNET ağları; klasik bir “kazanan hepsini alır (winner takes all)” uygulamasıdır. Karşılaştırılan değerlerden en büyük olanın çıkışı aktif, diğer tüm çıkışlar pasif durumda olur. Bu durum çıkış katsayılarının 1 ve 0 şeklinde düzenlenmesi ile uygulanır. Hamming ağlarının çıkışına ilave olarak genellikle bir MaxNET ağı eklenir. Bunun sebebi; Hamming ağının çıkışındaki benzerlik skaler değerlerinin en büyük olanının seçilmesidir. Hamming ağının önemli bir özelliği de ikili girişlerle (bipolar vectors) çalışmasıdır. Bu nedenle girişler ikili ifadelerle verilmektedir. 5. Örnek Rakam Tanıma Sistemi Rakam tanıma sisteminde, 0-9 arası rakamları ifade eden 10 tane sınıf bulunmaktadır. Girişten verilen her bir eleman, bu 10 sınıftan birisine dahil edilmelidir. Bunların haricinde bir seçenek olamaz. Dolayısıyla, en çok hangi rakama benzerse, o sınıfa dahil edilmesi düşünülebilir. İşte bu benzerlik Hamming mesafesi ile ölçülmektedir. Aşağıda bu örnek için şema gösterilmiştir: Şekil 2. Rakam tanıma sistemi ağ şeması Rakam tanıma sisteminde, girişten uygulanacak olan her bir rakam 5x3 şeklinde matrislerle sayısallaştırılarak verilmektedir. Her bir veri için; matrisin her bir hücresinin dolu/boş olması durumu -1/+1 şeklinde sayısallaştırılmaktadır. 15 hücrenin sisteme giriş olarak verilebilmesi için, 15 tane giriş gerekmektedir. Girişler Xi=[...]5x3 şeklinde sisteme verilmelidir. Sistem çıkışında sınıflandırma yapılacaktır. Yani her bir giriş verisi için, 0-9 rakamlarının hangisine tekabül ettiğini sistem belirtebilmelidir. Bunu; üretim bandında ürünlerin “sağlam” veya “arızalı” şeklinde iki ayrı sepete ayrılması şeklinde düşünebiliriz. Rakam tanıma örneğinde de benzer şekilde 10 ayrı sepet (sınıf) bulunmaktadır. Bu 10 ayrı sınıfı ifade edebilmek için, 10 tane ayrı çıkış olması gerektiği açıktır. Çıkışlar, Yi=[.....]10x1 şeklinde ifade edilmektedir. 6. Bağlantı Ağırlıkları ve Eşikler Ağırlıklar ve eşik (bias) değerleri, sisteme tanıtılacak olan örneklere (sınıflar) göre belirlenmektedir. Örneğin; rakam tanıma örneği için, 10 tane 5x3 matris verisi sisteme verilerek ağırlık ve eşiklerin oluşturulması sağlanmaktadır. Bu aşamadan sonra bir daha ağırlık ve eşik değerleri değiştirilmemektedir. 7. Ağın Oluşturulması Sistemin tanıyacağı verilere göre örnek verilerin (sınıflar) sisteme önceden yüklenmesi gerekmektedir. Ağın oluşturulması bu şekilde sağlanmaktadır. Hamming ağının temelinde Hamming mesafesinin bulunduğun daha önce belirtilmişti. Aşağıda bunun matematiksel ifadeleri verilmiştir. a ve b, iki farklı vektör olsun. Bu vektörler için; Birbirleri ile aynı olan eleman sayısı: A(a,b) şeklinde (A: Agree) gösterilir. Farklı olan elemanların sayısı ise H(a,b) şeklinde (H: Hamming) gösterilir. Bu ili vektörün skaler çarpımları (dot product); aynı elaman sayısının, farklı eleman sayısından farkına eşittir. Yani; a.b=A(a ,b)−H (a,b) (1) 21.12.2015 Sayfa: 2/4 Murat ÖZALP
  3. 3. Hamming ağlarında; A(a,b) değeri kullanılmaktadır. Ağa önceden belirli sayıda örnek vektör verilmektedir. Bu vektörleri c(1) , c(2) , … c(M) şeklinde (c: class ~ sınıf) M tane olacak şekilde ifade edebiliriz. Giriş vektörü (örneğin x), c(j) vektörleri ile karşılaştırılmakta ve en yakın olan vektör belirlenmektedir. Skaler çarpım ifadesini (1) düzenleyerek yeniden yazalım. Vektörlerden birisi x giriş vektörü olsun. Diğeri de e örnek vektörü olsun: x.c= A(x, c)−H (x ,c) (2) (2) ifadesinde, her iki tarafı ikiye bölüp biraz düzenleyelim: 1 2 x T .c= n 2 −H (x, c) (3) Bu ifadelerde; • n: vektördeki sembol sayısı • a: karşılaştırılan iki vektörde aynı olan sembol sayısı olmak üzere; H(x,c) = n­a olduğunu bir kez daha hatırlayalım ve sonra benzerliği ifade etmek üzere ifadeyi yeniden düzenleyelim: a= 1 2 x T .c+ n 2 (4) (4) ifadesi, YSA çıkışını belirtmektedir. Genelleştirilmiş bir YSA çıkışının şu şekilde olduğunu hatırlayalım: yi=∑ xi.wi+θ (5) Bu durumda, (4) ve (5) ifadeleri benzer duruma gelmiştir. YSA modelini oluşturmak için, ağ şemasını yeniden hatırlayalım: Şekil 3. Hamming Ağı Şekilde gösterilmiş olan netj ifadesi, şu şekildedir: net j=x T .wj+bj j=1,2,..., M (6) (4) ve (5) eşitliklerinden yararlanarak, (6) eşitliğindeki ağırlık (w) ve eşik (b) değerlerini belirtelim: wj=[wj1 wj2... wjn] T (7) bj= n 2 ve wj= 1 2 cj , j=1,2,..., M (8) Ağırlıklar: W= 1 2 [ c11 c12 ⋯ c1N c21 c2N ⋮ ⋮ cN 1 cN 2 ⋯ cNM ]NxM olur. wji= 1 2 cji , i=1,2,...,n ; j=1,2,. ..,M 21.12.2015 Sayfa: 3/4 Murat ÖZALP Örnek: a vektörü = [1, ­1, ­1, ­1] b vektörü = [1,  1, ­1, ­1] olsun. A(a,b) = 3 ve H(a,b)=1 olacaktır. A(a,b) - H(a,b) = 3-1 = 2 olur. a.b skaler çarpımı da = (1*1) + (-1*1) + (-1*-1) + (-1*-1) = 1-1+1+1 = 2 olur.
  4. 4. 8. Örnek Uygulama 8.1. Soru 3x3 piksel ile ifade edilen C, H ve L harflerini tanıyan (sınıflandıran) bir Hamming ağı olsun. Harflerin şekli aşağıda gösterilmiştir. Şekil 4. Örnek soruda tanınan harfler Bu harflerin vektör ile ifadesi şöyledir: c1=(1  1  1;  1 ­1 ­1;  1  1  1)    C harfi c2=(1 ­1  1;  1  1  1;  1 ­1  1)    H harfi c3=(1 ­1 ­1;  1 ­1 ­1;  1  1  1)    L harfi x=(1 1 1; 1 1 ­1; 1 1 1) girişinin, bu ağa göre sınıfını bulmaya çalışalım. 8.2. Çözüm Her bir harf 3x3 matris ile ifade edildiğinden, ağın 3x3=9 tane girişi olmalıdır. Tasarlanacak olan ağ, 3 tane harfi tanıyacağı için üç sınıf olmalıdır. Dolayısıyla 3 tane de çıkış olmalıdır. Buna göre ağın şeması aşağıda gösterilmiştir: Şekil 5. Örnek uygulamanın YSA şeması Önce; ağırlık matrisini (w) ve eşik (b) değerini hesaplayalım: W= 1 2 [ 1 1 1 1 −1 −1 1 1 1 1 −1 1 1 1 1 1 −1 1 1 −1 −1 1 −1 −1 1 1 1] b1=b2=b3= n 2 = 9 2 Buna göre net1 çıkışını hesaplayalım: net1=b1+∑ i xi w1i , i=1,2,...,9 net1= 9 2 +1(0,5)+1(0,5)+1(0,5)+1(0,5)+1(−0,5) +(−1)(−0,5)+1(0,5)+1(0,5)+1(0,5) net1=8 bulunur. net2 ve net3 çıkışları da benzer şekilde hesaplandığında, aşağıdaki değerler elde edilir: net1=8 net2=6 net3=6 Büyük olan değer, Hamming mesafesi açısından, x giriş vektörüne en yakın olan değerdir. Burada Hamming ağının görevi tamamlanmıştır. Sorunun cevabı olarak; verilen x girişi sınıflandırılarak net1 çıkışına tekabül ettiği görülmüştür. Bu çıkış, soruda verilen C harfine ait olduğundan, girişte verilen veri ve çıkışta gösterilen sınıf aşağıda verilmiştir: --> Soruda verilen x vektörü --> YSA kararı Kaynaklar Pattern Recognition and Image Preprocessing, Sing- Tze Bow, 2002, Marcel Dekker Yayınevi Fixed Weight Competitive Nets, K. Ming Leung, 2007, Polytechnic University ders notları Neural Networks Based on Competition, M. Bennamoun, CS407 Neural Computation ders notları 21.12.2015 Sayfa: 4/4 Murat ÖZALP
  5. 5. Hamming, MaxNet, Mexican Hat http://www.slideshare.net/balveenchugh/neural-networks-12102680/29

×