Information Theory and coding - نظرية المعلومات و الترميز لتخصص هندسة الاتصالات الفصل الاول

1. 1

2. 2
Chapter One
: ‫مهمه‬ ‫تعاريف‬
Q/ Define the Terms:
1-Joint Probability: is the probability of event Y occurring at
the same time event X occurs.
P(X, Y) = P(X) × P(Y)
2-Conditional Probabilities:It is happened when there are
dependent events. We have to use the symbol "|" to mean
"given":
𝑷( 𝑨| 𝑩) =
𝑷( 𝑨 ∩ 𝑩)
𝑷( 𝑩)
3-Self- information: is a measure of the information content
associated with the outcome of a random variable.
I(xi) = - log2 P(xi)
4-Entropy: is the average amount of information contained in
each message received .
∴ H(X) = −∑ 𝑷( 𝒙𝒊) ∗ 𝒍𝒐𝒈 𝟐
𝒏
𝒊=𝟏 𝑷(𝒙𝒊)
5-Source Entropy Rate: It is the average rate of amount of
information produced per second.
𝑹( 𝒙) =
𝑯(𝒙)
𝝉̅

3. 3
: ‫الهميتها‬ ‫االحتماليات‬ ‫حول‬ ‫مهمه‬ ‫مالحظات‬
1-= ‫دائما‬ ‫معين‬ ‫متغير‬ ‫احتماليات‬ ‫مجموع‬1
2-‫بعطي‬ ‫ولم‬ ‫ما‬ ‫لمتغير‬ ‫واحدة‬ ‫قيمة‬ ‫ظهور‬ ‫احتماليه‬ ‫السؤال‬ ‫في‬ ‫اعطي‬ ‫حال‬ ‫في‬
‫في‬ ‫العام‬ ‫االحتمالية‬ ‫قانون‬ ‫من‬ ‫استخراجها‬ ‫يتم‬ ‫المتغير‬ ‫لذات‬ ‫االخرى‬ ‫القيمة‬
‫الفقرة‬1
( ‫ظهور‬ ‫احتمالية‬ ‫اعطي‬ ‫لو‬ : ‫مثال‬X1 = 0.25‫الـ‬ ‫ظهور‬ ‫احتمالية‬ ‫يعطى‬ ‫ولم‬ )
(X2‫اال‬ ‫قانون‬ ‫باستخدام‬ ‫استخراجها‬ ‫السهل‬ ‫من‬ ): ‫التالي‬ ‫العام‬ ‫حتماليه‬
) = 1nP(X1) + P(X2) + ……… P(X
) = 1mP(Y1) + P(Y2) + ……… P(Y
‫قيمة‬ ‫استخراج‬ ‫يمكن‬ ‫مثال‬ ‫مثالنا‬ ‫في‬P(X2)‫يلي‬ ‫كما‬
: ‫انه‬ ‫بما‬
P(X1) = 0.25
‫اذن‬
0.25 + P(X2) =1 ‫االحتماليات‬ ‫قانون‬ ‫حسب‬
∴ P(X2) = 1 – 0.25 = 0.75
: ‫عامة‬ ‫مالحظات‬
1-‫قيمة‬ ‫اليجاد‬2log: ‫التالية‬ ‫الخطوات‬ ‫نتبع‬
‫رقم‬ ‫طريقة‬1:‫زر‬ ‫على‬ ‫نضغط‬ln‫اخذ‬ ‫المراد‬ ‫الرقم‬ ‫ثم‬ ‫الحاسبة‬ ‫االلة‬ ‫في‬
2Log‫ثم‬ ‫قوس‬ ‫يفتح‬ ‫المقام‬ ‫في‬ ( ‫على‬ ‫الناتج‬ ‫تقسم‬ ‫ثم‬ = ‫ثم‬ ‫له‬ln‫ثم‬2(‫ثم‬
‫الـــ‬ ‫قيمه‬ ‫هو‬ ‫سيكون‬ ‫الناتج‬ ‫يساوي‬ ‫ثم‬ ‫القوس‬ ‫اغلق‬2Log.
‫طريقة‬‫رقم‬2:‫زر‬ ‫على‬ ‫اضغط‬Log‫قيمة‬ ‫يمثل‬ ‫الذي‬ ‫العلمية‬ ‫الحاسبة‬ ‫في‬
‫لالساس‬ ‫اللوغارتم‬10‫اساس‬ ‫اللوغارتم‬ ‫اخذ‬ ‫المراد‬ ‫الرقم‬ ‫ثم‬2‫الناتج‬ = ‫ثم‬
( ‫قوس‬ ‫افتح‬ ‫على‬ ‫يتقسمه‬ ‫قم‬log‫للـ‬2‫قيمة‬ ‫هو‬ ‫سيكون‬ ‫الناتج‬ )2Log

4. 4
‫طريقة‬‫رقم‬3:‫بضغط‬ ‫قم‬Log‫اخذ‬ ‫المراد‬ ‫الرقم‬ ‫العلمية‬ ‫الحاسبة‬ ‫في‬2Log
‫التالي‬ ‫الرقم‬ ‫في‬ ‫الناتج‬ ‫اضرب‬ ‫ثم‬ ‫له‬3.33‫قيمة‬ ‫هو‬ ‫الناتج‬2Log.
2-‫احتماليات‬ ‫قيم‬ ‫عدد‬ ‫يكون‬ ‫المقام‬ ‫في‬ ‫دائما‬ ‫المشروطة‬ ‫االحتماليات‬ ‫حال‬ ‫في‬
‫ال‬ ‫ظهور‬given. ‫المتغيرين‬ ‫بين‬ ‫المشتركة‬ ‫القيم‬ ‫احتماليات‬ ‫عدد‬ ‫هي‬ ‫والبسط‬
3-‫ابدا‬ ‫استخدامه‬ ‫اليتم‬ ‫واالنفو‬ ‫االنتروبي‬ ‫مثل‬ ‫قوانين‬ ‫عدة‬ ‫به‬ ‫المسبوق‬ ‫السالب‬
‫بيانات‬ ‫قيمه‬ ‫اليوجد‬ ‫النه‬ ‫ظهرت‬ ‫لو‬ ‫السالبة‬ ‫االشارة‬ ‫الغاء‬ ‫لغرض‬ ‫يوضع‬ ‫انما‬
. ‫بتاتا‬ ‫بالسالب‬
4-( ‫احتماليات‬ ‫قيم‬ ‫اليجاد‬X( ‫واحتماليات‬ )Y‫الجوينت‬ ‫االرتباط‬ ‫مصفوفة‬ ‫من‬ )
: ‫التالية‬ ‫الخطوات‬ ‫اتبع‬
‫احتماليات‬ ‫قيم‬ ‫اليجاد‬‫الــ‬X‫الجوينت‬ ‫مصفوفة‬ ‫من‬ ‫االول‬ ‫الصف‬ ‫قيم‬ ‫اجمع‬
‫ظهور‬ ‫احتماليه‬ ‫قيمه‬ ‫هو‬ ‫الناتج‬X1‫الثاني‬ ‫الصف‬ ‫قيم‬ ‫واجمع‬ ‫الكرة‬ ‫اعد‬ ‫ثم‬
‫احتماليه‬ ‫هو‬ ‫الناتج‬X2‫االكس‬ ‫قيم‬ ‫يعطي‬ ‫الصفوف‬ ‫جمع‬ ‫وهكذا‬.
‫ا‬ ‫احتماليات‬ ‫قيم‬ ‫اليجاد‬‫لــ‬Y‫ظه‬ ‫احتمال‬ ‫هو‬ ‫الناتج‬ ‫االول‬ ‫العمود‬ ‫اجمع‬‫ال‬ ‫ور‬‫ــ‬
Y1‫الـ‬ ‫ظهور‬ ‫احتمال‬ ‫قيمه‬ ‫هو‬ ‫الناتج‬ ‫الثاني‬ ‫العمود‬ ‫بجمع‬Y2. ‫وهكذا‬

5. 5
1-( ‫المربوطة‬ ‫االحتمالية‬Joint Probability: )
‫الـ‬ ‫قيم‬ ‫تقاطع‬ ‫احتمالية‬ ‫هي‬X‫الــ‬ ‫مع‬Y‫معين‬ ‫موقع‬ ‫في‬.‫االحتماليات‬ ‫مصفوفة‬ ‫في‬
: ‫الفكرة‬ ‫التمام‬ ‫مثال‬
Example : If you have Joint Probability (J.P) of the Matrix :
൥
0.1 0.25
0 0.2
0.25 0.2
൩
Find : Probability for each single value ?
Answer:
‫الـ‬ ‫ظهور‬ ‫احتماليات‬ ‫اليجاد‬X1‫المصفوفة‬ ‫من‬ ‫االول‬ ‫الصف‬ ‫نجمع‬,‫واليجاد‬X2
‫نجمع‬‫اما‬ ‫الثاني‬ ‫الصف‬ ‫قيم‬X3‫ال‬ ‫عدد‬ ‫اليجاده‬ ‫الثالث‬ ‫الصف‬ ‫قيم‬ ‫نجمع‬X‫بعدد‬
: ‫كالتالي‬ ‫الصفوف‬
X1 = 0.1 + 0.25 = 0.35
X2 = 0 + 0.2 = 0.2 + = 1
X3 = 0.25 + 0.2 = 0.45
∴ P(X) = [ 0.35 0.2 0.45 ]
‫الـ‬ ‫ظهور‬ ‫احتماليات‬ ‫اليجاد‬Y1‫المصفوفة‬ ‫من‬ ‫االول‬ ‫العمود‬ ‫نجمع‬,‫واليجاد‬Y2
‫ال‬ ‫قيم‬ ‫عدد‬ ‫الثاني‬ ‫العمود‬ ‫قيم‬ ‫نجمع‬Y: ‫كالتالي‬ ‫المصفوفة‬ ‫في‬ ‫االعمدة‬ ‫بعدد‬

6. 6
Y1 = 0.1 + 0 + 0.25 = 0.35
+ = 1
Y2 = 0.25 + 0.2 + 0.2 = 0.65
∴ P(Y) = [ 0.35 0.65 ]
2-( ‫المشروطة‬ ‫االحتمالية‬Conditional Probability: )
‫فعال‬ ‫حدث‬ ‫قد‬ ‫اخر‬ ‫حدث‬ ‫يكون‬ ‫عندما‬ ‫معين‬ ‫حدث‬ ‫حصول‬ ‫احتمالية‬ ‫هي‬
‫االتي‬ ‫قلنا‬ ‫لو‬ ‫انه‬ ‫اي‬:
P(A|B)
( ‫الحدث‬ ‫حدوث‬ ‫احتمالية‬ ‫انه‬ ‫اي‬A‫الحدث‬ ‫يكون‬ ‫عندما‬ ))B‫فعال‬ ‫حدث‬ ‫قد‬ )
: ‫قلنا‬ ‫لو‬ ‫الحال‬ ‫وكذا‬
P(B|A)
( ‫الحدث‬ ‫حدوث‬ ‫احتمالية‬ ‫انه‬ ‫اي‬B‫الحدث‬ ‫يكون‬ ‫عندما‬ ))A‫فعال‬ ‫حدث‬ ‫قد‬ )
: ‫الحل‬ ‫قانون‬
𝑷( 𝑨| 𝑩) =
𝒏𝒖𝒎𝒃𝒆𝒓 𝒐𝒇 𝒆𝒍𝒆𝒎𝒆𝒏𝒕𝒔 𝒐𝒇 𝑨 𝒂𝒏𝒅 𝑩
𝒏𝒖𝒎𝒃𝒆𝒓 𝒐𝒇 𝒆𝒍𝒆𝒎𝒆𝒏𝒕𝒔 𝒐𝒇 𝑩
‫حدوث‬ ‫احتمالية‬A‫عندما‬B‫بين‬ ‫المشتركة‬ ‫العناصر‬ ‫عدد‬ = ‫موجود‬A&B/‫عدد‬
‫ال‬ ‫عناصر‬B
/‫ال‬ ‫دائما‬Given‫المقام‬ ‫في‬ ‫يكون‬ ‫فعال‬ ‫الموجود‬ ‫اي‬

7. 7
: ‫الفكرة‬ ‫الكتمال‬ ‫امثلة‬
Example1: When a single Die is thrown Find P(A|B) if :
A=[2,4,6]
B= [ 6 ]
Answer :
Sample Space for Die = [ 1,2,3,4,5,6]
‫ظهور‬ ‫احتمال‬A‫حال‬ ‫في‬B: ‫انه‬ ‫اي‬ ‫فعال‬ ‫موجود‬
‫بين‬ ‫المشتركة‬ ‫القيم‬A&B‫الـ‬ ‫فقط‬6= ‫اذن‬1
𝑷( 𝑨| 𝑩) =
𝑷(𝑨 ∩ 𝑩)
𝑷(𝑩)
‫الــ‬ ‫قيم‬ ‫كل‬B=1
𝑷( 𝑨| 𝑩) =
𝟏
𝟏
= 𝟏
‫بين‬ ‫المشتركة‬ ‫القيم‬B&A‫الـ‬ ‫فقط‬6= ‫اذن‬1
𝑷( 𝑩| 𝑨) =
𝑷(𝑩 ∩ 𝑨)
𝑷(𝑨)
‫الــ‬ ‫قيم‬ ‫كل‬A=3
𝑷( 𝑩| 𝑨) =
𝟏
𝟑
Example 2: A Coin is tossed 3 time find P(A|B) if :

8. 8
A= [ more than Head over Tail ]
B=[ First tossed Head ]
‫الحدث‬ ‫حصول‬ ‫احتمالية‬ ‫جد‬ ‫مرات‬ ‫ثالث‬ ‫رميت‬ ‫معدنية‬ ‫عملة‬A‫الحدث‬ ‫عندما‬B‫حدث‬
: ‫اذا‬ ‫فعال‬
‫انه‬ ‫علمت‬A‫الــ‬ ‫و‬ ) ‫(الكتابة‬ ‫الخلف‬ ‫من‬ ‫اكثر‬ ‫للعمله‬ ‫الوجه‬ ‫ظهور‬ ‫احتماليات‬ ‫هي‬B
. ‫االولى‬ ‫للرمية‬ ‫الوجة‬ ‫ظهور‬ ‫احتماليات‬ ‫هي‬
Answer:
A= [ HHH , HHT , HTH , THH]
B= [ HHH , HHT , HTH , HTT]
P(A|B) =
𝑷(𝑨∩𝑩)
𝑷( 𝑩)
=
𝟑
𝟒
3- Self-information:
‫ما‬ ‫متغير‬ ‫ظهور‬ ‫احتمالية‬ ‫في‬ ‫البتات‬ ‫عدد‬ ‫حساب‬ ‫عملية‬ ‫هي‬
: ‫لحسابها‬ ‫العام‬ ‫القانون‬
I(xi) = - log2 P(xi)
‫لالساس‬ ‫اللوغارتم‬ ‫اخذ‬ ‫هي‬ ‫اي‬2‫بتاته‬ ‫حساب‬ ‫المراد‬ ‫المتغير‬ ‫الحتمالية‬
‫المطلق‬ ‫الحد‬ ‫عمل‬ ‫عملها‬ ‫الناتج‬ ‫في‬ ‫تاخذ‬ ‫ال‬ ‫لكن‬ ‫القانون‬ ‫تسبق‬ ‫السالب‬ ‫اشارة‬
. ‫سالبة‬ ‫بتات‬ ‫اليوجد‬ ‫النه‬ ‫ظهر‬ ‫لو‬ ‫السالب‬ ‫اللغاء‬

9. 9
: ‫الصورة‬ ‫لتوضيح‬ ‫مثال‬
Example : Message of three variable P(x1) , P(x2) =
0.2
Find I(x2) , I(x3) ?
Answer :
I(xi) = - log2 P(xi) ‫العام‬ ‫القانون‬
‫احتمالية‬ ‫انه‬ ‫بما‬x2= ‫موجودة‬0.2
‫القانون‬ ‫تطبيق‬ ‫خالل‬ ‫من‬ ‫فيها‬ ‫البتات‬ ‫كمية‬ ‫ايجاد‬ ‫جدا‬ ‫السهل‬ ‫من‬ ‫اذن‬
: ‫كاالتي‬ ‫عليها‬ ‫العام‬
I(x2) = - log2 P(x2)
I(x2) = - log2 0.2
I(x2) = 2.32 bit / message
‫للمتغير‬ ‫البتات‬ ‫كمية‬ ‫ايجاد‬ ‫هو‬ ‫الثاني‬ ‫المطلوب‬x3‫احتمالية‬ ‫قيمة‬ ‫يعطي‬ ‫لم‬ ‫هنا‬ ‫نالحظ‬
‫على‬ ‫تماما‬ ‫يعتمد‬ ‫متغير‬ ‫الي‬ ‫البتات‬ ‫كمية‬ ‫حساب‬ ‫النه‬ ‫حسابها‬ ‫يجب‬ ‫اذن‬ ‫المتغير‬ ‫هذا‬
: ‫االتي‬ ‫لالحتمالية‬ ‫العام‬ ‫القانون‬ ‫على‬ ‫باالعتماد‬ ‫حسابها‬ ‫ويمكن‬ ‫ظهوره‬ ‫احتمالية‬
∑ 𝑷( 𝒙𝒊) = 𝟏
𝒏
𝒊=𝟏
= ‫ما‬ ‫متغير‬ ‫الي‬ ‫االحتماليات‬ ‫مجموع‬ ‫انه‬ ‫اي‬1‫ا‬ ‫وبما‬ ‫دائما‬‫احتماليات‬ ‫معلوم‬ ‫هنا‬ ‫نه‬
‫متغيرات‬ ‫ظهور‬x1, x2‫الــ‬ ‫ظهور‬ ‫احتمالية‬ ‫ايجاد‬ ‫السهل‬ ‫من‬ ‫اذن‬x3: ‫كاالتي‬

10. 10
P(x1) + P(x2) + P(x3) =1 ‫لالحتماليات‬ ‫العام‬ ‫القانون‬
0.2 + 0.2 + P(x3) =1
P(x3) = 1 – 0.2 – 0.2
P(x3) = 1 – 0.4
P(x3) = 0.6
‫المتغير‬ ‫ظهور‬ ‫احتمالية‬ ‫انه‬ ‫بما‬x3‫البتات‬ ‫عدد‬ ‫ايجاد‬ ‫السهل‬ ‫من‬ ‫االن‬ ‫معلومة‬ ‫اصبحت‬
: ‫له‬
I(x3) = - log2 P(x3)
I(x3) = - log2 0.6
I(x3) = 0.736 bit/message
4 – Entropy:
. ‫منقولة‬ ‫رسالة‬ ‫لكل‬ ‫البيانات‬ ‫كمية‬ ‫نقل‬ ‫معدل‬
: ‫والمستقبل‬ ‫للمرسل‬ ‫لحسابة‬ ‫العام‬ ‫القانون‬
1-( ‫للمرسل‬ ‫العام‬ ‫القانون‬Source Entropy)
𝑯( 𝑿) = − ∑ 𝑷( 𝑿𝒊) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝑿𝒊)
𝒏
𝒊=𝟏
2-( ‫للمستقبل‬ ‫العام‬ ‫القانون‬Recover Entropy)
𝑯( 𝒀) = − ∑ 𝑷( 𝒀𝒋) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝒀𝒋)
𝒎
𝒋=𝟏

11. 11
Note‫الظهور‬ ‫احتماليات‬ ‫ايجاد‬ ‫بعد‬ ‫المستلم‬ ‫او‬ ‫للمستقبل‬ ‫سواء‬ ‫االنتروبي‬ ‫يحسب‬ :
‫لها‬ ‫حسابه‬ ‫المراد‬ ‫للمتغيرات‬‫موضوع‬ ‫في‬ ‫سابقا‬ ‫حسابها‬ ‫طريقة‬ ‫ذكر‬ ‫تم‬ ‫والتي‬
‫تم‬ ‫المالحظة‬ ‫الهمية‬ ‫االحتماليات‬.‫التنويه‬
4.1: Entropy for equal probability:
: ‫متساويه‬ ‫هي‬ ‫االحتماليات‬ ‫كانت‬ ‫حال‬ ‫في‬ ‫لالنتروبي‬ ‫خاص‬ ‫قانون‬
H(X) = - log2 N
N : ‫دائما‬ ‫السؤال‬ ‫في‬ ‫ويعطى‬ ‫المتغيرات‬ ‫عدد‬ ‫هي‬
Example : We have 10 variable is equal probability ? find
H(X) .
: ‫الحالة‬ ‫بهذه‬ ‫الخاص‬ ‫االنتروبي‬ ‫قانون‬ ‫نستخدم‬ ‫اذن‬ ‫متساويه‬ ‫االحتمالية‬ ‫انه‬ ‫بما‬
H(X) = - log2 N ( N=10 ‫السؤال‬ ‫في‬ ‫معطى‬ )
H(X) = - log2 10
H(X) = 3.32 bit/message
4.2: Sourse Entropy Rate :
: ‫االتي‬ ‫بالقانون‬ ‫يحسب‬ ‫ما‬ ‫لمتغير‬ ‫البيانات‬ ‫نقل‬ ‫نسبة‬ ‫هي‬
𝑹( 𝒙) =
𝑯(𝒙)
𝝉̅
‫الــ‬ ‫انه‬ ‫علما‬𝛕̅‫االتي‬ ‫القانون‬ ‫من‬ ‫تحسب‬:
𝝉̅ = ∑ 𝑷( 𝒙𝒊) ∗ 𝝉̅𝒊
𝒏
𝒊=𝟏
‫حدوثها‬ ‫زمن‬ ‫في‬ ‫احتمالية‬ ‫اي‬ ‫ضرب‬ ‫حاصل‬ ‫مجموع‬ ‫هي‬ ‫انه‬ ‫اي‬.

12. 12
: ‫االنتروبي‬ ‫لموضوع‬ ‫الفكرة‬ ‫التمام‬ ‫مثال‬
Example: Message shown [ AAABBAACBC] if :
𝝉̅( 𝑨) = 𝝉̅(𝑩) = 0.1 , 𝝉̅( 𝑪) = 0.3μs Find :
1)Entropy
2)Self – information for I(A) , I(C)
3)Message Rate (Rx)
Answer :
1) Entropy
‫لها‬ ‫حسابه‬ ‫المراد‬ ‫المتغيرات‬ ‫ظهور‬ ‫احتماليات‬ ‫لدينا‬ ‫يكون‬ ‫ان‬ ‫يجب‬ ‫انه‬ ‫اتفقنا‬ ‫االنتروبي‬ ‫اليجاد‬
‫كل‬ ‫ظهور‬ ‫احتماليات‬ ‫يعطى‬ ‫ولم‬ ‫المتغيرات‬ ‫على‬ ‫المحتويه‬ ‫الرسالة‬ ‫معطى‬ ‫السؤال‬ ‫هذا‬ ‫في‬ ‫هنا‬
‫طول‬ ‫على‬ ‫الرسالة‬ ‫في‬ ‫المتغير‬ ‫تكرار‬ ‫مرات‬ ‫عدد‬ ‫تقسيم‬ ‫خالل‬ ‫من‬ ‫ايجاده‬ ‫يجب‬ ‫لذا‬ ‫فيها‬ ‫متغير‬
‫الرسا‬‫االولى‬ ‫الخطوة‬ ‫اذا‬ ‫فيها‬ ‫المرسله‬ ‫للمتغيرات‬ ‫الكلي‬ ‫العدد‬ ‫هو‬ ‫الرساله‬ ‫بطول‬ ‫واقصد‬ ‫بالكامل‬ ‫له‬
: ‫وكاالتي‬ ‫متغير‬ ‫لكل‬ ‫الظهور‬ ‫احتماليات‬ ‫ايجاد‬ ‫هي‬
P(A) =
𝟓
𝟏𝟎
= 𝟎. 𝟓
P(B) =
𝟑
𝟏𝟎
= 𝟎. 𝟑
P(C) =
𝟐
𝟏𝟎
= 𝟎. 𝟐
= ‫النتيحة‬ ‫تكون‬ ‫ان‬ ‫يجب‬ ‫االحتماليات‬ ‫جمع‬ ‫الحل‬ ‫من‬ ‫للتحقق‬1
‫في‬ ‫االحتماليات‬ ‫ضرب‬ ‫حاصل‬ ‫بجمع‬ ‫االن‬ ‫االنتروبي‬ ‫ايجاد‬ ‫السهل‬ ‫من‬ ‫االحتماليات‬ ‫ايجاد‬ ‫بعد‬
‫اساس‬ ‫اللوغارتم‬2‫وكاالتي‬ ‫االحتماليات‬ ‫لنفس‬

13. 13
: ‫لالنتروبي‬ ‫العام‬ ‫القانون‬
𝑯( 𝑿) = − ∑ 𝑷( 𝑿𝒊) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝑿𝒊)
𝒏
𝒊=𝟏
𝑯( 𝑿) = −[ 𝟎. 𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟓 + 𝟎. 𝟑 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟑 + 𝟎. 𝟐
∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟐]
𝑯( 𝑿) = −[ 𝟎. 𝟓 + 𝟎. 𝟓𝟐𝟏 + 𝟎. 𝟒𝟔𝟒]
= 𝟏. 𝟒𝟖𝟓 𝒃𝒊𝒕/𝒎𝒆𝒔𝒔𝒂𝒈𝒆
2) Self – information for I(A) , I(C)
‫مباشرة‬ ‫القانون‬ ‫نطبق‬ ‫متغير‬ ‫لكل‬ ‫موجودة‬ ‫االحتماليات‬ ‫انه‬ ‫بما‬
I(xi) = - log2 P(xi) ‫متغير‬ ‫الي‬ ‫البت‬ ‫اليجاد‬ ‫العام‬ ‫القانون‬
I(A) = -log2 *P(A) = -log2 0.5 = 1 bit/message
I(C) = -log2 *P(C) = -log2 0.2 = 2.32 bit/message
3) Message Rate (Rx) :
𝑹( 𝒙) =
𝑯(𝒙)
𝝉̅
H(X)‫ايجاد‬ ‫المطلوب‬ ‫السؤال‬ ‫في‬ ‫االول‬ ‫المطلب‬ ‫في‬ ‫استخراجه‬ ‫تم‬𝝉̅:‫كاالتي‬
𝝉̅ = ∑ 𝑷( 𝒙𝒊) ∗ 𝝉̅𝒊
𝒏
𝒊=𝟏
𝝉̅ = [ 0.5 * 0.1 + 0.3*0.1 + 0.2*0.3]
𝝉̅ = [0.05 + 0.03 + 0.06 ]
𝝉̅ = 0.14

14. 14
𝑹( 𝒙) =
𝟏. 𝟒𝟖𝟓
𝟎. 𝟏𝟒
= 𝟏𝟎. 𝟔𝟎𝟕 𝒃𝒊𝒕/𝒎𝒔
4. Joint Entropy:
‫انتروبي‬ ‫الجوينت‬ ‫بين‬ ‫االساسي‬ ‫الفرق‬ ‫المترابطة‬ ‫البيانات‬ ‫كمية‬ ‫نقل‬ ‫معدل‬
‫المتغيرات‬ ‫احتماليات‬ ‫من‬ ‫القيم‬ ‫تؤخذ‬ ‫القديم‬ ‫االنتروبي‬ ‫انه‬ ‫القديم‬ ‫واالنتروبي‬
‫اينتروبي‬ ‫الجوينت‬ ‫اما‬. ‫مباشرة‬ ‫الجوينت‬ ‫مصفوفة‬ ‫من‬ ‫قيمه‬ ‫تؤخذ‬
: ‫انتروبي‬ ‫للجوينت‬ ‫العام‬ ‫القانون‬
𝑯( 𝑿, 𝒀) = − ∑
𝒎
𝒋=𝟏
∑ 𝑷( 𝒙𝒊, 𝒚𝒋) ∗ 𝒍𝒐𝒈 𝟐
𝒏
𝒊=𝟏
𝑷( 𝒙𝒊, 𝒚𝒋)
5.Conditional Entropy:
‫انتروبي‬ ‫الجوينت‬ ‫على‬ ‫حسابه‬ ‫في‬ ‫يعتمد‬ ‫المشروطة‬ ‫البيانات‬ ‫نقل‬ ‫معدل‬
: ‫العام‬ ‫القانون‬
H(X|Y) = H(X,Y) – H(Y) ‫الكيفن‬ ‫ناقص‬ ‫انتروبي‬ ‫الجوينت‬
H(Y|X) = H(X,Y) – H(X)
6. Trans information:
: ‫االتي‬ ‫القانون‬ ‫من‬ ‫ويحسب‬ ‫البيانات‬ ‫ارسال‬ ‫معدل‬
I(X,Y) = H(X) – H(X|Y)

15. 15
I(X,Y) = H(Y) – H(Y|X)
‫مثال‬‫اخر‬: ‫الفكرة‬ ‫التمام‬
Example: The joint probability of a system is given by:
𝑷( 𝑿, 𝒀) = (
𝟎. 𝟓 𝟎. 𝟐𝟓
𝟎 𝟎. 𝟏𝟐𝟓
𝟎. 𝟎𝟔𝟐𝟓 𝟎. 𝟎𝟔𝟐𝟓
)
Find :
1- Marginal entropies H(Y)
2- Joint entropy H(x,y)
3- Conditional entropies H(x|y)
4- The transinformation I(x,y)
Answer:
1- Marginal entropies H(Y)
‫اعاله‬ ‫المعطاة‬ ‫الجوينت‬ ‫مصفوفة‬ ‫من‬ ‫اوال‬ ‫المتغيرات‬ ‫احتماليات‬ ‫استخراج‬ ‫يجب‬ ‫االنتروبي‬ ‫اليجاد‬
:
X1= 0.5 + 0.25 = 0.75
X2= 0 + 0.125 = 0.125
X3= 0.0625+0.0625= 0.125
P(X) = [ 0.75 0.125 0.125 ]
Y1= 0.5 + 0 + 0.0625 = 0.5625

16. 16
Y2= 0.25 + 0.125 + 0.0625 = 0.4375
P(Y) = [0.5625 0.4375 ]
‫والمستقبل‬ ‫للمرسل‬ ‫االنتروبي‬ ‫نجد‬ ‫االحتماليات‬ ‫استخراج‬ ‫بعد‬ ‫االن‬:Source Entropy
𝑯( 𝑿) = − ∑ 𝑷( 𝑿𝒊) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝑿𝒊)
𝒏
𝒊=𝟏
𝑯( 𝑿) = −[ 𝟎. 𝟕𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟕𝟓 + 𝟎. 𝟏𝟐𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟏𝟐𝟓 + 𝟎. 𝟏𝟐𝟓
∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟏𝟐𝟓]
𝑯( 𝑿) = −[ 𝟎. 𝟑𝟏𝟏 + 𝟎. 𝟑𝟕𝟓 + 𝟎. 𝟑𝟕𝟓] = 𝟏. 𝟎𝟔𝟏 𝒃𝒊𝒕/𝒎𝒆𝒔𝒔𝒂𝒈𝒆
𝑯( 𝒀) = − ∑ 𝑷( 𝒀𝒋) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝒀𝒋)
𝒏
𝒊=𝟏
𝑯( 𝒀) = −[ 𝟎. 𝟓𝟔𝟐𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟓𝟔𝟐𝟓 + 𝟎. 𝟒𝟑𝟕𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟒𝟑𝟕𝟓]
𝑯( 𝒀) = −[ 𝟎. 𝟒𝟔𝟔 + 𝟎. 𝟓𝟐𝟏] = 𝟎. 𝟗𝟖𝟕 𝒃𝒊𝒕/𝒎𝒆𝒔𝒔𝒂𝒈𝒆
2- Joint entropy :
‫قيم‬ ‫على‬ ‫انما‬ ‫االحتماليات‬ ‫على‬ ‫ليس‬ ‫القيم‬ ‫اخذ‬ ‫في‬ ‫االعتماد‬ ‫يتم‬ ‫جوينت‬ ‫االنتروبي‬ ‫اليجاد‬
: ‫كاالتي‬ ‫المعطاة‬ ‫المصفوفة‬
: ‫العام‬ ‫القانون‬
𝑯( 𝑿, 𝒀) = − ∑
𝒎
𝒋=𝟏
∑ 𝑷( 𝒙𝒊, 𝒚𝒋) ∗ 𝒍𝒐𝒈 𝟐
𝒏
𝒊=𝟏
𝑷( 𝒙𝒊, 𝒚𝒋)
𝑯( 𝑿, 𝒀) = −[ 𝟎. 𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟓 + 𝟎. 𝟐𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟐𝟓 + 𝟎. 𝟏𝟐𝟓
∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟏𝟐𝟓 + 𝟎. 𝟎𝟔𝟐𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟎𝟔𝟐𝟓 + 𝟎. 𝟎𝟔𝟐𝟓
∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟎𝟔𝟐𝟓]

17. 17
𝑯( 𝑿, 𝒀) = −[ 𝟎. 𝟓 + 𝟎. 𝟓 + 𝟎. 𝟑𝟕𝟓 + 𝟎. 𝟐𝟓 + 𝟎. 𝟐𝟓]
= 𝟏. 𝟖𝟕𝟓 𝒃𝒊𝒕/𝒔𝒚𝒎𝒃𝒐𝒍𝒔
3- Conditional entropies:
𝑯( 𝑿|𝒀) = 𝑯( 𝑿, 𝒀) − 𝑯( 𝒀)
𝑯( 𝑿|𝒀) = 𝟏. 𝟖𝟕𝟓 − 𝟎. 𝟗𝟖𝟕 = 𝟎. 𝟖𝟖𝟖 𝒃𝒊𝒕/𝒔𝒚𝒎𝒃𝒐𝒍
𝑯( 𝒀|𝑿) = 𝑯( 𝑿, 𝒀) − 𝑯( 𝑿)
𝑯( 𝒀|𝑿) = 𝟏. 𝟖𝟕𝟓 − 𝟏. 𝟎𝟔𝟏 = 𝟎. 𝟖𝟏𝟒 𝒃𝒊𝒕/𝒔𝒚𝒎𝒃𝒐𝒍
4- Transinformation
𝑰( 𝑿, 𝒀) = 𝑯( 𝑿) − 𝑯(𝑿|𝒀)
𝑰( 𝑿, 𝒀) = 𝟏. 𝟎𝟔𝟏 − 𝟎. 𝟖𝟖𝟖 = 𝟎. 𝟏𝟕𝟑 𝒃𝒊𝒕/𝒔𝒚𝒎𝒃𝒐𝒍

18. 18
: ‫االولى‬ ‫الملزمة‬ ‫قوانين‬ ‫خالصة‬
All laws of the chapter One
No: Subject Law
1- General
Probability Law ∑ 𝑷( 𝑿𝒊) = 𝟏
𝒏
𝒊=𝟏
P(x1) + P(x2) + P(x3) =1
2- Self- information I(xi) = - log2 P(xi)
3- Entropy H(X) = −∑ 𝑷( 𝒙𝒊) ∗ 𝒍𝒐𝒈 𝟐
𝒏
𝒊=𝟏 𝑷(𝒙𝒊)
4- Source Entropy
Rate 𝑹( 𝒙) =
𝑯(𝒙)
𝝉̅
5- Time of the rate
𝝉̅̅ = ∑ 𝑷( 𝒙𝒊) ∗ 𝝉̅( 𝒙𝒊)
𝒏
𝒊=𝟏
6- Mutual
𝑰(𝒙𝒊, 𝒚𝒋) =
𝑷(𝒙𝒊|𝒚𝒋)
𝑷( 𝒙𝒊) ∗ 𝑷(𝒚𝒋)
=
𝑷(𝒙𝒊 ∩ 𝒚𝒋)
𝑷( 𝒙𝒊) ∗ 𝑷(𝒚𝒋)
7- Joint Entropy
𝑯( 𝑿, 𝒀) = − ∑
𝒎
𝒋=𝟏
∑ 𝑷( 𝒙𝒊, 𝒚𝒋) ∗ 𝒍𝒐𝒈 𝟐
𝒏
𝒊=𝟏
𝑷( 𝒙𝒊, 𝒚𝒋)
8- Conditional
Entropy
𝑯( 𝑿|𝒀) = 𝑯( 𝑿, 𝒀) − 𝑯(𝒀)
𝑯( 𝒀|𝑿) = 𝑯( 𝑿, 𝒀) − 𝑯(𝑿)
9- Trans information 𝑰(𝑿, 𝒀) = 𝑯(𝑿) − 𝑯(𝑿|𝒀)
𝑰(𝑿, 𝒀) = 𝑯(𝒀) − 𝑯(𝒀|𝑿)

19. 19
‫امتحانية‬ ‫اسئلة‬ ‫حلول‬‫يو‬::‫مية‬
Q1/ An information source has the following table :
Symbol 𝑿𝟏 𝑿𝟐 𝑿𝟑 𝑿𝟒 𝑿𝟓 𝑿𝟔 𝑿𝟕
𝑷( 𝑿𝒊) 𝟎. 𝟏𝟓 𝟎. 𝟏 𝟎. 𝟎𝟑 𝟎. 𝟒 𝟎. 𝟎𝟐 𝟎. 𝟏 𝟎. 𝟐
𝝉̅( 𝑿𝒊) 𝒎𝒔 𝟏 𝟒 𝟐 𝟑 𝟏 𝟐 𝟐
Find :
1) Self – information of X1 , X4
2) Source entropy H(X)
3) Average information rate R(x)
Answer:
1) Self – information of X1 ,X4
I(X1) = -log2 P(X1)
I(X1) = -log2 0.15 = 2.736 bit/message
I(X4) = -log2 P(X4)
I(X4) = -log2 0.4 = 1.321 bit/message
2) Source entropy H(x)
𝑯( 𝑿) = − ∑ 𝑷( 𝑿𝒊) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝑿𝒊)
𝒏
𝒊=𝟏
𝑯( 𝑿) = −[ 𝟎. 𝟏𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟏𝟓 + 𝟎. 𝟏 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟏 + 𝟎. 𝟎𝟑 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟎𝟑 + 𝟎. 𝟒
∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟒 + 𝟎. 𝟎𝟐 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟎𝟐 + 𝟎. 𝟏 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟏 + 𝟎. 𝟐
∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟐]

20. 20
𝑯( 𝑿) = −[ 𝟎. 𝟒𝟏𝟏 + 𝟎. 𝟑𝟑𝟐 + 𝟎. 𝟏𝟓𝟏 + 𝟎. 𝟓𝟐𝟖 + 𝟎. 𝟏𝟏𝟐 + 𝟎. 𝟑𝟑𝟐 +
𝟎. 𝟒𝟔𝟒] = 2.33 bit/massage
3) Average information rate R(x)
𝑹( 𝒙) =
𝑯(𝒙)
𝝉̅
𝝉̅̅ = ∑ 𝑷( 𝒙𝒊) ∗ 𝝉̅( 𝒙𝒊)
𝒏
𝒊=𝟏
𝝉̅̅ = [ 𝟎. 𝟏𝟓 ∗ 𝟏 + 𝟎. 𝟏 ∗ 𝟒 + 𝟎. 𝟎𝟑 ∗ 𝟐 + 𝟎. 𝟒 ∗ 𝟑 + 𝟎. 𝟎𝟐 ∗ 𝟏 + 𝟎. 𝟏 ∗ 𝟐 + 𝟎. 𝟐
∗ 𝟐]
𝝉̅̅ = [ 𝟎. 𝟏𝟓 + 𝟎. 𝟒 + 𝟎. 𝟎𝟔 + 𝟏. 𝟐 + 𝟎. 𝟎𝟐 + 𝟎. 𝟐 + 𝟎. 𝟒] = 𝟐. 𝟒𝟑 𝒎𝒔
𝑹( 𝒙) =
𝟐. 𝟑𝟑
𝟐. 𝟒𝟑
= 𝟎. 𝟗𝟓𝟖 𝒃𝒊𝒕/𝒎𝒔
Q2/ Having the text (***#*$#$$##***&###$&)
Find:
a) The text probability :P(*),P(#),P($),P(&) and Entropy
H(X)
b) The self – information I($) and I(&) .
c) If 𝝉̅ (*) = 𝝉̅ (#) = 𝝉̅($) =0.1μs and 𝝉̅ (&)=0.2μs Calculate
average source entropy rate R(x) .

21. 21
Answer:
a)
P(*) =
𝟕
𝟐𝟎
= 0.35
P(#) =
𝟕
𝟐𝟎
= 0.35
P($) =
𝟒
𝟐𝟎
= 0.2
P(&)=
𝟐
𝟐𝟎
= 0.1
H(X) =-[ 0.35*log20.35 +
0.35*log20.35+0.2*log20.2+0.1*log20.1]
H(X) =-[0.530+0.530+0.464+0.322] = 1.846 bit/message
b)
I($) = -log2 P($)
I($) = -log2 0.2 = 2.321 bit/message
I(&) = -log2 P(&)
I(&) = -log2 0.1 = 3.321 bit/message
c)
𝑹( 𝒙) =
𝑯(𝒙)
𝝉̅
𝝉̅̅ = ∑ 𝑷( 𝒙𝒊) ∗ 𝝉̅( 𝒙𝒊)
𝒏
𝒊=𝟏
𝝉̅̅ = [ 𝟎. 𝟑𝟓 ∗ 𝟎. 𝟏 + 𝟎. 𝟑𝟓 ∗ 𝟎. 𝟏 + 𝟎. 𝟐 ∗ 𝟎. 𝟏 + 𝟎. 𝟏 ∗ 𝟎. 𝟐]
𝝉̅̅ = [ 𝟎. 𝟎𝟑𝟓 + 𝟎. 𝟎𝟑𝟓 + 𝟎. 𝟎𝟐 + 𝟎. 𝟎𝟐] = 𝟎. 𝟏𝟏𝒎𝒔

22. 22
𝑹( 𝒙) =
𝟏. 𝟖𝟒𝟔
𝟎. 𝟏𝟏
= 𝟏𝟔. 𝟕𝟖𝟏 𝒃𝒊𝒕/𝒎𝒔
Q4/ Example: The joint probability of a system is given by:
𝑷( 𝑿, 𝒀) = (
𝟎. 𝟎𝟔𝟐𝟓 𝟎. 𝟓
𝟎 𝟎. 𝟏𝟐𝟓
𝟎. 𝟐𝟓 𝟎. 𝟎𝟔𝟐𝟓
)
Find :
1-Marginal entropies H(Y)
2-Joint entropy H(x,y)
3-Conditional entropies H(x|y)
1- The transinformation I(x,y)
Answer:
1-Marginal entropies H(Y)
‫المعطاة‬ ‫الجوينت‬ ‫مصفوفة‬ ‫من‬ ‫اوال‬ ‫المتغيرات‬ ‫احتماليات‬ ‫استخراج‬ ‫يجب‬ ‫االنتروبي‬ ‫اليجاد‬
: ‫اعاله‬
X1=0.0625 + 0.5 = 0.5625
X2= 0 + 0.125 = 0.125
X3= 0.25+0.0625= 0.3125
P(X) = [ 0.5625 0.125 0.3125 ]
Y1= 0.0625 + 0 + 0.25 = 0.3125
Y2= 0.5 + 0.125 + 0.0625 = 0.6875
P(Y) = [0.3125 0.6875 ]

23. 23
: ‫والمستقبل‬ ‫للمرسل‬ ‫االنتروبي‬ ‫نجد‬ ‫االحتماليات‬ ‫استخراج‬ ‫بعد‬ ‫االن‬
𝑯( 𝑿) = − ∑ 𝑷( 𝑿𝒊) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝑿𝒊)
𝒏
𝒊=𝟏
𝑯( 𝑿) = −[ 𝟎. 𝟓𝟔𝟐𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟓𝟔𝟐𝟓 + 𝟎. 𝟏𝟐𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟏𝟐𝟓
+ 𝟎. 𝟑𝟏𝟐𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟑𝟏𝟐𝟓]
𝑯( 𝑿) = −[ 𝟎. 𝟒𝟔𝟔 + 𝟎. 𝟑𝟕𝟓 + 𝟎. 𝟓𝟐𝟒]
= 𝟏. 𝟑𝟔𝟓 𝒃𝒊𝒕/𝒎𝒆𝒔𝒔𝒂𝒈𝒆
𝑯( 𝒀) = − ∑ 𝑷( 𝒀𝒋) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝒀𝒋)
𝒏
𝒊=𝟏
𝑯( 𝒀) = −[ 𝟎. 𝟑𝟏𝟐𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟑𝟏𝟐𝟓 + 𝟎. 𝟔𝟖𝟕𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟔𝟖𝟕𝟓]
𝑯( 𝒀) = −[ 𝟎. 𝟓𝟐𝟒 + 𝟎. 𝟑𝟕𝟏] = 𝟎. 𝟖𝟗𝟓 𝒃𝒊𝒕/𝒎𝒆𝒔𝒔𝒂𝒈𝒆
2-Joint entropy :
‫على‬ ‫انما‬ ‫االحتماليات‬ ‫على‬ ‫ليس‬ ‫القيم‬ ‫اخذ‬ ‫في‬ ‫االعتماد‬ ‫يتم‬ ‫جوينت‬ ‫االنتروبي‬ ‫اليجاد‬
: ‫كاالتي‬ ‫المعطاة‬ ‫المصفوفة‬ ‫قيم‬
: ‫العام‬ ‫القانون‬
𝑯( 𝑿, 𝒀) = − ∑
𝒎
𝒋=𝟏
∑ 𝑷( 𝒙𝒊, 𝒚𝒋) ∗ 𝒍𝒐𝒈 𝟐
𝒏
𝒊=𝟏
𝑷( 𝒙𝒊, 𝒚𝒋)
𝑯( 𝑿, 𝒀) = −[ 𝟎. 𝟎𝟔𝟐𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟎𝟔𝟐𝟓 + 𝟎. 𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟓
+ 𝟎. 𝟏𝟐𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟏𝟐𝟓 + 𝟎. 𝟐𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟐𝟓
+ 𝟎. 𝟎𝟔𝟐𝟓 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟎𝟔𝟐𝟓]

24. 24
𝑯( 𝑿, 𝒀) = −[ 𝟎. 𝟐𝟓 + 𝟎. 𝟓 + 𝟎. 𝟑𝟕𝟓 + 𝟎. 𝟓 + 𝟎. 𝟐𝟓]
= 𝟏. 𝟖𝟕𝟓 𝒃𝒊𝒕/𝒔𝒚𝒎𝒃𝒐𝒍𝒔
3-Conditional entropies:
𝑯( 𝑿|𝒀) = 𝑯( 𝑿, 𝒀) − 𝑯( 𝒀)
𝑯( 𝑿|𝒀) = 𝟏. 𝟖𝟕𝟓 − 𝟎. 𝟖𝟗𝟓 = 𝟎. 𝟗𝟖 𝒃𝒊𝒕/𝒔𝒚𝒎𝒃𝒐𝒍
𝑯( 𝒀|𝑿) = 𝑯( 𝑿, 𝒀) − 𝑯( 𝑿)
𝑯( 𝒀|𝑿) = 𝟏. 𝟖𝟕𝟓 − 𝟏. 𝟑𝟔𝟓 = 𝟎. 𝟓𝟏 𝒃𝒊𝒕/𝒔𝒚𝒎𝒃𝒐𝒍
4-Trans information
𝑰( 𝑿, 𝒀) = 𝑯( 𝑿) − 𝑯(𝑿|𝒀)
𝑰( 𝑿, 𝒀) = 𝟏. 𝟑𝟔𝟓 − 𝟎. 𝟗𝟖 = 𝟎. 𝟑𝟖𝟓 𝒃𝒊𝒕/𝒔𝒚𝒎𝒃𝒐𝒍

25. 25
‫الثانية‬ ‫الملزمة‬ ‫ملخص‬
Chapter Two
Channel
‫المرسل‬ ‫نقطة‬ ‫من‬ ‫القناة‬ ‫عبر‬ ‫البيانات‬ ‫انتقال‬ ‫دراسة‬ ‫سنتاول‬ ‫الفصل‬ ‫هذا‬ ‫في‬
ٍ(Source( ‫المستلم‬ ‫نقطة‬ ‫الى‬ )Destination)‫على‬ ‫الجنل‬ ‫تاثير‬ ‫دراسة‬ ‫مع‬
‫المنتقلة‬ ‫البيانات‬
: ‫وهي‬ ‫دراستها‬ ‫سنتاول‬ ‫القنوات‬ ‫من‬ ‫انواع‬ ‫ثالث‬ ‫هناك‬
A) Binary Symmetric Channel (BSC)
B) Non symmetric Channel
C) Cascading of Channel
A) Binary Symmetric Channel
‫متماثلة‬ ‫تمثلها‬ ‫التي‬ ‫المصفوفة‬ ‫وتكون‬ ‫متماثل‬ ‫فيها‬ ‫البتات‬ ‫ارسال‬ ‫يكون‬ ‫النوع‬ ‫هذا‬ ‫في‬
‫الثاني‬ ‫للمتغير‬ ‫الواصلة‬ ‫البتات‬ ‫كمية‬ ‫بنفس‬ ‫تكون‬ ‫االول‬ ‫للمتغير‬ ‫الواصلة‬ ‫البتات‬ ‫انه‬ ‫اي‬
‫المنكسر‬ ‫الخطا‬ ‫البتات‬ ‫و‬‫المنكسرة‬ ‫البتات‬ ‫نفس‬ ‫الثاني‬ ‫المتغير‬ ‫نحو‬ ‫االول‬ ‫المتغير‬ ‫من‬ ‫ة‬
‫تر‬ ‫لذلك‬ ‫الثاني‬ ‫المتغير‬ ‫نحو‬ ‫الخطا‬. ‫المتماثله‬ ‫اي‬ ‫بالسمترك‬ ‫ى‬
: ‫السمترك‬ ‫مسائل‬ ‫في‬ ‫مهمه‬ ‫قوانين‬
1-: ‫السمترك‬ ‫مصفوفة‬ ‫من‬ ‫الجوينت‬ ‫مصفوفة‬ ‫تكوين‬ ‫قانون‬
𝑷(𝑿𝒊 , 𝒀𝒋) = 𝑷( 𝑿𝒊) ∗ 𝑷(𝒀𝒋|𝑿𝒊)

26. 26
‫ظهور‬ ‫احتماليات‬ ‫ضرب‬ ‫اي‬‫االحتماليات‬ ‫من‬ ‫االول‬ ‫الرقم‬ ‫السمترك‬ ‫مصفوفة‬ ‫كل‬ ‫في‬ ‫اكس‬ ‫المتغير‬
‫الناتجة‬ ‫المصفوفة‬ ‫السمترك‬ ‫من‬ ‫الثاني‬ ‫الصف‬ ‫مع‬ ‫الثاني‬ ‫الرقم‬ ‫و‬ ‫السمترك‬ ‫من‬ ‫االول‬ ‫الصف‬ ‫في‬
‫الفصل‬ ‫في‬ ‫وتناولناها‬ ‫سبق‬ ‫التي‬ ‫المواضيع‬ ‫كافة‬ ‫ايجاد‬ ‫في‬ ‫ستستخدم‬ ‫التي‬ ‫الجوينت‬ ‫مصفوفة‬ ‫هي‬
‫ش‬ ‫سؤال‬ ‫في‬ ‫مدمجة‬ ‫طلبت‬ ‫لو‬ ‫السابق‬‫ستوضح‬ ‫القادمة‬ ‫االمثلة‬ ‫جدا‬ ‫وارد‬ ‫وهذا‬ ‫معا‬ ‫للفصلين‬ ‫امل‬
. ‫اكثر‬ ‫الفكرة‬
2-‫الثابت‬ ‫حساب‬ ‫قانون‬K‫القناة‬ ‫سعة‬ ‫حساب‬ ‫عملية‬ ‫في‬ ‫ايجادة‬ ‫المهم‬
𝑲 = ∑ 𝑷(𝒀𝒋
𝒎
𝒋=𝟏
| 𝑿𝒊) ∗ 𝒍𝒐𝒈 𝟐 𝑷(𝒀𝒋|𝑿𝒊)
‫مباشرة‬ ‫السمترك‬ ‫مصفوفة‬ ‫من‬ ‫القانون‬ ‫هذا‬ ‫قيم‬ ‫تؤخذ‬‫منها‬ ‫قيمه‬ ‫كل‬ ‫مضروب‬ ‫جمع‬ ‫حاصل‬‫في‬
‫اساس‬ ‫اللوغارتم‬ ‫قيمه‬2‫لها‬‫الالحقة‬ ‫االمثلة‬ ‫في‬ ‫سنالحظ‬ ‫كما‬ ‫وهكذا‬
3-‫القناة‬ ‫سعة‬ ‫حساب‬ ‫قانون‬‫المتماثلة‬Symmetric Channel Capacity
: ‫االتي‬ ‫القانون‬ ‫نطبق‬ ‫البيانات‬ ‫نقل‬ ‫على‬ ‫القناة‬ ‫قدرة‬ ‫لحساب‬
C = Log2 m + K
K: ‫رقم‬ ‫القانون‬ ‫من‬ ‫حسابه‬ ‫تم‬ ‫ثابت‬2‫اعاله‬
M: ) ‫الواي‬ ‫عدد‬ ( ‫السمترك‬ ‫مصفوفة‬ ‫في‬ ‫االعمدة‬ ‫عدد‬ ‫وهي‬ ‫المستلم‬ ‫في‬ ‫المتغيرات‬ ‫عدد‬
4-‫القناة‬ ‫كفاءة‬ ‫حساب‬ ‫قانون‬Efficiency of Channel
: ‫االتي‬ ‫القانون‬ ‫نطبق‬ ‫القناة‬ ‫كفاءة‬ ‫لحساب‬
Ƞ =
𝑰(𝑿,𝒀)
𝑪
C: Capacity of Channel
I(X,Y)

27. 27
: ‫االتي‬ ‫القانون‬ ‫من‬ ‫تحسب‬
I(X,Y) = H(Y) + K
H(Y): Entropy Of Y
K: Constant ‫رقم‬ ‫قانون‬ ‫من‬ ‫حسابها‬ ‫تم‬3‫اعاله‬
5-‫التكرار‬Redundancy
‫الرقم‬ ‫من‬ ‫الكفاءة‬ ‫قيمه‬ ‫طرح‬ ‫االتي‬ ‫القانون‬ ‫من‬ ‫يحسب‬1‫كاالتي‬
R = 1 - Ƞ
: ‫الفكرة‬ ‫التمام‬ ‫امثلة‬
Example: For the binary symmetric channel (BSC) as shown
:
(
𝟎. 𝟕 𝟎. 𝟑
𝟎. 𝟑 𝟎. 𝟕
)
Find Capacity ? Given I(xi) = 2 bit/symbol
Answer:
C = Log2 m + K
M=2 ‫الواي‬ ‫عدد‬ ‫تمثل‬ ‫التي‬ ‫االعمدة‬ ‫عدد‬
K: ‫حسابه‬ ‫يجب‬ ‫ثابت‬
𝑲 = ∑ 𝑷(𝒀𝒋
𝒎
𝒋=𝟏
| 𝑿𝒊) ∗ 𝒍𝒐𝒈 𝟐 𝑷(𝒀𝒋|𝑿𝒊)
: ‫كاالتي‬ ‫متماثلة‬ ‫باعتبارها‬ ‫السمترك‬ ‫مصفوفة‬ ‫من‬ ‫واحد‬ ‫سطر‬ ‫قيم‬ ‫ناخذ‬ : ‫مالحظة‬
𝑲 = [ 𝟎. 𝟕 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟕 + 𝟎. 𝟑 ∗ 𝒍𝒐𝒈 𝟐 𝟎. 𝟑]
𝑲 = [− 𝟎. 𝟑𝟔𝟎 + (−𝟎. 𝟓𝟐𝟏)]

28. 28
𝑲 = −𝟎. 𝟖𝟖𝟏
C= log2 2 +(-0.881)
C= 1 – 0.881 = 0.119 bit/symbol
: ‫االتي‬ ‫القانون‬ ‫من‬ ‫المثال‬ ‫لهذا‬ ‫الجنل‬ ‫كفاءة‬ ‫لحساب‬
Ƞ =
𝑰(𝑿,𝒀)
𝑪
I(X,Y) = H(Y) + K
‫الــ‬ ‫لقيمه‬ ‫االنتروبي‬ ‫حساب‬ ‫االن‬ ‫يجب‬Y
‫شي‬ ‫اي‬ ‫منها‬ ‫حساب‬ ‫اليمكن‬ ‫للقناة‬ ‫فقط‬ ‫وهي‬ ‫السمترك‬ ‫مصفوفة‬ ‫فقط‬ ‫لدينا‬ ‫نالحظ‬ ‫لكن‬
‫مصفوفة‬ ‫توليد‬ ‫يتم‬ ‫االنتروبي‬ ‫لحساب‬ ‫الجوينت‬ ‫مصفوفة‬ ‫توفر‬ ‫من‬ ‫البد‬ ‫لذا‬ ‫البت‬ ‫يخص‬
‫رقم‬ ‫قانون‬ ‫من‬ ‫الجوينت‬1: ‫الجوينت‬ ‫مصفوفة‬ ‫توليد‬ ‫قانون‬ ‫اعاله‬
𝑷(𝑿𝒊 , 𝒀𝒋) = 𝑷( 𝑿𝒊) ∗ 𝑷(𝒀𝒋|𝑿𝒊)
‫لكن‬ ‫اكس‬ ‫المتغير‬ ‫ظهور‬ ‫احتمالية‬ ‫قيمه‬ ‫توفر‬ ‫عدم‬ ‫وهي‬ ‫جديدة‬ ‫عقبة‬ ‫االن‬ ‫نالحظ‬ ‫لكن‬
‫اكس‬ ‫المتغير‬ ‫بيانات‬ ‫قيمة‬ ‫معطى‬ ‫وهو‬ ‫اليها‬ ‫للوصول‬ ‫دليل‬ ‫خيط‬ ‫السؤال‬ ‫في‬ ‫معطى‬1
‫اكس‬ ‫المتغير‬ ‫ظهور‬ ‫احتمالية‬ ‫حساب‬ ‫ومنه‬ ‫ظهورة‬ ‫احتمالية‬ ‫سنجد‬ ‫منها‬2‫وبالتالي‬
‫اك‬ ‫المتغير‬ ‫احتمالية‬‫يلي‬ ‫كما‬ ‫الجوينت‬ ‫اليجاد‬ ‫السمترك‬ ‫مصفوفة‬ ‫في‬ ‫ستضرب‬ ‫التي‬ ‫س‬
:
I(x1) = 2 bit/symbol ( Given)
I(x1) = -log2 P(x1)
2 = - log2 P(x1)
P(x1) =
𝟏
𝟐 𝟐 =
𝟏
𝟒
= 0.25
0.9

29. 29
P(x2) = 1 – 0.25 = 0.75
P(X) = [ 0.25 0.75 ]
P(X,Y) = P(X)*P(Y|X)
P(X,Y) = [0.25 0.75]*[
𝟎. 𝟕 𝟎. 𝟑
𝟎. 𝟑 𝟎. 𝟕
] = (
𝟎. 𝟏𝟕𝟓 𝟎. 𝟎𝟕𝟓
𝟎. 𝟐𝟐𝟓 𝟎. 𝟓𝟐𝟓
)
‫للواي‬ ‫االول‬ ‫العمود‬ ‫بجمع‬ ‫يلي‬ ‫كما‬ ‫الواي‬ ‫قيم‬ ‫حساب‬ ‫يتم‬ ‫منها‬ ‫اعاله‬ ‫الجوينت‬ ‫مصفوفة‬ ‫توليد‬ ‫بعد‬1‫و‬
‫للواي‬ ‫الثاني‬ ‫العمود‬2
Y1 = 0.175 + 0.225 = 0.4
Y2= 0.075 + 0.525 = 0.6
P(Y) = [ 0.4 0.6]
‫قيمه‬ ‫اليجاد‬ ‫قيمتها‬ ‫نعوض‬ ‫ثم‬ ‫للواي‬ ‫االنتروبي‬ ‫قيمة‬ ‫نجد‬ ‫االن‬I(x,y): ‫كاالتي‬
H(Y) = - [ 0.4 * Log2 0.4 + 0.6* Log2 0.6 ]
H(Y) = - [ 0.528 + 0.442] = 0.97 bit/symbol
I(x,y) = H(X) + K
I(x,y) = 0.97 + (- 0.881)
I(x,y) = 0.97 - 0.881 = 0.089 bit/symbol
Ƞ =
𝑰(𝑿,𝒀)
𝑪
Ƞ =
𝟎.𝟎𝟖𝟗
𝟎.𝟏𝟏𝟗
= 𝟎. 𝟕𝟒𝟕 𝒐𝒓 (𝟎. 𝟕𝟒𝟕 ∗ 𝟏𝟎𝟎% = 𝟕𝟕. 𝟒%
‫مصفوفة‬
‫الجوينت‬

30. 30
R = 1 - Ƞ
R = 1 – 0.747 = 0.253
Example2/ For BSC error of x1=0.1 and I(x2) =2 bit/sample
find the Capacity and Efficiency and Redundancy for this
Channel?
Answer :
Draw Model for this channel
: ‫هي‬ ‫السمترك‬ ‫القناة‬ ‫مصفوفة‬ ‫اذن‬
𝐏( 𝐘| 𝐗) = [
𝟎. 𝟗 𝟎. 𝟏
𝟎. 𝟏 𝟎. 𝟗
]
C = log2 m + K
K=∑ 𝑷( 𝒀| 𝑿) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝒀| 𝑿)
K= [ 0.9 * log2 0.9 + 0.1* log20.1 ]
K= [ -0.136 + (-0.332)] = -0.136 – 0.332 = - 0.468
C= log2 2 +(-0.468)
C= 1 – 0.468
C= 0.532 bit/symbol
X1 Y1
Y2
0.9
X2
0.9

31. 31
2) Efficiency
Ƞ =
𝑰(𝒙,𝒚)
𝑪
*I(x,y) = H(Y) + K
‫اليجاد‬ /*H(Y)‫منها‬ ‫يستخرج‬ ‫االنتروبي‬ ‫النه‬ ‫الجوينت‬ ‫مصفوفة‬ ‫استخراج‬ ‫يجب‬‫تستخرج‬
: ‫التالي‬ ‫القانون‬ ‫من‬ ‫الجوينت‬ ‫مصفوفة‬
P(X,Y) = P(X) * P(Y|X)
: ‫مالحظة‬P(YX)‫الحل‬ ‫اول‬ ‫من‬ ‫مستخرجة‬ ‫هي‬ ‫اذن‬ ‫السمترك‬ ‫مصفوفة‬ ‫هي‬
( ‫الـ‬ ‫قيم‬ ‫ظهور‬ ‫احتماليات‬ ‫استخراج‬ ‫يجب‬X‫لمعرفة‬ )P(X)‫منها‬ ‫واحدة‬ ‫معرفة‬ ‫االقل‬ ‫على‬ ‫او‬
= ‫هي‬ ‫االحتماليات‬ ‫مجموع‬ ‫انه‬ ‫االحتماليه‬ ‫قانون‬ ‫وفق‬ ‫النه‬1‫االخرى‬ ‫القيمه‬ ‫استخراج‬ ‫ممكن‬
( ‫قيمه‬ ‫بيانات‬ ‫قيمه‬ ‫معطى‬ ‫السؤال‬ ‫هذا‬ ‫في‬X2‫معرفة‬ ‫ومنها‬ ‫احتماليتها‬ ‫استخراج‬ ‫ممكن‬ ‫منها‬ )
‫وبالتالي‬ ‫االخرى‬ ‫االكس‬ ‫قيمه‬P(X): ‫وكاالتي‬
I(x2) = -log2 P(x2)
2 = -log2 P(x2)
P(x2) =
𝟏
𝟐 𝟐 =
𝟏
𝟒
= 0.25( ‫اللوغارتمات‬ ‫)قوانين‬
P(x1)= 1 – 0.25 = 0.75
P(X) = [ 0.75 0.25 ]
P(Y|X) = [ 0.75 0.25 ] * [
𝟎. 𝟗 𝟎. 𝟏
𝟎. 𝟏 𝟎. 𝟗
] =
[
𝟎. 𝟔𝟕𝟓 𝟎. 𝟎𝟕𝟓
𝟎. 𝟎𝟐𝟓 𝟎. 𝟐𝟐𝟓
]

32. 32
P(Y) = [ 0.7 0.3 ]
H(Y) = − ∑ 𝑷( 𝒀𝒋) ∗ 𝒍𝒐𝒈 𝟐
𝒎
𝒋=𝟏 𝑷( 𝒀𝒋)
H(Y) = - [ 0.7 *log2 0.7 + 0.3 *log2 0.3 ]
H(Y) = 0.360 + 0.521 = 0.881 bit/symbol
I(x,y) = H(Y) + K
I(x,y) = 0.881 +(- 0.468) = 0.413 bit/symbol
Ƞ =
𝟎.𝟒𝟏𝟑
𝟎.𝟓𝟑𝟐
Ƞ = 𝟎. 𝟕𝟕𝟔 𝒐𝒓 ( 𝟎. 𝟕𝟕𝟔 ∗ 𝟏𝟎𝟎% = 𝟕𝟕. 𝟔%)
Redundancy :
R= 1 – ƞ
R = 1 – 0.776 = 0.224

33. 33
1- Cascading Of Channel
‫متوالي‬ ‫او‬ ‫متعاقب‬ ‫بشكل‬ ‫مربوطتين‬ ‫قناتين‬ ‫يعطى‬ ‫النوع‬ ‫هذا‬ ‫في‬‫بيانات‬ ‫يرسل‬ ‫مصدر‬ ‫انه‬ ‫اي‬
‫البيانات‬ ‫استالمه‬ ‫بعد‬ ‫بدورة‬ ‫هو‬ ‫يلعب‬ ‫اي‬ ‫اخر‬ ‫لمستلم‬ ‫اخرى‬ ‫مرة‬ ‫بيناته‬ ‫يرسل‬ ‫هذا‬ ‫المستلم‬ ‫لمستلم‬
‫الـــ‬ ‫او‬ ‫بالمتعاقب‬ ‫يدعى‬ ‫الشكل‬ ‫هذا‬ ‫اخر‬ ‫مستلم‬ ‫الى‬ ‫بيناته‬ ‫يرسل‬ ‫كمصدر‬ ‫االول‬ ‫المصدر‬ ‫من‬
Cascade
‫االول‬ ‫الحالة‬ ‫قيم‬ ‫ضرب‬ ‫خالل‬ ‫من‬ ‫النوع‬ ‫هذا‬ ‫مصفوفة‬ ‫اليجاد‬‫مع‬ ‫يضرب‬ ‫والناتج‬ ‫الثانية‬ ‫مع‬ ‫ى‬
‫سنالحظ‬ ‫وكما‬ ‫سمترك‬ ‫غير‬ ‫او‬ ‫سمترك‬ ‫تكون‬ ‫قد‬ ‫التي‬ ‫النهائية‬ ‫المصفوقة‬ ‫هي‬ ‫النهائي‬ ‫الناتج‬ ‫الثالثة‬
‫حسب‬ ‫على‬ ‫الناتجة‬ ‫المصفوفة‬ ‫مع‬ ‫التعامل‬ ‫يمكن‬ ‫النهائية‬ ‫المصفوفة‬ ‫ايجاد‬ ‫وبعد‬ ‫التالي‬ ‫المثال‬ ‫في‬
‫اي‬ ‫مثال‬ ‫كل‬ ‫في‬ ‫مطلوب‬ ‫ما‬ ‫وحسب‬ ‫نوع‬ ‫كل‬ ‫قوانين‬ ‫وحسب‬ ‫نوعها‬‫المصفوفة‬ ‫ايجاد‬ ‫بعد‬ ‫الحل‬
‫الناتجة‬ ‫الحاله‬ ‫حسب‬ ‫السابقتين‬ ‫الحالتين‬ ‫في‬ ‫نفسه‬ ‫سيكون‬ ‫النهائية‬
: ‫مثال‬
: ‫التالي‬ ‫النظام‬ ‫لدينا‬ ‫كان‬ ‫لو‬
𝑷( 𝒀| 𝑿) = [
𝟎. 𝟖 𝟎. 𝟐
𝟎. 𝟐 𝟎. 𝟖
] ∗ 𝑷( 𝒁| 𝒀)
𝑷( 𝒀| 𝑿) = [
𝟎. 𝟖 𝟎. 𝟐
𝟎. 𝟐 𝟎. 𝟖
] ∗ [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟒 𝟎. 𝟔
] = 𝑷(𝒁|𝒀)
𝑷( 𝒁| 𝑿) = [
𝟎. 𝟖 ∗ 𝟎. 𝟔 + 𝟎. 𝟐 ∗ 𝟎. 𝟒 𝟎. 𝟖 ∗ 𝟎. 𝟒 + 𝟎. 𝟐 ∗ 𝟎. 𝟔
𝟎. 𝟐 ∗ 𝟎. 𝟔 + 𝟎. 𝟖 ∗ 𝟎. 𝟒 𝟎. 𝟐 ∗ 𝟎. 𝟒 + 𝟎. 𝟖 ∗ 𝟎. 𝟔
] = (
𝟎. 𝟓𝟔 𝟎. 𝟒𝟒
𝟎. 𝟒𝟒 𝟎. 𝟓𝟔
)
‫عمود‬ * ‫صف‬ ‫يكون‬ ‫الظرب‬ ‫مالحظة‬
Y1
X2
X1
Y2
Z1
Z2
0.8
0.8
0.6
0.6

34. 34
‫الفكرة‬ ‫التمام‬ ‫مثال‬::: :::
Q/ Two BSC is cascaded as shown:
X1 Y1 Z1
Z2Y2X2
Find:
1- The resultant channel matrix , then draw the final
model
2- Find the channel Capacity
‫للقناة‬ ‫النهائي‬ ‫الموديل‬ ‫ايجاد‬ ‫هي‬ ‫الحل‬ ‫من‬ ‫االولى‬ ‫الخطوة‬‫متتالية‬ ‫تعتبر‬ ‫قنوات‬ ‫هكذا‬ ‫مثل‬ ‫النه‬
‫الموديل‬ ‫ايجاد‬ ‫يجب‬ ‫لذلك‬ ‫اخرى‬ ‫لنقطة‬ ‫البداية‬ ‫تعتبر‬ ‫بنقطة‬ ‫تنتهي‬ ‫بداية‬ ‫نقطة‬ ‫وكل‬ ‫مستمرة‬
:‫مايلي‬ ‫حسب‬ ‫يتم‬ ‫وذلك‬ ‫البداية‬ ‫نقطة‬ ‫مع‬ ‫نقطة‬ ‫اخر‬ ‫بين‬ ‫العالقة‬ ‫يمثل‬ ‫الذي‬ ‫النهائي‬
1-‫تمثل‬ ‫التي‬ ‫المصفوفة‬ ‫ايجاد‬P(Y|X)
2-‫تمثل‬ ‫التي‬ ‫المصفوفة‬ ‫ايجاد‬P(Z|Y)
3-‫النهائي‬ ‫الموديل‬ ‫تمثل‬ ‫التي‬ ‫النهائية‬ ‫المصفوفة‬P(Z|X): ‫االتي‬ ‫من‬ ‫وتستخرج‬
P(Z|X) = P(Y|X) * P(Z|Y)
‫الضرب‬ ‫ذكرنا‬ ‫وكما‬: ‫كاالتي‬ ) ‫عمود‬ * ‫صف‬ ( ‫يكون‬
: ‫انه‬ ‫بما‬
P(Y|X) = [
𝟎. 𝟏 𝟎. 𝟗
𝟎. 𝟗 𝟎. 𝟏
] & P(Z|Y) =[
𝟎. 𝟑 𝟎. 𝟕
𝟎. 𝟕 𝟎. 𝟑
]
0.3
0.1
0.1 0.3

35. 35
: ‫هي‬ ‫النهائية‬ ‫المصفوفة‬ ‫اذن‬
P(Z|X) = P(Y|X) * P(Z|Y)
P(Z|X) = [
𝟎. 𝟏 𝟎. 𝟗
𝟎. 𝟗 𝟎. 𝟏
]* [
𝟎. 𝟑 𝟎. 𝟕
𝟎. 𝟕 𝟎. 𝟑
]
P(Z|X)=[
𝟎. 𝟏 ∗ 𝟎. 𝟑 + 𝟎. 𝟗 ∗ 𝟎. 𝟕 𝟎. 𝟏 ∗ 𝟎. 𝟕 + 𝟎. 𝟗 ∗ 𝟎. 𝟑
𝟎. 𝟗 ∗ 𝟎. 𝟑 + 𝟎. 𝟏 ∗ 𝟎. 𝟕 𝟎. 𝟗 ∗ 𝟎. 𝟕 + 𝟎. 𝟏 ∗ 𝟎. 𝟑
]=
[
𝟎. 𝟔𝟔 𝟎. 𝟑𝟒
𝟎. 𝟑𝟒 𝟎. 𝟔𝟔
]
: ‫هو‬ ‫النهائي‬ ‫الموديل‬ ‫اذن‬
Final Model :
P(Z|X) = [
𝟎. 𝟔𝟔 𝟎. 𝟑𝟒
𝟎. 𝟑𝟒 𝟎. 𝟔𝟔
]
X1 Z1
X2 Z2
2) Channel Capacity:
: ‫االتي‬ ‫القانون‬ ‫من‬ ‫تستخرج‬ ‫السعة‬ ‫فان‬ ‫السمترك‬ ‫النوع‬ ‫من‬ ‫هي‬ ‫الناتجة‬ ‫القناة‬ ‫انه‬ ‫بما‬
C= Log2 m + K
K = ∑ 𝑷( 𝒁| 𝑿) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝒁| 𝑿) ‫النهائية‬ ‫السمترك‬ ‫مصفوفة‬ ‫من‬ ‫القيم‬ ‫توخذ‬
K = [ 0.66 log2 0.66 + 0.34 log2 0.34 ]
K = [ -0.3956 + (-0.5292) ]
K = [-0.3956 – 0.5292 ]
K= - 0.9248
0.66
0.66

36. 36
: ‫هي‬ ‫للقناة‬ ‫النهائية‬ ‫السعة‬ ‫اذن‬
C = log2 m + K
M=2‫الــ‬ ‫قيم‬ ‫بعدد‬Y) ‫السمترك‬ ‫مصفوفة‬ ‫في‬ ‫االعمدة‬ ‫(عدد‬ ‫النظام‬ ‫في‬
C = log2 2 + (- 0.9248)
C = 1 – 0.9248
C = 0.0752 bit/symbol
: ‫مالحظة‬‫تم‬ ‫النهائية‬ ‫المصفوفة‬ ‫انه‬ ‫باعتبار‬ ‫اخرى‬ ‫مطاليب‬ ‫السؤال‬ ‫في‬ ‫يطلب‬ ‫ممكن‬
‫التطرق‬ ‫تم‬ ‫التي‬ ‫الطرق‬ ‫بنفس‬ ‫السابقة‬ ‫المطاليب‬ ‫من‬ ‫اي‬ ‫نجد‬ ‫ممكن‬ ‫منها‬ ‫استخراجها‬
( ‫التكرارات‬ ‫ايجاد‬ ‫او‬ ‫القناة‬ ‫كفاءة‬ ‫مثال‬ ‫السمترك‬ ‫موضوع‬ ‫في‬ ‫لها‬R‫مطاليب‬ ‫حتى‬ ‫او‬ )
‫كما‬ ‫بالحل‬ ‫التدرج‬ ‫ثم‬ ‫النهائية‬ ‫المصفوفة‬ ‫من‬ ‫الجوينت‬ ‫مصفوفة‬ ‫بايجاد‬ ‫االول‬ ‫الفصل‬
. ‫سابقا‬ ‫تعلمنا‬

37. 37
‫أسئلة‬::‫اليومية‬ ‫االمتحامات‬
Q1/ Answer A or B :
A)Given a binary symmetric channel with transmission matrix shown
below determine the channel capacity , channel efficiency and
redundancy , If P(x1 = 0.4 ) with channel P(y|x) = [
𝟎. 𝟒 𝟎. 𝟔
𝟎. 𝟔 𝟎. 𝟒
]
Answer:
1) Channel capacity
C = Log2 m + K
𝑲 = ∑ 𝑷(𝒀𝒋
𝒎
𝒋=𝟏
|𝑿𝒊) ∗ 𝒍𝒐𝒈 𝟐 𝑷(𝒀𝒋|𝑿𝒊)
K = [ 0.4 log2 (0.4) + 0.6 log2(0.6) ]
K= [- 0.5287 + (- 0.4421)]
K= [ -0.5287-0.4421 ]
K= -0.9708
C= log2 (2) + (-0.9708)
C = 1 – 0.9708 = 0.0292 bit/symbol
2) Channel efficiency
Ƞ =
𝑰(𝑿,𝒀)
𝑪
I(X,Y) = H(Y) + K
: ‫للواي‬ ‫االنتروبي‬ ‫قمية‬ ‫الستخراج‬ ‫الجوينت‬ ‫حساب‬ ‫يجب‬
‫الجوينت‬ ‫مصفوفة‬ ‫حساب‬ ‫قانون‬
𝑷(𝑿𝒊 , 𝒀𝒋) = 𝑷( 𝑿𝒊) ∗ 𝑷(𝒀𝒋|𝑿𝒊)
X1
X2
Y1
Y2
0.4
0.4

38. 38
P(x1) = 0.4
P(x1) + P(x2) = 1
0.4 + P(x2) = 1
P(x2) = 1 – 0.4
P(x2) = 0.6
P(x) = [ 0.4 0.6]
P(x,y) = [ 0.4 0.6] * [
𝟎. 𝟒 𝟎. 𝟔
𝟎. 𝟔 𝟎. 𝟒
] = [
𝟎. 𝟏𝟔 𝟎. 𝟐𝟒
𝟎. 𝟑𝟔 𝟎. 𝟐𝟒
]
Y1 = 0.16 + 0.36 = 0.52
Y2 = 0.24 + 0.24 = 0.48
P(Y) = [ 0.52 0.48]
𝑯( 𝒀) = − ∑ 𝑷( 𝒀𝒋) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝒀𝒋)
𝒏
𝒊=𝟏
H(Y) = - [ 0.52 log2(0.52) + 0.48 log2(0.48) ]
H(Y) = - [ 0.4905 +0.5082 ] = 0.9987 bit/symbol
I(x,y) = H(Y) + K
I(x,y) = 0.9987 + (-0.9708) = 0.0279 bit/symbol
Ƞ =
𝑰(𝑿,𝒀)
𝑪
=
𝟎.𝟎𝟐𝟕𝟗
𝟎.𝟎𝟐𝟗𝟐
* 100% = 0.9554*100% = 95.5479%
3) Redundancy
R= 1- Ƞ
R= 1- Ƞ = 1- 0.9554 = 0.0446 = 4.46%

39. 39
Q1/B) A binary symmetric channel with error probability of (x2=0.2) if
P(x1)=0.4 , Find the channel Capacity and channel efficiency .
𝐏( 𝐘| 𝐗) = [
𝟎. 𝟖 𝟎. 𝟐
𝟎. 𝟐 𝟎. 𝟖
]
P(x1) = 0.4 (given )
P(x1) + P(x2) = 1
0.4 + P(x2) = 1
P(x2) = 1 – 0.4 = 0.6
P(X) = [ 0.4 0.6 ]
(‫الــ‬ ‫احتماليات‬ ‫قيم‬ ‫لحساب‬Y: ‫االتي‬ ‫القانون‬ ‫من‬ ‫الجوينت‬ ‫مصفزفة‬ ‫استخراج‬ ‫يجب‬ )
P(X,Y) = P(X) * P(Y|X)
P(X,Y) = [ 0.4 0.6] * [
𝟎. 𝟖 𝟎. 𝟐
𝟎. 𝟐 𝟎. 𝟖
]= [
𝟎. 𝟑𝟐 𝟎. 𝟎𝟖
𝟎. 𝟏𝟐 𝟎. 𝟒𝟖
]
Y1 = 0.32 + 0.12 = 0.44
Y2 = 0.08 + 0.48 = 0.56
P(Y) = [ 0.44 0.56 ]
X1
X2
Y1
Y2
0.8
0.8

40. 40
1) Channel capacity
C = log2 m + K
K=∑ 𝑷( 𝒀| 𝑿) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝒀| 𝑿)
K = [ 0.8 log2(0.8) + 0.2 log2(0.2) ] = [ - 0.2575 + ( - 0.4643 ) ] = - 0.7218
C = log2 m + K
C = log2 2 + (-0.7218)
C = 1 – 0.7218
C = 0.2782 bit/symbol
2) Efficiency
Ƞ =
𝑰(𝒙,𝒚)
𝑪
I(x,y) = H(Y) + K
H(Y) = − ∑ 𝑷( 𝒀𝒋) ∗ 𝒍𝒐𝒈 𝟐
𝒎
𝒋=𝟏 𝑷( 𝒀𝒋)
H(Y) = - [ 0.44 log2 (0.44) + 0.56 log2 (0.56)] = -[0.5211 + 0.4684]
H(Y) = 0.9895bit/symbol
I(x,y) = H(Y) + K
I(x,y) = 0.9895 + (-0.7218) = 0.2677 bit/symbol
Ƞ =
𝑰(𝒙,𝒚)
𝑪
=
𝟎.𝟐𝟔𝟕𝟕
𝟎.𝟐𝟕𝟖𝟐
*100% = 0.9622 *100% = 96.2257%

41. 41
Q2/ For the following cascaded binary symmetric channel find channel capacity for
each channel and for the final cascaded channel, and draw the final channel model.
X1 Y1 Z1
X2 Y2 Z2
P(Y|X) = [
𝟎. 𝟕𝟓 𝟎. 𝟐𝟓
𝟎. 𝟐𝟓 𝟎. 𝟕𝟓
]
C = log2 m + K
K = ∑ 𝑷( 𝒀| 𝑿) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝒀| 𝑿)
K = [ 0.75 log2 (0.75) + 0.25 log2 (0.25) ] = [ - 0.3112 + (-0.5) ] = - 0.8112
C = log2 2 + (-0.8112) = 1- 0.8112 = 0.1888 bit/symbol
P(Z|Y) = [
𝟎. 𝟒𝟓 𝟎. 𝟓𝟓
𝟎. 𝟓𝟓 𝟎. 𝟒𝟓
]
C = log2 m + K
K = ∑ 𝑷( 𝒀| 𝑿) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝒀| 𝑿)
K = [ 0.45 log2 (0.45) + 0.55 log2 (0.55) ] = [ - 0.5184 + (-0.4743) ] = - 0.9927
C = log2 2 + (-0.9927) = 1- 0.9927= 0.0073 bit/symbol
0.75 0.45
0.75 0.45

42. 42
P(Z|X) = P(Y|X) * P(Z|Y)
P(Z|X) = [
𝟎. 𝟕𝟓 𝟎. 𝟐𝟓
𝟎. 𝟐𝟓 𝟎. 𝟕𝟓
] * [
𝟎. 𝟒𝟓 𝟎. 𝟓𝟓
𝟎. 𝟓𝟓 𝟎. 𝟒𝟓
]
P(Z|X) = [
𝟎. 𝟕𝟓 ∗ 𝟎. 𝟒𝟓 + 𝟎. 𝟐𝟓 ∗ 𝟎. 𝟓𝟓 𝟎. 𝟕𝟓 ∗ 𝟎. 𝟓𝟓 + 𝟎. 𝟐𝟓 ∗ 𝟎. 𝟒𝟓
𝟎. 𝟐𝟓 ∗ 𝟎. 𝟒𝟓 + 𝟎. 𝟕𝟓 ∗ 𝟎. 𝟓𝟓 𝟎. 𝟐𝟓 ∗ 𝟎. 𝟓𝟓 + 𝟎. 𝟕𝟓 ∗ 𝟎. 𝟒𝟓
]
P(Z|X) = [
𝟎. 𝟒𝟕𝟓 𝟎. 𝟓𝟐𝟓
𝟎. 𝟓𝟐𝟓 𝟎. 𝟒𝟕𝟓
]
C = log2 m + K
K = ∑ 𝑷( 𝒀| 𝑿) ∗ 𝒍𝒐𝒈 𝟐 𝑷( 𝒀| 𝑿)
K = [ 0.475 log2 (0.475) + 0.525 log2 (0.525) ] = [ - 0.5101 + (-0.4880) ] = - 0.9981
C = log2 2 + (-0.9981) = 1- 0.9981= 0.0019 bit/symbol
X1
X2
Z1
Z2
0.475
0.475