Dokumen tersebut membahas tentang regresi linier berganda dan ridge regression. Regresi linier berganda digunakan untuk memodelkan hubungan antara variabel respons dengan beberapa variabel bebas. Ridge regression digunakan untuk mengatasi masalah multikolinearitas pada regresi linier berganda."

3. REGRESI LINEAR GANDA
MKT Memenuhi
Asumsi
MULTICOLINEAR
RAKU

4. LANDASAN TEORI
• Analisis Regresi Linear Berganda
Y   0   1 X 1   2 X 2  .......   p X p  
y  X  
 Hipotesis
H 0 :  j  0 artinya koefisien ke-j tidak signifikan atau variable bebas ke-j tidak
berpengaruh nyata terhadap Y.
H 0 :  j  0 artinya koefisien ke-j signifikan atau variable bebas ke-j berpengaruh
nyata terhadap Y.
ˆ
t hit (  j )  t ( n  p 1 ); / 2 , Tolak H0

5.  MULTICOLINEARITAS
Kondisi dimana terdapat korelasi antara variabel-variabel bebas.
 AKIBAT
1. Koefisien regresi dugaan tidak nyata walaupun nilai R2-nya tinggi.
2. Nilai dugaan koefisien regresi sangat sensitive terhadap perubahan data.
3. Dengan MKT, simpangan baku koefisien regresi dugaan sangat besar.
 METODE PENDETEKSIAN
1. Metode Informal dapat dilakukan dengan melihat matriks korelasi.
2. Metode Formal, dengan melihat faktor inflasi ragam ( FIR )

6. • VIF ( Faktor Inflasi Ragam )
1
VIF i 
1  Ri
2
2
R i  Adalah koefisien determinasi dari regresi variabel bebas ke-i
VIF i  10 Indikasi Multikolinearitas
• Korelasi antar peubah bebas

7.  Analisi Komponen Utama
Secara umum tujuan dari analisis komponen utama adalah
mereduksi dimensi data yang besar dan saling berkorelasi
menjadi dimensi data yang kecil dan tidak saling berkorelasi (
jolliffe 2002 ), hal ini dilakukan untuk kebutuhan interpretasi.
 Analisis Regresi Komponen Utama
Metode regresi komponen utama merupakan teknik analisis
komponen utama yang dikombinasikan dengan teknik regresi
MKT. Prinsipnya yaitu dengan memilih beberapa komponen
utama pertama yang akan digunakan sebagai peubah bebas
dalam regresi MKT. Dalam hal ini, jika semua komponen utama
digunakan sebagai peubah bebas, maka akan dihasilkan model
yang setara dengan yang diperoleh melalui MKT (Jollife, 1986)

8. ( x ij  x
 Pembakuan data dengan rumus z ij  1/ 2
j )
s j
 Menentukan Regresi Komponen Utama

9. Contoh kasus
• Data

10. • Langkah Analisis
 Mendeteksi Multicolinearitas
Terlihat korelasi antar variabel seluruhnya mendekati
1(besar), juga p-value < 0,05, dapat disimpulkan bahwa
hal ini menunjukkan adanya korelasi antar masing-
masing variabel bebas.

11. • MKT

12. Analisis Regresi KU
• Pembakuan Data X
• Menentukan akar ciri, vektor ciri dan skor
komponen utama untuk seluruh data.

13. • Skor Komponen Utama

14. • Regresi SK Utama.

15. • Persamaan Regresi dari KU terpilih (W1)
• Uji Regresi Secara Parsial
Dari t hitung yang diperoleh, tampak bahwa keempat peubah bebas
nyata secara statistik. Dapat disimpulkan bahwa ukuran
industrialisasi memiliki peranan yang relative sama besarnya
terhadap pendapatan per kapita (y).

16. • Persamaan Regresi

18. model regresi linear berganda
prosedur centering
and rescaling
diagonal utama matriks korelasi
variable bebas ditambahkan ridge
parameter θ dimana nilainya
antara 0 dan 1.
variable bebas
diinverskan
Ridge
regression

19. Prosedur Centering
Pada persamaan regresi yang memiliki model
Persamaan di atas dapat dibentuk
menurut rumus, untuk memperoleh adalah :
maka berlaku
sehingga
misalkan
maka dapat kita peroleh persamaan
Prosedur ini mengakibatkan hilangnya intersep
yang membuat perhitungan untuk mencari model
regresi menjadi lebih sederhana.

20. Prosedur Rescaling
Bila dari persamaan akhir pada prosedur centering di atas kita
bentuk persamaan :

21. Matriks Korelasi
Persamaan yang diperoleh melalui prosedur centering and rescaling
di atas bila dituliskan dalam bentuk matriks adalah :
dimana
untuk hal ini juga berlaku untuk
sedangkan untuk
sehingga matriks korelasi untuk persamaan regresi adalah :
matriks Z’Z yang diperoleh disebut matriks korelasi.

22. Metode Ridge Regression 1
Dugaan parameter koefisien regresi dengan metode kuadrat terkecil adalah
b = (X’X)-1 X’Y
dengan membentuk X’X menjadi matriks korelasi, maka kesalahan yang
disebabkan pengaruh pembulatan menjadi lebih kecil (Draper &
Smith, 1992). Terutama jika variable bebasnya lebih dari dua dan data
yang ada besar.
Jika X’X yang merupakan Jika X’X menjauhi matriks
matriks korelasi adalah matriks identitas maka dapat dikatakan
identitas maka nilai dugaan X’X hampir singular, ini
variable respon akan sama disebut dengan ill conditioned
dengan nilai sebenarnya (Draper & Smith)
pendugaan parameter koefisien regresi
masih mungkin dilakukan dengan metode
kuadrat terkecil dengan konsekuensi
simpangan bakunya cenderung semakin
besar sejalan dengan meningkatnya
multikolinieritas.

23. Metode Ridge Regression 2
prosedur mentransformasikan matriks X’X menjadi korelasi Z’Z sehingga
dugaan koefisien regresinya menjadi :
Z = matriks n x k yang merupakan hasil transformasi variable bebas melalui
metode centering and rescaling.
sehingga nilai dugaan untuk variable respon menjadi
Proses di atas disebut
dengan ridge regression

24. Contoh Kasus
Data berikut adalah data jam kerja pegawai Rumah Sakit
Sardjito Yogyakarta yang diduga bergantung pada rata-rata
peningkatan jumlah pasien (X1), tempat tidur harian yang
dipakai per bulan (X2), dan populasi pasien yang memenuhi
syarat pada area rumah sakit, dalam ribuan (X3).
Tujuan kita disini adalah untuk memperoleh persamaan yang
akan digunakan untuk menduga dan memprediksi tenaga kerja
yang diperlukan untuk rumah sakit.

25. Data jam kerja pegawai Rumah Sakit Sardjito
Yogyakarta
Y X1 X2 X3
566.52 15.57 472.92 18
696.82 44.02 1339.75 9.5
1033.15 20.42 620.25 12.8
1603.62 18.74 568.33 36.7
1611.37 49.2 1497.6 35.7
1613.27 44.92 1365.83 24
1854.17 55.48 1687 43.3
2160.55 59.28 1639.92 46.7
2305.58 94.39 2872.33 78.7
3503.93 128.02 3655.08 180.5
3571.89 96 2912 60.9
3741.4 131.42 3921 103.7
4026.52 127.21 3865.67 126.8
10343.81 252.9 7684.1 157.7
11732.17 409.2 12446.33 169.4
15414.94 463.7 14098.4 331.4
18854.45 510.22 15524 371.6

26. Penyelesaian 1
uji keberartian model secara simultan atau bersama-sama untuk semua
(variable bebas secara simultan tidak berpengaruh terhadap variable respon Y)
(variable bebas secara simultan berpengaruh terhadap variable respon Y)
Dengan menggunakan statistik uji Anova atau uji F, maka berdasarkan penduga parameter
untuk regresi linier ganda pada data di atas diperoleh
Analysis of Variance
Source DF SS MS F P
Regression 3 484074767 161358256 197.19 0.000
Residual Error 13 10637774 818290
Total 16 494712540
s = 904.594 R-Sq = 97.8% R-Sq(adj) = 97.4%

27. ,
Penyelesaian 2
•Pendugaan Model Regresi Linier Berganda
Regression Analysis: Y versus X1, X2, X3
The regression equation is
Y = - 12 - 164 X1 + 6.23 X2 + 13.0 X3
Dari output di atas, diperoleh model regresi ;
Uji parameter masing-masing :
, untuk i=1,2,3 (variable bebas secara individu tidak
berpengaruh signifikan terhadap nilai dugaan Y)
, untuk i=1,2,3 (variable bebas secara individu berpengaruh secara
signifikan terhadap nilai dugaan)
Predictor Coef SE Coef T P
Constant -12.4 326.9 -0.04 0.970
X1 -163.9 119.0 -1.38 0.192
X2 6.230 3.834 1.62 0.128
X3 13.023 6.845 1.90 0.079

28. Penyelesaian 3
nilai korelasi antar variable bebas (X)
Correlations: X1, X2, X3
X1 X2
X2 0.99
0.000
X3 0.936 0.933
0.000
Adanya multikolinieritas juga bisa dilihat melalui perhitungan determinan matriks
Z’Z. Dari perhitungan, diperoleh :
matriks Z’Z ini merupakan matriks korelasi antar peubah predictor. Terlihat bahwa
korelasi antar variable bebas sangat tinggi ini juga bisa dilihat dari determinan
matriks Z’Z=0.00242524 yang mendekati 0. Hal ini berarti matriks Z’Z hampir
singular dan menunjukkan adanya multikolinieritas tidak sempurna dengan ill
conditioned sehingga untuk mengatasi multikolinieritas ini kita menggunakan ridge
regression

29. Penyelesaian 4
•Pendugaan Model Ridge Regression
Langkah awal analisis ridge regression adalah mentranformasikan matriks X’X
menjadi korelasi Z’Z yaitu pada data berikut :
Y* Z1 Z2 Z3
-0.192437913 -0.199864554 -0.198100775 -0.198419192
-0.186754575 -0.157016818 -0.155253314 -0.217515751
-0.172084758 -0.192560107 -0.190818244 -0.210101793
-0.14720238 -0.195090307 -0.193384653 -0.156406763
-0.146864346 -0.149215368 -0.147450779 -0.158653417
-0.146781473 -0.153964178 -0.184939268 -0.184939268
-0.136274058 -0.139757238 -0.138088725 -0.141578847
-0.122910581 -0.134034167 -0.140415892 -0.133940223
-0.11658476 -0.081155994 -0.079497788 -0.062047296
-0.064315933 -0.030506808 -0.040806407 0.166662078
-0.061351699 -0.078731219 -0.077536898 -0.102037737
-0.053958126 -0.025386165 -0.027661964 -0.005880947
-0.041521953 -0.031726726 -0.03039693 0.046016759
0.234021366 0.157571407 0.158348305 0.115438367
0.294577921 0.39297039 0.393745632 0.141724219
0.455210513 0.47505129 0.475407556 0.505682161
0.605232754 0.545113738 0.545875054 0.595997651

30. Penyelesaian 5
Dalam memilih nilai tetapan θ untuk dapat menduga ridge regresion
digunakan statistik Cp Mallows (Cθ). Nilai Cθ dengan berbagai nilai
kemungkinan tetapan θ disajikan dalam tabel berikut :
θ Cθ
0 3.99972
0.01 4.038074
0.02 3.939568
0.03 3.893453
0.04 3.887591
0.05 3.912661
0.06 3.962384
0.07 4.03261
0.08 4.120363
0.09 4.223615
0.1 4.340929
nilai θ yang terpilih adalah pada saat Cθ minimum yaitu θ = 0.04
sehingga persamaan regresinya menjadi

31. Penyelesaian 6
uji keberartian model secara simultan atau bersama-sama untuk semua
(variable bebas secara simultan tidak berpengaruh terhadap variable respon Y)
(variable bebas secara simultan berpengaruh terhadap variable respon Y)
Dengan menggunakan statistik uji Anova atau uji F, maka berdasarkan penduga parameter
untuk regresi linier ganda pada data di atas diperoleh
Analysis of Variance
Source DF SS MS F P
Regression 3 0.9604 0.320133 105,0943 0.000
Residual Error 13 0.0396 0.003046
Total 16 1

32. Penyelesaian 7
Pengujian keberartian model ridge regression yang dilakukan secara parsial atau
individu dapat dilakukan melalui pengujian hipotesis sebagai berikut :
untuk i=1,2,3 (variable bebas secara individu tidak berpengaruh
secara signifikan terhadap nilai dugaan Y)
untuk i=1,2,3 (variable bebas secara individu berpengaruh secara
signifikan terhadap nilai dugaan)
dengan statistik uji t-student, maka kita peroleh nilai thitung dari masing-masing
variable X secara individu adalah sebagai berikut :
Penduga thitung
b1* 20.1657
b2* 20.1489
b3* 19.6797

33. Kesimpulan
Berdasarkan penjelasan dan contoh kasus di atas maka dapat kita simpulkan hal-
hal sebagai berikut :
• Multikolinieritas tidak sempurna terjadi jika terdapat kondisi ill conditioned,
yaitu kondisi dimana terjadi korelasi antar variable bebas yang cukup tinggi,
sehingga menyebabkan determinan (X’X) mendekati tidak sempurna atau
mendekati nol.
• Nilai R2 besar yang tidak diikuti oleh hasil uji hipotesis yang signifikan dari
semua koefisien penduga bi serta eigen valuenya yang kecil. Hal ini
menunjukkan multikolinieritas dalam data.
• Metode regresi komponen utama dan ridge regression dapat digunakan untuk
mengatasi multikolinieritas tidak sempurna atau ill conditioned yang terjadi
antara variable bebas.