Cara membentuk model dengan stepwise dengan menggunakan MINITAB
Stat > Regression > Stepwise > Methods
1
Dwinasanti Nur Rachmawati Sekolah Tinggi Ilmu Statistik (Jakarta) BPS (Badan Pusat Statistik)
Dialog box items
Stepwise (forward and backward), backward), untuk memilih metode standard stepwise regression
Predictor in initial model: model: masukkan variable prediktor. Variabel ini akan dikeluarkan jika p-value lebih besar dari alpha to enter value
Jika ingin mempertahankan variabel tertentu dalam model abaikan nilai p-value dan enter variabel tersebut dalam Predictor to include in every model dalam box utama
Alpha to enter, enter, nilai α yang digunakan sebagai batas untuk memasukkan variable ke dalam model
Alpha to remove, remove, nilai α yang digunakan sebagai batas untuk mengeluarkan variable dari dalam model
Forward selection, selection, untuk memilih memilih metode Forward selection selection
Alpha to enter : nilai α yang digunakan sebagai batas untuk memasukkan variable ke dalam model
Backward elimination: elimination: untuk memilih metode backward elimination
Alpha to remove: remove: nilai α yang digunakan sebagai batas untuk mengeluarkan variable dari dalam model
2
Dwinasanti Nur Rachmawati Sekolah Tinggi Ilmu Statistik (Jakarta) BPS (Badan Pusat Statistik)
Contoh:
Seorang sosiolog sedang meneliti perubahan meningkatnya tren pembunuhan baru-baru ini yang terjadi di united states, studi ini meneliti tingkat pembunuhan tiap 100.000 populasi (Y) berhubungan dengan populasi (X1), persentase keluarga dengan pendapatan pertahun kurang dari $ 5,000 (X2), dan tingkat pengangguran (X3). Penelitian dilakukan dilihat dari sampel 20 kota yang erada di united states.
City
X1
X2
X3
Y
1
587
16.5
6.2
11.2
2
643
20.5
6.4
13.4
3
635
26.3
9.3
40.7
4
692
16.5
5.3
5.3
5
1248
19.2
7.3
24.8
6
643
16.5
5.9
12.7
7
1964
20.2
6.4
20.9
8
1531
21.3
7.6
35.7
9
713
17.2
4.9
8.7
10
749
14.3
6.4
9.6
11
7895
18.1
6
14.5
12
762
23.1
7.4
26.9
13
2793
19.1
5.8
15.7
14
741
24.7
8.6
36.2
15
625
18.6
6.5
18.1
16
854
24.9
8.3
28.9
17
716
17.9
6.7
14.9
18
921
22.4
8.6
25.8
19
595
20.2
8.4
21.7
20
3353
16.9
6.7
25.7
Temukan model regresi yang terbaik antara Y, X1, X2, dan X3 dengan tiga metode pembentukan model regresi dengan menggunakan MINITAB a. Stepwise regression b. Forward selection c. Backward elimination Dengan α = 5% 3
Dwinasanti Nur Rachmawati Sekolah Tinggi Ilmu Statistik (Jakarta) BPS (Badan Pusat Statistik)
Pembahasan: Tujuan
: mengetahui hubungan antara tingkat pembunuhan dengan faktorfaktor yang mempengaruhinya
Variable yang diteliti : Y = tingkat pembunuhan tiap 100.000 populasi X1 = populasi X2 = persentase keluarga dengan pendapatan pertahun kurang dari $ 5,000 X3 = tingkat pengangguran N = 20 Pembahasan akan dimulai dari metode dengan cara-cara khusus yaitu forward selection lalu berlanjut ke backward elimination lalu terakhir stepwise regression agar diketahui perbedaan langkah pembentukan model terbaik dari masing-masing metode itu a. Forward selection
Stat > Regression > Stepwise Isi kotak dialog response dengan variable Y dan predictor dengan variable X1, X 2, dan X3. > Methods > Forward selection Isi kotak dialog Alpha to enter dengan nilai α yang telah ditentukan yaitu 0,05 (5%) Outputnya adalah sebagai berikut: Stepwise Regression: y versus x1, x2, x3 Forward selection.
Alpha-to-Enter: 0.05
Response is y on 3 predictors, with N = 20 Step Constant
1
2
-28.53
-34.07
x3
7.08
4.40
T-Value
7.31
2.88
P-Value
0.000
0.010
x2
1.22
4
Dwinasanti Nur Rachmawati Sekolah Tinggi Ilmu Statistik (Jakarta) BPS (Badan Pusat Statistik)
T-Value
2.15
P-Value
0.046
S
5.10
4.65
R-Sq
74.80
80.20
R-Sq(adj)
73.39
77.87
Penjelasan: Seperti pada langkah-langkah yang telah dijelaskan pada materi forward yaitu pertama-tama mencari variabel bebas yang berhubungan erat dengan variabel tak bebasnya dengan melihat korelasi dari masing-masing variabel bebas dengan variabel tak bebasnya,
Pada step 1 dimulai dengan hanya memasukkan variabel X3 yaitu tingkat pengangguran yang merupakan variabel bebas yang korelasi terhadap variabel tak bebasnya paling tinggi.
Regresikan Y dengan X3 lalu didapat model regresinya yaitu
R2 = 74,80% dan R2(adj) = 73,39%
Pada step 2 dimasukkan lagi variabel X2 yaitu persentase keluarga dengan pendapatan pertahun kurang dari $ 5,000 yang mempunyai korelasi terbesar kedua.
Regresikan Y dengan X3 dan X2 lalu didapat model regresinya yaitu
R2 = 80,20% dan R2(adj) = 77,87% Analisis: 2
Untuk jumlah variabel bebas diatas dua maka digunakan Adjusted R sebagai koefisien determinasi (ada tiga variabel bebas). Terlihat pada model 1, hasil 2
Adjusted R adalah 73,39%. 2
Kemudian pada model 2, dengan penambahan variabel Outlet, R yang 2
disesuaikan meningkat menjadi 77,87%. Semakin tinggi R yang disesuaikan akan semakin baik bagi model regresi, karena variabel bebas bisa menjelaskan variabel tak bebas lebih besar. Disini berarti 77,87% tingkat pembunuhan bisa dijelaskan oleh variabel persentase keluarga dengan pendapatan pertahun
5
Dwinasanti Nur Rachmawati Sekolah Tinggi Ilmu Statistik (Jakarta) BPS (Badan Pusat Statistik)
kurang dari $ 5,000 dan tingkat pengangguran. Sedangkan sisanya (100 % 77,87% = 22,13 %) dijelaskan oleh sebab-sebab yang lain. b. Backward elimination
Stat > Regression > Stepwise Isi kotak dialog response dengan variable Y dan predictor dengan variable X1, X 2, dan X3. > Methods > Backward Elimination Isi kotak dialog Alpha to remove dengan nilai α yang telah ditentukan yaitu 0,05 (5%) Outputnya adalah sebagai berikut: Stepwise Regression: y versus x1, x2, x3 Backward elimination.
Alpha-to-Remove: 0.05
Response is y on 3 predictors, with N = 20 Step Constant x1
1
2
-36.76
-34.07
0.00076
T-Value
1.20
P-Value
0.248
x2
1.19
1.22
T-Value
2.12
2.15
P-Value
0.050
0.046
4.7
4.4
T-Value
x3
3.08
2.88
P-Value
0.007
0.010
4.59
4.65
R-Sq
81.83
80.20
R-Sq(adj)
78.43
77.87
S
Penjelasan: Seperti pada langkah-langkah yang telah dijelaskan pada materi backward elimination metode backward merupakan cara pembuatan model dengan memasukkan semua variabel kemudian dikeluarkan satu persatu dengan melakukan pengujian terhadap parameter-parameternya dengan menggunakan partial F test. 6
Dwinasanti Nur Rachmawati Sekolah Tinggi Ilmu Statistik (Jakarta) BPS (Badan Pusat Statistik)
Pada step 1 semua variabel bebas X1, X2, dan X3 di masukkan kedalam model, hasil regresi Y dengan X1, X2, dan X3 adalah
R2 = 81,83% dan R2(adj) = 78,43% Lalu masing-masing variabel bebas X1, X2, dan X3 diuji apakah masingmasing variabel secara signifikan berkontribusi terhadap perubahan variabel tak bebas Y dengan menggunakan partial F test, lalu ditemukan bahwa p-value X1 > 0,05 (5%) maka variabel X1 tidak secara signifikan berkontribusi terhadap perubahan variabel tak bebas Y, sehingga variabel X1 dikeluarkan dari model
Pada step 2 variabel bebas yang tersedia adalah X1 dan X2, lalu regresikan variabel bebas itu dengan variabel Y sehingga model regresinya menjadi
R2 = 80,20% dan R2(adj) = 77,87% Analisis: 2
Untuk jumlah variabel bebas diatas dua maka digunakan Adjusted R sebagai koefisien determinasi (ada tiga variabel bebas). Terlihat pada model 1, hasil 2
Adjusted R adalah 78,43%. Kemudian pada model 2 yang telah terjadi 2
pengeluaran variabel X1 didapatkan terjadi penurunan Adjusted R menjadi 77,87%, penurunan yang terjadi tidak begitu jauh yang berarti bahwa model yang dikeluarkan (X1) tidak signifikan berkontribusi terhadap perubahan variabel tak bebas Y, dari pada mempertahankan variabel yang kurang berguna itu malah akan menambah biaya operasional dalam penelitian sebaiknya memang variabel itu dikeluarkan sehingga model yang dihasilakan lebih efisien. Disini berarti 77,87% tingkat pembunuhan bisa dijelaskan oleh variabel persentase keluarga dengan pendapatan pertahun kurang dari $ 5,000 dan tingkat pengangguran. Sedangkan sisanya (100 % - 77,87% = 22,13 %) dijelaskan oleh sebab-sebab yang lain. c. Stepwise regression
Stat > Regression > Stepwise
7
Dwinasanti Nur Rachmawati Sekolah Tinggi Ilmu Statistik (Jakarta) BPS (Badan Pusat Statistik)
Isi kotak dialog response dengan variable Y dan predictor dengan variable X1, X 2, dan X3. > Methods > Stepwise (forward and backward) Lalu pilih use alpha value isi kotak dialog Predictor in initial model dengan variable X1, X2, dan X3, isi juga kotak dialog Alpha to enter dan Alpha to remove dengan 0.05 (5%) lalu klik ok.
Outputnya adalah sebagai berikut: Stepwise Regression: y versus x1, x2, x3 Alpha-to-Enter: 0.05
Alpha-to-Remove: 0.05
Response is y on 3 predictors, with N = 20 Step Constant x1
1
2
-36.76
-34.07
0.00076
T-Value
1.20
P-Value
0.248
x2
1.19
1.22
T-Value
2.12
2.15
P-Value
0.050
0.046
4.7
4.4
T-Value
x3
3.08
2.88
P-Value
0.007
0.010
4.59
4.65
R-Sq
81.83
80.20
R-Sq(adj)
78.43
77.87
S
Penjelasan: Stepwise regression merupakan merode yang menggabungkan antara metode forward selection dan backward elimination. Karena program pengolahan yang dipakai adalah minitab maka pada outputnya tidak terlalu terlihat proses tahapan demi tahapan dari stepwise, bila dilihat sepintas mirip dengan output pada backward elimination, sehingga penjelasannyapun sama seperti pada output backward elimination Kesimpulan: 8
Dwinasanti Nur Rachmawati Sekolah Tinggi Ilmu Statistik (Jakarta) BPS (Badan Pusat Statistik)
Jumlah variable yang signifikan dalam model regresi ini hanya X2 dan X3 sehingga dapat dikatakan bahwa dengan tingkat kepercayaan sebesar 5% variable
yang
berpengaruh
terhadap
tingkat
pembunuhan
adalah
persentase keluarga dengan pendapatan pertahun kurang dari $ 5,000 dan tingkat pengangguran
model yang terbentuk adalah
yang berarti bahwa dengan penambahan variable persentase keluarga dengan pendapatan pertahun kurang dari $ 5,000 dan tingkat pengangguran maka akan membuat tingkat pembunuhan meningkat.
R2=80,20% Yang berarti besarnya variable tingkat pembunuhan 80,20% dipengaruhi oleh variable persentase keluarga dengan pendapatan pertahun kurang dari $ 5,000 dan tingkat pengangguran sisanya 19,80% dipengaruhi oleh variabel lain diluar model ataupun dari error.
9
Dwinasanti Nur Rachmawati Sekolah Tinggi Ilmu Statistik (Jakarta) BPS (Badan Pusat Statistik)
