Dokumen tersebut memberikan panduan penggunaan sistem AlisJK untuk analisis lembar jawaban komputer. Sistem ini digunakan untuk mengkonversi data hasil scan lembar jawaban peserta ujian ke dalam format digital, melakukan penilaian berdasarkan algoritma tertentu, analisis item soal, deteksi kecurangan, hingga proses alokasi nilai akhir. Sistem ini memudahkan pengolahan data ujian secara otomatis dan skala besar.
Menggunakan AlisJK (Analisis Lembar Jawaban Kompuer/Analisis Item Soal)
1. Menggunakan AlisJK
Analisis Lembar Jawaban Komputer | Analisa Item Soal
http://wiki.openthinklabs.com/Products_and_Services/alisjk-analisis-lembar-jawaban-komputer
Wildan Maulana
wildan.m@openthinklabs.com
2. Belum
Mulai Buat Database Baru
Database Sudah ada ?
Lanjutkan Database
Yg sudah ada
Sudah
Import Kunci Jawaban
(Minimal Isi Kode Naskah
Pada Kunci Jawaban, data ini
Diperlukan dalam proses validasi LJU)
(Lanjutkan)
Import LJU
Bersambung ... Import Peserta
3. …......
Belum
Sudah
Data LJU OK ? Validasi Data LJU
Sudah
Proses pengolahan
nilai
Bersambung ...
● Nilai mentah rumus
● Nilai mentah iteman
● Nilai anchor
4. Item Analysis
(Analisa Item Soal) Proses pengolahan
nilai
Lakukan :
● Transformasi Nilai Baku Ya
● Transformasi Nilai Nasional
Ada yang dianulir ?
Hitung :
● Nilai mentah rumus
Ya Tidak ● Nilai mentah iteman
● Nilai anchor
Bersambung ...
Perlu lakukan
Penyetaraan Naskah
(Equiting) Analisa Kesetaraan
Tidak
Antar Naskah
(Equiting)
6. Pintu Masuk
● Lanjut edit database yang ada, atau
● Buat database baru (setiap satu proses seleksi,
databasenya tersendiri)
7. Pintu Masuk
Pilih Database yang Sudah Ada
Setelah login
Koneksi/Database yang digunakan
8. Pintu Masuk
… atau Buat Database Baru
● Administrator → Pengaturan → Database
9. Proses Input Data
● Konversi data hasil pembacaan LJU atau
import dari sumber data Lainnya
● Konversi data kunci soal
● Import Data Peserta Ujian
10. Proses Input Data
Konversi Data Hasil Pembacaan LJU
● Jawaban → Utilitas
11. Proses Input Data
Import dari Sumber Data Lainnya
● Buat File Job Transformasi Pentaho, dan tambahkan
di Administrator → Pengaturan → File
Transformasi Pentaho
12. Proses Input Data
Konversi data kunci soal
● Gunakan menu Administrator → Kunci
Jawaban → Tambah Kunci Jawaban
14. Proses Input Data
Pengaturan Jenis Soal
● Administrator → Pengaturan → Jenis Soal
15. Proses Input Data
Pengaturan Kelompok Soal
● Administrator → Pengaturan → Kelompok
Soal
16. Proses Input Data
Pengaturan Kelompok Peserta
● Administrator → Pengaturan →
Kelompok Peserta
17. Proses Pengolahan Data Mentah
● Validasi Data LJU dan LJU Fisik
● Penilaian Sesuai dengan Algoritma yang Dipilih
● Validasi data peserta (semua peserta yang ada
LJUnya ada data mentahnya)
18. Proses Pengolahan Data Mentah
Validasi Data LJU dan LJU Fisik
● Jalankan Utilitas/Menu Berikut :
● LJU → Utilitas → Transformasi Pentaho →
(Pilih) CariLJUGanda.kjb
● Laporan → Validitas LJU → LJU Tak Terbaca
Oleh Scanner
● Laporan → Validitas LJU → LJU Ganda
● Laporan → Validitas LJU → Validasi LJU
● Laporan → Validitas LJU → Kode Soal Tidak
Valid
● Laporan → Validitas LJU → Jumlah Peserta
Per Wilayah
20. Proses Pengolahan Data Mentah
Penilaian Sesuai dengan Algoritma yang Dipilih
● LJU → Utilitas –> (Tab) CLI →
(Pilih) alisjk:nilaijawaban
Klik icon help, untuk
melihat informasi detail Klik icon log, untuk
tentang perintah yg dpilih melihat log progress
proses perhitungan nilai
22. Proses Pengolahan Data Mentah
Penilaian untuk Kebutuhan Item Analysis (Analisa Item Soal)
● LJU → Utilitas –> (Tab) CLI →
(Pilih) alisjk:nilaiiteman
Untuk informasi lebih lanjut tentang Analisas Item Soal, silahkan kunjungi :
http://bit.ly/xPVYrA
23. Melihat Nilai Berdasarkan Rumus
dan untuk Analisa Item Soal
Seorang Peserta
● Pada data grid di menu LJU, klik tombol Lihat
pada peserta yang ingin dilihat nilainya.
Detail
24. Melihat Nilai Berdasarkan Rumus
dan untuk Analisa Item Soal
Seorang Peserta
Resume,
nilai per komponen uji
25. Proses Analisa Data Mentah
● Item Analysis /Analisa Item Soal - Validasi data
mentah (bisa jadi ada soal yang dianulir)
● Selectivity Power - algoritma pembobotan nilai
total (nilai total adalah jumlah dari setiap
komponen yang telah dibobotkan)
26. Proses Analisa Data Mentah
Item Analysis
● Dapat diproses
per kode soal, ataupun
langsung seluruh kode soal
● Menu : Analisis
28. Proses Analisa Data Mentah
Ada Soal yang Dianulir
● Edit Kunci Kode Soal yang dianulir, dan pilih
nomor mana saja yang dianulir
Administrator → Kunci Jawaban
Klik Edit
31. Proses Pengolahan Nilai
● Analisa kesetaraan antar naskah (equiting)
● Transformasi nilai baku
● Transformasi nilai nasional
32. Proses Pengolahan Nilai
Analisa kesetaraan antar naskah (equating)
● Equating procedures :
● A design for collecting test data for equating
● A clearly defined level of expected correspondence
among test scores
● Spesific statistical procedures that are used to
estimate score correspondence
37. Proses Alokasi
● Eliminasi yang tidak eligible (exception, tidak
curang, nilai mati)
● Algoritma alokasi
● Tambah dan Kurang
38. Laporan
● Validitas LJU
● Rekapitulasi LJU Invalid
● Peserta Tidak Memiliki LJU
● LJU Tidak Bertuan
● LJU Tidak Terbaca Oleh Scanner
● LJU Tidak Dibulatkan
● LJU Ganda
● Validasi Jumlah LJU
● Kode Soal Tidak Valid
● Jumlah Peserta Per Wilayah
39. Laporan
● Analisa Kecurangan ● Analisa Nilai
● Pola Kode Soal
● Analisis Item Soal
● Pasca ● Grafik RBIS
● Peserta Pasca ● Percentile Kumulative
● Nilai Pasca ● Selectivity Power
● Nilai – Kelompok IPA
● Nilai Anchor – Kelompok IPS
● Nilai Rata-Rata per Mata – Kemampuan Bahasa
Inggris
Uji Per Kode Soal
– Kemampuan TPA
● Nilai Mati ● Log Perubahan
41. Terimakasih
wildan.m@openthinklabs.com http://www.openthinklabs.com
@wildanmaulana @openthinklabs
Untuk berdiskusi, silahkan bergabung di milis AlisJK :
http://groups.google.com/group/alisjk?hl=id