Analisis Butir Soal Dengan Program Iteman

Analisis Butir Soal Dengan Program Iteman

Analisis butir soal secara empirik menggunakan Program item and Test Analysis (ITEMAN). Iteman merupakan perangkat lunak yang dibuat dengan pendekatan analisis statistik butir soal dan tes data empiris uji coba.

Hasil dari analisis butir soal mencangkup

1. tingkat kesukaran soal
2. daya pembeda soal
3. statistik sebaran jawaban
4. statistik tes yang meliputi kehandalan/reliabilitas tes, kesalahan pengukuran, ditribusi skor dan output skor untuk setiap peserta tes.

Mengoperasikan Itemen

1. Memasukan jawaban siswa kedalam file data, yang diketik  pada Notepad. Data tersebut dapat berupa alphabetik atau numerik seperti yang terdapat pada contoh.

Contoh

 40 o N 10

EACBDEACBADECBDECDBAEDCBABEACDEABCDABEDC Kunci Jawaban

5555555555555555555555555555555555555555 Pilihan Jawaban

YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY Kode Analisis

12001     CACDDEDBACDABDACAAEEBBCCABBACBAABEDAECBA

12002     ACCDCCCCCBEBCEADBABDBEBBAECABDCAAEABCBAA

12003     CAECDEDCADDDCCCBAABBBBBBABBCCAAABABDACDE

12004     ACCBDAECCBDDEBABCAABDBCEABAACCAACECAEBAB

12005     ABBBDEEBCECDBDACADBADBCCCDEECBEAAECAECBC

12006     EBBDDEAEBCEABBDAADBCEBCDDBAECEAAACAABBAB

12007     ACCDDEEACBDDCDBBCDBADBCEABAACCAAABCAEEAB

12008     AEEBAEDABBEABCBBCABBDBBCBBBDCDADAEDBBBBB

12010     AECDDEDAECEBCBACADBDDBCCCBBDCBAABEACBDAA

12011     AECBDEDDACACABACCABBDBCACABECBACBCACBDAA

12012     DECDDDECABDCBAEECABBABDCBEAECDACAAACBDAC

12013     CAEBDECBEBDEBEAECDEABBCDBBBBCCADAEACDBBC

12014     ACCDDECBEBDEBECECDEBCBEDBCBECCADAEAEEAAC

12015     BCCBDEEADCDCBBDCCDBAEDCDABBCBCAADBDCBCDB

12016     AAEDDEEBACEEBDBDADAEDBCECBAECEACDEAAECAC

12017     BDCBDECBCDDACEACAAAEBBCDABBCCAEEAABEEAAD

12018     BECDDABDACCEBAACCBBDEDBCDDECECCABEDAADAB    

12019     CCCBDEACABEABAECDBBDBCDBEAACBACBEABCADAB

12020     AECBDEDCCCDCBEAECBABDBCACABECBACBCACBBAA

12021     ADCBAAAEACCCBEDBBDEDADDAABCECCABDCCAECDA

12022     ABBCBCCEACECBDDCCDBDADCCABBACBAEBADABCBC

12023     ABBADEABDCBCBEDBBEBBABCCCBAECAABDEDBEBAB

12024     ACCDDEAACCEAEABBCABBEBCCBBBEEBEDACACBAAC

12025     ACCDDEACCCECBBDCEABBEDCCACAEBBEDACACBAAC

12026     BCCBEAEAABCABCAADDBBABDEABAECCEADEECCDEC

12027     ACCBDEEACCCAAEBBCABBEBACCBBACCAADADADBAC

12028     AECBDEAACBDAABACCABBBDEDADBCCDADBCBACCBA

12029     ACCBDEACBDCAAEDECABBADCDADBCCDADBCACECBC

12030     AEEBDACBACCCBCDECABBDBDAABCDCCAEBCAAECCC

12031     AECBDDACACEAABDECABBCDCAADBCCBEADEAAECBA

a.       Baris Kontrol

Agar file data dapat dianalisis oleh ITEMAN diperlukan 4 (empat) baris perintah/variable sebagai baris control (control line) yang diketik mulai dari baris pertama kolom pertama. Empat baris pertama sebagai baris control tersebut adalah sebagai berikut :

·         Baris Pertama

                  Kolom              Keterangan                                                     dalam contoh

                  1 – 3                 jumlah butir soal (maks. 250)                           040

                  4                       kosong/spasi                                                     -

                  5                       untuk jawaban omit (kosong)                          0

                  6                       kosong/spasi                                                     -

                  7                       untuk soal yang belum sempat dikerjakan      N

                  8                       kosong/spasi                                                     -

                  9-10                  jumlah identitas data siswa (maks. 80)           10

Keterangan

Kolom 1 – 3 diisi dengan angka yang menunjukkan jumlah butir soal yang dianalisis. Kolom 1 untuk ratusan, kolom 2 untuk puluhan dan kolom 3 untuk satuan. Artinya untuk menuliskan jumlah butir soal sebanyak 45, angka ”4” dimulai pada kolom kedua dan angka ”5” pada kolom ketiga. Atau dapat ditulis ”045”.

Kolom 5 diisikan angka ”9” atau ”0” untuk butir soal yang tidak dijawab.

Kolom 7 diisikan ”N” untuk soal yang belum sempat dikerjakan.

Kolom 9 dan 10 diisi dengan panjang karakter untuk identitas siswa. Sebagai contoh untuk identitas sepanjang 8 karakter dapat ditulis ”08” atau ”8”.

·         Baris kedua berisi kunci jawaban (option yang benar)

Penulisan kunci jawaban harus sesuai dengan kode untuk data baik alphabetik maupun numerik.

·   Baris Ketiga berisi jumlah pilihan jawaban (option)

   Diisi dengan angka, misalnya 2, 3, 4 .. dan seterusnya sesuai dengan jumlah option.

·   Baris Keempat berisi KODE / Skala Tes :

”Y” = butir soal dianalisis dan ”N” = butir soal yang tidak akan dianalisis (=dianulir). Dapat pula diisikan bilangan ”0”, ”1”, ”2” dan seterusnya untuk tes berskala.

·   Baris Kelima dan seterusnya berisi jawaban siswa/responden yang diketik dengan alphabetik maupun numerik, dengan ketentuan setiap satu baris menunjukkan jawaban dari satu responden.

2. Menjalankan Program

a.       Menjalankan Program dengan Hard Disk

Apabila PC yang kita pergunakan memiliki sebuah hard disk, maka langkah-langkah yang perlu kita lakukan adalah sebagai berikut :

b.      Yakinkan bahwa file ITEMAN.EXE sudah di-instal (disalin) dan disimpan pada folder tertentu. Data yang sudah diketik dalam Notepad  disimpan pada folder yang digunakan untuk menyimpan data iteman misalnya  YULI.TXT

c.       Buka program Iteman dan ketikan nama file data yang akan dianalisis, misalnya YULI.TXT lalu tekan tombol ENTER.

                                                                                                                                   

      Enter the name of the output file: _

                                                                                                                                   

     Komputer meminta diisikan nama output file (file hasil analisis).

d.      Ketikkan nama file output (hasil yang kita kehendaki, misalnya YULI1.TXT lalu tekan tombol ENTER, maka akan muncul tampilan :

                                                                                                                        

Do you want the scores written to a file ? (Y/N)

                                                                                                                  

Komputer meminta jawaban ”Y” atau ”N”.

e.       Ketikkan ”Y” ( = yes) bila kita inginkan file hasil skor, atau ”N” (=no) bila kita tidak menghendakinya.

Bila kita ketik ”Y”, maka akan muncul :

                                                                                                                   

Enter the name of the score file:

                                                                                                                   

Komputer meminta diisikan nama file untuk skor peserta tes.

f.             Ketikkan nama file untuk hasil skor, misalnya YULI2.TXT lalu tekan tombol ENTER.

Dalam waktu beberapa detik, akan muncul tampilan :

Ini menunkukkan bahwa proses analisis telah selesai. File hasil analisis (YULI1.TXT) dan hasil skor (YULI2.TXT) berada dalam hard disk

Hasil Analisis Butir Soal dengan menggunakan Iteman

Untuk tes skala yang terdiri dari butir-butir soal yang bersifat dikotomi (misalnya, pilihan ganda), statistik berikut adalah output dari setiap butir soal yang dianalisis meliputi:

1. Seg. No adalah nomor urut butir soal dalam file data.
2. Scala-item adalah nomor urut butir soal dalam skala (tes/subtes)
3. Prop. Correct adalah proporsi siswa (peserta tes) yang menjawab benar butir soal. Nilai ekstrim (mendekati nol atau satu) menunjukan bahwa butir soal tersebut terlalu sukar atau terlalu mudah untuk peserta tes. Indeks ini disebut juga indeks tingkat kesukaran soal secara klasikal.
4. Biser adalah indeks daya pembeda soal dengan menggunakan koefisien korelasi biserial. Nilai positif menunjukan bahwa pesrta tes yang menjawab benar butir soal, mempunyai skor yang relatif tinggi dalam tes/skala tersebut. Sebaliknya, nilai negatif menunjukan bahwa peserta tes yang menjawab benar butir soal, memperoleh skor yang relatif rendah dalam tes/skala tersebut. Untuk statistik pilihan jawaban(alternative korelasi biserial negatif sangat tidak dikehendaki untuk kunci jawaban dan sangat dikehendaki untuk pilihan jawaban yang lain(pengecoh).
5. Point-biser juga nerupakan indeks daya, pembeda soal dan pilihan jawaban (alternatif) dengan menggunakan koefisienkorelasi poin biserial.

Contoh

    MicroCAT (tm) Testing System              

Copyright (c) 1982, 1984, 1986, 1988 by Assessment Systems Corporation

       Item and Test Analysis Program -- ITEMAN (tm) Version 3.00

Item analysis for data from file YULI.TXT                          Page  1

                 Item Statistics             Alternative Statistics

             -----------------------   -----------------------------------

Seq.  Scale   Prop.           Point            Prop.            Point

No.   -Item  Correct  Biser.  Biser.   Alt.  Endorsing  Biser.  Biser. Key

----  -----  -------  ------  ------   ----- ---------  ------  ------ ---

  1   0-1     0.033    0.577   0.238     A     0.667     0.031   0.024 

                                         B     0.133     0.010   0.007 

                                         C     0.133    -0.146  -0.093 

                                         D     0.033    -0.334  -0.138 

                                         E     0.033     0.577   0.238  *

                                       Other   0.000    -9.000  -9.000 

  2   0-2     0.133   -0.042  -0.027     A     0.133    -0.042  -0.027  *

                                         B     0.133     0.063   0.040 

           CHECK THE KEY                 C     0.367     0.144   0.112  ?

   A was specified, C works better       D     0.067    -0.296  -0.154 

                                         E     0.300    -0.058  -0.044 

                                       Other   0.000    -9.000  -9.000  

  3   0-3     0.700    0.123   0.093     A     0.000    -9.000  -9.000 

                                         B     0.133     0.063   0.040 

                                         C     0.700     0.123   0.093  *

                                         D     0.000    -9.000  -9.000 

                                         E     0.167    -0.225  -0.151 

                                       Other   0.000    -9.000  -9.000 

  4   0-4     0.533    0.136   0.108     A     0.033    -0.637  -0.264 

                                         B     0.533     0.136   0.108  *

           CHECK THE KEY                 C     0.067     0.226   0.117  ?

   B was specified, C works better       D     0.367    -0.096  -0.075 

                                         E     0.000    -9.000  -9.000 

                                       Other   0.000    -9.000  -9.000 

  5   0-5     0.833    0.451   0.302     A     0.067    -0.383  -0.199 

                                         B     0.033     0.273   0.113 

                                         C     0.033    -0.637  -0.264 

                                         D     0.833     0.451   0.302  *

                                         E     0.033    -0.485  -0.201 

                                       Other   0.000    -9.000  -9.000 

  6   0-6     0.700    0.188   0.143     A     0.167    -0.225  -0.151 

                                         B     0.000    -9.000  -9.000 

                                         C     0.067    -0.209  -0.108 

                                         D     0.067     0.139   0.072 

                                         E     0.700     0.188   0.143  *

                                       Other   0.000    -9.000  -9.000 

dst

                  

  MicroCAT (tm) Testing System              

Copyright (c) 1982, 1984, 1986, 1988 by Assessment Systems Corporation

       Item and Test Analysis Program -- ITEMAN (tm) Version 3.00

Item analysis for data from file YULI.TXT                          

There were 30 examinees in the data file.

Scale Statistics

----------------

  Scale:           0  

               -------

N of Items          40

N of Examinees      30

Mean            13.200

Variance         8.760

Std. Dev.        2.960

Skew             0.360

Kurtosis        -0.456

Minimum          8.000

Maximum         20.000

Median          13.000

Alpha            0.621

SEM              2.612

Mean P           0.330

Mean Item-Tot.   0.174

Mean Biserial    0.244

10   1   Scores for examinees from file YULI.TXT

12001       14.00

12002        9.00

12003       14.00

12004       14.00

12005       13.00

12006       17.00

12007       17.00

12008       10.00

12010       13.00

12011       12.00

12012       11.00

12013       14.00

12014       10.00

12015       20.00

12016       10.00

12017       11.00

12018       12.00

12019        8.00

12020       13.00

12021       12.00

12022       15.00

12023        9.00

12024       13.00

12025       16.00

12026       10.00

12027       14.00

12028       16.00

12029       19.00

12030       13.00

12031       17.00

Pembahasan Hasil Analisis Butir Soal Dengan Iteman

Analisi Butir Soal

No. item	Indeks kesukaran	Daya beda	Distribusi jawaban	Daya beda alternatif	Keputusan
1	0.033	0.238	A.0.667  B  0.133    C  0.133    D  0.033                        E  0.033    Other   0.000	0.024 0.007  -0.093  -0.138 0.238  * -9.000
Kategori	Sulit	Kurang baik	Baik	Baik	Revisi
2.	0.133	-0.027	A     0.133      B     0.133      C     0.367         D     0.067    E     0.300                                     Other   0.000	0.027  * 0.040 0.112         ? -0.154  -0.044  -9.000
Kategori	Sulit	Tidak baik	Baik	Kurang Baik	Revisi
3.	0.700	0.093	A  0.000                 B  0.133                                             C  0.700                                             D  0.000                                             E  0.167                              Other   0.000	-9.000  0.040  0.093  * -9.000  -0.151  -9.000
Kategori	Sedang	Tidak baik	Tidak baik	cukup baik	Diganti
4.	.0533	0.108	A     0.033                         B     0.533      C     0.067         D    0.367   E     0.000                                          Other   0.000	-0.264  0.108  * 0.117  ? -0.075  -9.000  -9.000
Kategori	Sedang	Kurang baik	Tidak baik	Tidak baik	Diganti
5.	0.833	0.302	A  0.067                                     B  0.033                                        C  0.033              D  0.833       E  0.033                                        Other   0.000	-0.199  0.113  -0.264  0.302     * -0.201  -9.000
Kategori	Mudah	Baik	Baik	Baik	Diterima

Untuk hasil analisis tes/skala, maka akan disajikan data sebagai berikut:

1. N of items adalah jumlah butir soal dalam tes/skala yang ikut dianalisis. Untuk tes/skala yang terdiri butir-butir soal dikotomi, hal ini merupakan jumlah total butir soal dalam tes/skala
2. N of Examines adalah jumlah peserta tes yang digunakan dalam analisis
3. Mean adalah skor/ rata-rata peserta tes
4. Variance adalah varian dari distribusi skor peserta tes yang memberikan gambaran tentang sebaranskor peserta tes.
5. Std. Dev adalah deviasi standar dari distribusi skor peserta tes. Deviasi standar merupakan akar dari variance
6. Skew adalah kemiringan distribusi skor peserta tes yang memberikan gambaran tenatng bentuk distribusi skor peserta tes. Kemiringan negatif menunjukan bahwa sebagian besar skor berada pada bagian atas (skor/tinggi) dari distribusi skor. Sebaliknya, kemiringan positif menunjuikan bahwa sebagian besar skor berada pada bagian bawah ( skor rendah) dari distribusi skor. Kemiringan nol menunjukan bahwa skor berdistribusi secara simetris di sekitar skor rata-rata (mean)
7. Kurtosis adalah puncak distribusi skor yang menggambarkan kelandaian distribusi skor dibanding dengan distribusi normal. Nilai positif menunjukan distribusi yang lebih lancip (memuncak) dan nilai negatif menunjukan distribusi yang lebih landai(merata). Kurtosis untuk distribusi normal adalah nol.
8. Minimum adalah skor terendah peserta tes dalam tes/skala tersebut.
9. Maximum adalah skor tertinggi peserta tes dalam tes/skala tersebut.
10. Median adalah skor tengan dimana 50% skor berada pada atau lebih rendah dari skor tersebut.
11. Alpha adalah koefisien reliabilitas alpha untuk tes/skala tersebut yang merupakan indeks homoginitas tes/skala. Koefisien alpha bergerak dari 0,0 sampai 1,0. Koefisien alpha hanya cocok digunakan pada tes bukan mengukur kecepatan dan hanya mengukur satu dimensi.
12. SEM adalah kesalahan pengukuran standar untuk setiap tes/skala
13. Mean P adalah rata-rata tingkat kesukaran semua butir soal dalam tes secara klasikal dihitung dengan cara mencari rata-rata  proporsi peserta tes yang menjawab benar untuk semua butir soal dalam tes/skala.
14. Mean Item-Tot adalah Nilai rata-rata  indeks daya beda dari semua soal dalam tes/skala yang diperoleh dengan menghitung nilai rata-rata point biserial dari semua butir soal dalam tes/skala.
15. Mean- Biserial adalah juga nilai rata-rata indeks daya beda yang diperoleh dengan menghitung nilai rata-rata korelasi biserial dari semua butir soal dalam tes/skala.
16. Scale intercorrelation adalah indeks korelasi antara antara skor-skor peserta tes yang diperoleh dari setiap subtes/subskala.

-**SELAMAT MENCOBA**-