Artikel ini diperiksa dan disunting ulang dari artikel Edy Suhardono yang pertama kali dipublikasikan di Facebook Edy Suhardono, SEDIKIT MENGULIK “MARGIN OF ERROR”, 21 Maret 2019.
Edy Suhardono, Penulis buku “Refleksi Metodologi Riset: Panorama Survey” (Jakarta: PT.Gramedia Pustaka Utama, 2001).
Cermatan saya ini berlaku bagi umumnya pembacaan hasil survei, kecuali varian baru survei dalam hingar bingar Pilpres 2019 yang dikenal dengan “survei internal”. Pada hampir semua ekspose hasil survei selalu disebut istilah “margin of error” (MOE), apakah yang sebenarnya dimaksud?
Survei berbeda dengan sensus. Pada survei yang disorot adalah sampel, sehingga hasilnya pun mungkin tidak akan sama persis dengan hasil “sebenarnya” yang diperoleh jika dilakukan wawancara langsung terhadap semua orang dalam populasi berjumlah 152.050.861 orang sebagaimana dapat diketahui dari situs KPU tentang DPT.
MOE dalam pengambilan sampel menggambarkan seberapa dekat surveyor secara wajar mengharapkan hasil survei relatif meleset dari nilai yang didapat dari populasi sebenarnya.
MOE plus atau minus 3 poin persentase pada tingkat kepercayaan 95% berarti bahwa jika surveyor menerjunkan survei yang sama 100 kali, ia akan mengharapkan hasilnya berada dalam 3 poin persentase dari nilai populasi sebenarnya yang dilakukan 95 kali pengulangan.
MOE yang biasanya dilaporkan oleh surveyor menggambarkan jumlah variabilitas yang dapat diharapkan di kisaran tingkat dukungan kandidat individu.
Dengan demikian, MOE plus atau minus 3 persentase berarti bahwa 48% dukungan pada paslon X berada dalam kisaran yang dapat diharapkan dengan pengandaian bahwa tingkat dukungan sebenarnya dalam populasi penuh terletak di suatu tempat 3 titik di kedua arah, yaitu antara 45% dan 51%.
Lantas bagaimana kita tahu jika paslon X berada di luar MOE?
Laporan berita tentang jajak pendapat sering mengatakan bahwa paslon X adalah “di luar MOE ” untuk menunjukkan bahwa posisi paslon X lebih besar dari apa yang diharapkan sebagai akibat dari kesalahan pengambilan sampel.
Bagaimana kita bisa membedakan perubahan nyata sebenarnya terlepas dari kebisingan statistik?
Seperti halnya perbedaan antara dua paslon, MOE untuk membedakan antara dua jajak pendapat mungkin lebih besar dari yang Anda pikir atau perkirakan.
Dengan menggunakan ambang batas tradisional 95%, diharapkan 5% dari jajak pendapat itu menghasilkan estimasi yang berbeda dari nilai populasi sebenarnya dan ini lebih dari yang diinformasikan lewat MOE.
Serangkaian survei jajak pendapat yang menunjukkan peningkatan perolehkan paslon secara bertahap dapat saja dianggap sebagai bukti tren nyata, bahkan jika perbedaan antara survei individu berada dalam toleransi MOE.
Bagaimana MOE berlaku untuk subkelompok? Misalnya menurut kelompok usia?
Secara umum, MOE yang dilaporkan untuk jajak pendapat berlaku untuk perkiraan yang menggunakan seluruh sampel. Karena perkiraan survei pada sub-kelompok populasi memiliki lebih sedikit kasus, margin MOE-nya pun lebih besar dalam beberapa kasus yang jauh lebih besar; dan ini yang tidak disebut tersendiri untuk setiap sub-kelompok.
Sampel acak sederhana dari Litbang Kompas yang melibatkan 2000 kasus memiliki MOE plus atau minus 2,2 poin persentase dari jumlah kasus tersebut untuk perkiraan dukungan keseluruhan untuk masing-masing paslon.
Jika ditayangkan elektabilitas Jokowi-Ma’ruf berada di angka 49,2 persen, sementara Prabowo-Sandiaga 37,4 persen; dan 13,4 persen responden menyatakan rahasia; ini berarti bahwa tingkat dukungan sebenarnya dalam populasi penuh terletak di suatu tempat 2,2 titik di kedua arah, di mana:
1. Jokowi-Ma’ruf berada di angka antara 47 dan 51,4 persen;
2. Prabowo-Sandiaga berada di antara 35,2 dan 39,6 persen; dan
3. “Swing voter” berada di antara 11,2 dan 15,6 persen.
Apa yang menentukan jumlah kesalahan dalam estimasi survei?
Banyak pengamat survei jajak pendapat tahu bahwa MOE untuk survei didorong terutama oleh ukuran sampel. Pembobotan menjadi langkah penting guna menghindari hasil yang bias, tetapi pada saat yang sama juga memiliki efek memperbesar margin kesalahan.
Jadi, tidak seperti kesalahan pada pengambilan sampel, yang dapat dihitung, jenis kesalahan lainnya jauh lebih sulit untuk diukur dan karenanya jarang dilaporkan.
Tentang Penulis: Edy Suhardono adalah Pendiri IISA VISI WASKITA dan IISA Assessment, Consultancy & Research Centre. Penulis buku “Refleksi Metodologi Riset: Panorama Survey” (Jakarta: PT.Gramedia Pustaka Utama, 2001). Ia juga penggagas SoalSial. Ikuti ia di Facebook IISA dan Twitter IISA.