Berikut resume dari Buku Program Evaluation Bab XIII Penulis Fitzpatrick, Jody L, Sanders, James R, Worthen

Bab XIII Bagaimana Melakukan Perencanaan Evaluasi

Pertanyaan yang Berorientasi

  1. Apa fungsi dari pertanyaan evaluasi? Kriteria? Standar? Kapan kriteria dan standar diperlukan?
  2. Apa sumber yang baik untuk pertanyaan evaluasi?
  3. Peran apa yang harus dimainkan oleh evaluator dalam menentukan pertanyaan apa yang akan dibahas dalam evaluasi? Peran apa yang harus dimainkan klien?
  4. Dalam mengidentifikasi dan memilih pertanyaan evaluasi, kekhawatiran danapa yang berbeda aktivitasterlibat dalam fase yang berlainan dan konvergen?
  5. Apakah standar harus absolut atau relatif?

Evaluasi dilakukan untuk menjawab pertanyaan mengenai adopsi Program, kelanjutan, atau perbaikan. Pertanyaan evaluasi memberikan arahan dan dasar untuk evaluasi. Tanpa mereka, evaluasi akan kurang fokus, dan evaluator akan mengalami kesulitan besar menjelaskan apa yang akan diperiksa, dan bagaimana dan mengapa itu sedang diperiksa. Bab ini akan berfokus pada bagaimana pertanyaan-pertanyaan evaluasi ini dapat diidentifikasi dan ditentukan untuk memberikan landasan bagi studi evaluasi dan untuk memaksimalkan penggunaan hasil. Tanggung jawab utama paraadalah bekerja dengan para pemangku kepentingan dan menggunakan pengetahuan danmereka sendiri penilaikeahliandalam penelitian dan evaluasi untuk mengembangkan pertanyaan yang bermakna, penting, layak untuk dijawab dalam sumber daya yang diberikan, dan kemungkinan untuk memberikan informasi yang berguna bagi pengguna yang dituju dan pemangku kepentingan lainnya.

Proses mengidentifikasi dan mendefinisikan pertanyaan yang harus dijawab oleh evaluasi sangat penting. Ini membutuhkan refleksi dan investigasi yang cermat. Jika pertanyaan-pertanyaan penting diabaikan atau pertanyaan-pertanyaan sepele diperbolehkan untuk mengkonsumsi sumber daya evaluasi, itu dapat menghasilkan hal-hal berikut:

  • Sedikit atau tidak ada hasil dari pengeluaran untuk evaluasi
  • Fokus evaluasi miopi yang salah menafsirkan upaya di masa depan
  • Kehilangan niat baik atau kredibilitas karena Pertanyaan atau masalah penting audiens dihilangkan.
  • Ketidakhadiran pemangku kepentingan yang sah.
  • Kesimpulan yang tidak dapat dibenarkan tentang program

Selama tahap perencanaan ini, evaluator juga dapat bekerja dengan pemangku kepentingan untuk mengidentifikasi kriteria, atau faktor, yang akan digunakan untuk menilai keberhasilan program dan standar yang akan digunakan untuk menentukan keberhasilan program pada setiap kriteria. Identifikasi kriteria dan standar sangat penting dalam evaluasi sumatif, tetapi juga berperan dalam evaluasi formatif. Dalam kedua kasus, evaluasi biasanya membuat penilaian tentang kualitas program — atau beberapa aspeknya: apakah itu harus dilanjutkan atau diperluas atau apakah harus diperbaiki dihentikan. Kami akan kembali mengidentifikasi kriteria dan menetapkan standar di bab ini, tetapi pertama kami akan fokus pada pengembangan dan identifikasi pertanyaan evaluasi untuk memandu penelitian.

Cronbach (1982) menggunakan istilah “divergen” dan “konvergen” untuk membedakan dua fase mengidentifikasi dan memilih pertanyaan untuk evaluasi. Kami akan mengadopsi label yang bermanfaat ini dalam diskusi berikut.

Pada fase yang berbeda, sebagai daftar lengkap yang komprehensif dari pertanyaan dan kekhawatiran yang berpotensi penting mungkin dikembangkan. Item berasal dari banyak sumber, dan hanya sedikit yang dikecualikan, karena evaluator ingin memetakan medan sedapat mungkin, mempertimbangkan semua kemungkinan arah.

Dalam fase konvergen, para evaluator memilih dari daftar ini pertanyaan-pertanyaan paling kritis untuk ditangani. Kriteria dan standar kemudian dapat ditentukan untuk pertanyaan yang membutuhkannya. Seperti yang akan kita lihat nanti di bab ini, proses menetapkan prioritas dan membuat keputusan tentang fokus spesifik untuk evaluasi adalah tugas yang sulit dan rumit.

Selama evaluasi, masalah baru, pertanyaan, dan kriteria dapat muncul. Evaluator harus tetap fleksibel, memungkinkan modifikasi dan penambahan pada rencana evaluasi ketika mereka tampak dibenarkan. Sekarang mari kita perhatikan fase yang berbeda, dan kemudian konvergen, dalam beberapa detail.

Mengidentifikasi Sumber-Sumber Berguna untuk Pertanyaan Evaluasi: The Divergent Phase

Cronbach (1982) merangkum fase yang berbeda dari perencanaan evaluasi sebagai berikut:

Langkah pertama adalah membuka pikiran seseorang untuk pertanyaan-pertanyaan yang harus dihibur setidaknya sebentar sebagai prospek untuk penyelidikan. Fase ini merupakan tindakan evaluatif itu sendiri, membutuhkan pengumpulan data, analisis beralasan, dan penilaian. Sangat sedikit informasi dan analisis ini bersifat kuantitatif. Data berasal dari percakapan informal, pengamatan santai, dan peninjauan catatan yang masih ada. Metode naturalistik dan kualitatif sangat cocok untuk pekerjaan ini karena, memperhatikan persepsi peserta dan pihak yang berkepentingan, mereka memungkinkan evaluator untuk mengidentifikasi harapan dan ketakutan yang mungkin belum muncul sebagai masalah kebijakan.

Evaluator harus mencoba untuk melihat program melalui mata berbagai sektor masyarakat pembuat keputusan, termasuk para profesional yang akan mengoperasikan program ini jika diadopsi dan warga yang akan dilayani olehnya (hlm. 210, 212). –213).

Bagi para evaluator untuk mendapatkan pandangan yang benar-benar berbeda tentang apa yang mungkin akan dibahas oleh evaluasi, mereka harus melemparkan jaring yang luas dan belajar dari banyak sumber yang mungkin.

Sumber-sumber ini meliputi:

  1. Kebutuhan informasi, pertanyaan, dan kekhawatiran pemangku kepentingan
  2. Pertanyaan atau masalah yang disarankan oleh pendekatan evaluasi (seperti yang ada di Bagian Dua buku ini)
  3. Teori dan temuan dalam literatur penelitian tentang isi program atau kliennya
  4. Standar profesional, daftar periksa, pedoman, atau kriteria yang dikembangkan atau digunakan di tempat lain
  5. Pandangan dan pengetahuan konsultan ahli
  6. Penilaian profesional evaluator Masing-masing sumber ini akan didiskusikan secara lebih rinci di halaman-halaman berikut.

Mengidentifikasi Pertanyaan, Kekhawatiran, dan Kebutuhan Informasi dari Stakeholder

Secara umum, satu-satunya sumber pertanyaan evaluasi yang paling penting adalah pemangku kepentingan program: kliennya, sponsor, peserta, dan audiens yang terpengaruh. Saat ini, sebagian besar pendekatan untuk evaluasi menekankan pentingnya berkonsultasi dengan para pemangku kepentingan, terutama selama fase perencanaan. Kami tidak dapat terlalu menekankan pentingnya mengumpulkan pertanyaan, wawasan, persepsi, harapan, dan ketakutan dari pemangku kepentingan studi evaluasi, karena informasi tersebut harus menjadi yang utama dalam menentukan fokus evaluasi.

Untuk mendapatkan masukan semacam itu, evaluator perlu mengidentifikasi individu dan kelompok yang dipengaruhi atau dipengaruhi oleh apa pun yang sedang dievaluasi. Daftar periksa dari para pemangku kepentingan dan audiensi evaluasi potensial yang disajikan dalam Bab 12 dapat digunakan untuk mengidentifikasi para pemangku kepentingan potensial untuk terlibat dalam identifikasi pertanyaan.

Jika pendekatan yang akan diambil akan melibatkan beberapa pemangku kepentingan secara mendalam, evaluator harus mengambil waktu sekarang untuk mengidentifikasi mereka dan memulai keterlibatan intensif mereka. Patton (2008a) menyarankan bahwa pemangku kepentingan tersebut harus menjadi pengguna utama yang dimaksudkan, orang atau bahkan individu yang tertarik pada evaluasi dan termotivasi dan dapat menggunakan hasilnya. Pendekatan lain mengharuskan evaluator untuk melibatkan banyak pemangku kepentingan pada tahap ini.

Ini dapat berguna bagi evaluator untuk menampi daftar ekstensif pada Gambar 12.1 untuk beberapa kategori. Kami menemukan bahwa kategori pemangku kepentingan yang berguna untuk dipertimbangkan untuk pertanyaan evaluasi meliputi (1) pembuat kebijakan (seperti legislator, staf legislatif, atau anggota dewan yang mengatur dan staf mereka); (2) administrator atau manajer (mereka yang mengarahkan dan mengelola program atau entitas untuk dievaluasi atau yang mengelola organisasi tempat program berada); (3) praktisi atau pengantar program (mereka yang mengoperasikan program atau memberikan layanannya); (4) konsumen utama (mereka yang berpartisipasi dalam program dan dimaksudkan untuk memperoleh manfaat darinya); dan (5) konsumen sekunder (anggota keluarga, warga, dan kelompok masyarakat yang terpengaruh oleh apa yang terjadi pada konsumen primer atau ke program itu sendiri). Kelima kelompok ini mewakili jenis pemangku kepentingan yang terkait dengan hampir semua program.

Beberapa pemangku kepentingan atau kelompok pemangku kepentingan yang berbeda dapat muncul di setiap kategori. Sebagai contoh, administrator dan manajer untuk program sekolah akan sering melibatkan asisten kepala sekolah, kepala sekolah, orang-orang di administrasi pusat yang berafiliasi dengan program, koordinator klaster, dan sebagainya.

Begitu para pemangku kepentingan diidentifikasi, mereka harus diwawancarai untuk menentukan apa yang ingin mereka ketahui tentang objek evaluasi. Pertanyaan atau masalah apa yang mereka miliki? Apa persepsi mereka tentang program yang akan dievaluasi? Menurut mereka apa yang dirancang untuk dilakukan, dan seberapa baik mereka berpikir melakukan hal itu? Apa yang mereka ketahui tentang kegiatan program, dan apakah mereka memiliki kekhawatiran tentang elemen atau fase tertentu? Apa yang mereka lihat sebagai alasan atau alasan untuk program dan bagaimana cara kerjanya? Bagaimana mereka akan mengubah program jika mereka memiliki kesempatan?

Dinamika Melibatkan Pemangku Kepentingan untuk Mencapai Keabsahan dan Kesetaraan.

Evaluasi telah bergerak ke arah yang semakin partisipatif sejak permulaannya. Hari ini, para pemangku kepentingan terlibat dalam evaluasi karena banyak alasan, tetapi yang utama adalah untuk mendorong penggunaan dan untuk meningkatkan validitas penelitian (Brandon, 1998; Cousins ​​& Whitmore, 1998). Evaluator partisipatif telah persuasif dalam menyatakan bahwa melibatkan pengguna potensial pada banyak tahap evaluasi akan meningkatkan penggunaan hasil. Melibatkan pemangku kepentingan di fase perencanaan mengurangi kecemasan mereka tentang evaluasi dan meningkatkan pemahaman mereka tentang tujuan dan maksudnya, serta memastikan bahwa pertanyaan evaluasi menjawab keprihatinan mereka.

Melibatkan pemangku kepentingan memiliki keuntungan lebih lanjut meningkatkan validitas penelitian (Brandon, 1998, 2005). Evaluator, terutama evaluator eksternal, mungkin baru dalam program; para pemangku kepentingan tidak. Mereka tahu itu. Huberman dan Cox menulis: “Evaluator itu seperti pelaut pemula yang bekerja dengan yachtsmen yang telah berlayar di perairan kelembagaan ini selama bertahun-tahun, dan mengetahui setiap pulau, karang, dan saluran” (1990, h. 165). Melibatkan pemangku kepentingan dalam menjelaskan program, menetapkan batas program, mengidentifikasi pertanyaan evaluasi, dan membuat rekomendasi tentang pengumpulan data, analisis, dan interpretasi menambah validitas evaluasi karena pemangku kepentingan adalah ahli program. Sementara keahlian kelompok-kelompok pemangku kepentingan akan bervariasi, masing-masing kelompok memiliki pandangan khusus terhadap program yang berbeda, dan sering kali lebih luas, dibandingkan dengan evaluator. Siswa atau klien telah mengalami program ini secara intim sebagai penerima. Staf telah menyampaikan program dan sering membuat pilihan tentang cara pengirimannya. Manajer telah membantu mendanai dan merencanakannya, memantaunya, dan mempekerjakan orang untuk menerapkannya. Para pemangku kepentingan adalah ahli program, tetapi evaluator biasanya adalah para ahli evaluasi. Mereka tahu evaluasi apa yang bisa dilakukan dan, sama pentingnya, apa yang tidak bisa dilakukan. Jadi, komunikasi antara keduanya, pemangku kepentingan dan evaluator, diperlukan untuk mengidentifikasi pertanyaan yang dapat berhasil diatasi oleh studi evaluasi dan yang bermakna dan berguna bagi pengguna yang dituju.

Nick Smith (1997) telah mengembangkan tiga aturan prosedural yang luas untuk menggunakan pemangku kepentingan untuk meningkatkan evaluasi:

  • Pemangku kepentingan berbeda dalam pengetahuan dan keahlian mereka. Gunakan para pemangku kepentingan untuk bidang-bidang di mana mereka memiliki keahlian dan pengalaman.
  • Pertimbangkan baik-baik metode yang digunakan untuk memanfaatkan keahlian itu.
  • Pastikan bahwa partisipasi itu adil, khususnya bahwa pemangku kepentingan dengan

kekuatan yang lebih kecil mampu memberikan informasi dan pandangan dengan cara yang aman, nyaman, dan adil.

Brandon (1998), Greene (1987), dan Trochim dan Linton (1986) menjelaskan beberapa metode spesifik untuk mencapai masukan yang berguna dan valid dari para pemangku kepentingan. Tanyakan kepada pemangku kepentingan tentang apa yang mereka ketahui. Sebagai contoh, para guru tahu mengapa mereka membuat perubahan dalam kurikulum yang direncanakan; siswa atau peserta program tidak. Peserta tahu apa yang mereka pahami dan bagaimana perasaan mereka tentang program atau kurikulum; guru atau staf program mungkin bukan sumber terbaik untuk informasi semacam itu. Evaluator harus mempertimbangkan apa yang diketahui setiap kelompok dan belajar lebih banyak tentang perspektif kelompok tersebut. Brandon (1998) menjelaskan cara yang sangat baik untuk melibatkan para guru – kelompok dengan keahlian paling tinggi dalam harapan yang sesuai untuk siswa mereka – dalam menetapkan standar untuk evaluasi.

Ketika kelompok-kelompok pemangku kepentingan berbeda dalam kekuasaan, seperti halnya dalam hampir semua evaluasi, menggunakan kelompok-kelompok kecil, fasilitator terlatih, dan metode lain untuk mendengar suara para pemangku kepentingan yang kurang kuat dapat menjadi penting. Dalam evaluasi pendidikan, banyak orang tua yang belum memiliki pengalaman sukses dengan sistem sekolah (misalnya, orang tua yang berjuang di sekolah sendiri, imigran, orang tua yang tidak berbahasa Inggris) tidak mungkin merasa nyaman mengungkapkan keprihatinan mereka dalam kelompok besar di mana guru dan administrator pendidikan, sering dari kelas sosial yang berbeda, hadir.

Siswa cenderung merasa kehilangan haknya. Namun pandangan kelompok-kelompok ini penting, tidak hanya untuk tujuan demokratis dan sosial, tetapi juga untuk meningkatkan validitas evaluasi itu sendiri. Kelompok-kelompok ini dapat memberikan perspektif yang signifikan dan berbeda pada pertanyaan evaluasi dan metode pengumpulan data, tetapi cara di mana masukan mereka dicari harus dipertimbangkan dan direncanakan dengan hati-hati.

Memperoleh Pertanyaan Evaluasi dari Stakeholder. Banyak pemangku kepentingan yang tidak terbiasa dengan evaluasi mungkin mengalami kesulitan mengungkapkan apa yang mereka ingin evaluasi lakukan karena mereka tidak tahu evaluasi apa yang dapat dilakukan. Oleh karena itu, penting bahwa evaluator mengumpulkan informasi dengan cara yang berarti bagi para pemangku kepentingan. Daripada fokus pada evaluasi, evaluator dapat mulai dengan bidang keahlian pemangku kepentingan — pengetahuan mereka tentang program, pengalaman mereka dengannya, dan kekhawatiran mereka tentang hal itu. Evaluator dapat menerjemahkan kekhawatiran ini ke dalam pertanyaan evaluasi di kemudian hari.

Dalam banyak kasus, ketika hubungan dengan pemangku kepentingan yang signifikan berevolusi, evaluator dapat pindah ke peran edukatif untuk membantu para pemangku kepentingan belajar tentang berbagai pertanyaan yang dapat diatasi oleh evaluasi atau untuk mengenalkan mereka dengan temuan penelitian yang relevan atau pendekatan evaluasi yang akan sesuai. Namun, pada tahap awal, penting bagi evaluator untuk menghabiskan lebih banyak waktu mendengarkan daripada mendidik. Dengan mendengarkan persepsi dan kepedulian para pemangku kepentingan, evaluator akan mendapatkan sejumlah besar informasi tentang program, lingkungannya, metode pengambilan keputusan yang khas, dan nilai-nilai serta gaya dari para pemangku kepentingan.

Bertanya mengapa mereka khawatir tentang aspek tertentu dari objek evaluasi, mengapa mereka menilai hasil tertentu, metode lain apa yang mereka pikir akan berguna untuk mencapai hasil, atau apa yang akan mereka lakukan dengan jawaban atas pertanyaan tertentu dapat membantu evaluator menilai nilai dari pertanyaan-pertanyaan itu.

Tidak ada teknik tunggal untuk memunculkan pertanyaan evaluasi dari para pemangku kepentingan, tetapi kami percaya pendekatan yang sederhana dan langsung bekerja paling baik. Sebelum mencoba mengidentifikasi pertanyaan-pertanyaan ini, penting untuk menetapkan konteks yang akan membantu membuatnya lebih bermakna. Sebagai contoh, kita dapat memulai dengan cara ini: “Seperti yang Anda ketahui, saya telah disewa untuk melakukan evaluasi terhadap program X. Saya ingin informasi yang saya kumpulkan berguna bagi orang-orang seperti Anda. Pada tahap ini, saya tertarik untuk mempelajari pemikiran dan pandangan Anda tentang program dan apa yang dapat dilakukan evaluasi untuk Anda. Apa pendapat Anda tentang program ini? ”(Perhatikan“ pikiran ” adalah kata yang samar-samar, tetapi netral yang dapat mendorong banyak tanggapan yang berbeda.)

Kita merasa berguna untuk memulai dengan cara yang agak umum ini. Apa yang para pemangku kepentingan pilih untuk memberi tahu evaluator mencerminkan prioritas masing-masing. Membuat pertanyaan awal lebih terfokus dapat menyebabkan hilangnya informasi atau masalah penting.

Kami mulai dengan pertanyaan yang sangat terbuka dan benar-benar tertarik pada apa yang dapat mereka katakan terlebih dahulu. Tetapi evaluator akan menggunakan pertanyaan tambahan dan meminta untuk mempelajari apa yang diketahui pemangku kepentingan tentang program, apa yang menurut mereka dirancang untuk dicapai, apa kekuatannya, dan apa kekhawatiran mereka. Beberapa

probing dapat memungkinkan evaluator untuk mempelajari persepsi para pemangku kepentingan tentang model atau teori program sambil menghindari jargon teknis. Misalnya, jika pendekatan berbasis teori tampaknya tepat, evaluator mungkin mengajukan pertanyaan seperti: “Apa yang Anda lihat sebagai perubahan besar yang akan terjadi pada siswa atau klien sebagai hasil dari berpartisipasi dalam program ini?” Lalu, “Bagaimana Anda pikir kegiatan program mengarah pada hasil-hasil tersebut? ”Atau,“ Kegiatan apa yang Anda anggap paling penting dalam mencapai tujuan-tujuan ini? ”

Setelah mengetahui persepsi para pemangku kepentingan tentang program, para evaluator kemudian bergerak untuk belajar lebih banyak tentang pertanyaan apa yang mereka menginginkan evaluasi untuk dijawab. Tidak ada langkah yang lebih penting, atau lebih sering diabaikan, untuk memastikan bahwa evaluasi akan digunakan oleh para pemangku kepentingan. Evaluator dapat memulai dengan bertanya: “Apa yang Anda harap Anda akan belajar dari evaluasi?” Atau, “Jika saya dapat mengumpulkan informasi untuk menjawab pertanyaan tentang program yang Anda ingin evaluasi ini untuk menjawab, pertanyaan apa itu?” Seperti acar dalam botol, pertanyaan evaluatif lebih mudah dikeluarkan setelah yang pertama diekstraksi.

Beberapa menyelidik dapat membantu para pemangku kepentingan memfokuskan pemikiran mereka, menggunakan pertanyaan seperti “Informasi apa yang paling bermanfaat bagi Anda untuk mengelola atau menjalankan program dengan lebih baik? Untuk memutuskan apakah akan melanjutkan dukungan Anda? Partisipasi Anda di dalamnya? ”Atau untuk tujuan formatif:“ Komponen atau kegiatan program mana yang tidak berfungsi seperti yang Anda duga? Apa kekhawatiran Anda tentang mereka? ”Jika para pemangku kepentingan mengabaikan bidang-bidang yang dianggap penting oleh orang lain, atau penelitian, yang penting, evaluator mungkin bertanya,“ Apakah Anda tertarik pada X (mengisi area)? ”“ X ”mungkin merupakan program khusus area (Apakah Anda tertarik untuk mengetahui lebih banyak tentang bagaimana siswa pertama bereaksi terhadap pendekatan matematika baru?) atau tahap evaluasi (Apakah Anda tertarik untuk memiliki deskripsi yang baik tentang apakah kurikulum sedang disampaikan seperti yang direncanakan?) Pertanyaannya “Apa lagi yang akan Anda ingin tahu? ”sering menghasilkan tanggapan yang melimpah. Ini bukan saatnya untuk menilai atau menunjukkan bahwa

beberapa pertanyaan yang disarankan saat ini mungkin tidak dapat dijawab. Ini adalah waktu untuk menghasilkan semua pertanyaan evaluasi yang mungkin. Menimbang dan memilih subset pertanyaan yang harus dikejar akhirnya akan dilakukan nanti, di tahap konvergen. Namun, para evaluator harus secara singkat menjelaskan proses tersebut kepada semua pemangku kepentingan yang diwawancarai sehingga mereka mengakui bahwa pertanyaan-pertanyaan itu akan ditampi nanti.

Gambar 13.1 mengilustrasikan kemungkinan urutan pertanyaan dalam wawancara pemangku kepentingan, yang mengarah dari pertanyaan umum yang ditujukan untuk mengidentifikasi pandangan pemangku kepentingan terhadap program, hingga pertanyaan yang lebih terfokus untuk mengidentifikasi pertanyaan evaluasi utama mereka. Prosedur khusus tambahan untuk membimbing interaksi evaluator-peserta dapat ditemukan dalam tulisan-tulisan pendukung evaluasi responsif dan partisipatif dan orang lain (misalnya, Abma & Stake, 2001; Cousins ​​& Shula, 2008; Greene, 1987, 1988; King, 1998). Patton (2008a) evaluasi yang berfokus pada pemanfaatan (UEA) memberikan panduan tambahan bagi evaluator untuk belajar tentang kebutuhan informasi dari para pemangku kepentingan.

  1. Apa persepsi umum Anda terhadap program? Apa yang kamu pikirkan tentang itu? (Apakah Anda berpikir baik tentang itu? Buruknya? Apa yang Anda sukai tentang hal itu? Apa yang tidak Anda sukai? Mengapa?)
  2. Apa yang Anda rasakan sebagai tujuan (tujuan, sasaran) atau membimbing filosofi program? (Apakah Anda setuju dengan tujuan atau filosofi ini? Apakah menurut Anda masalah alamat program sangat berat? Penting?)
  3. Menurut Anda, apa teori atau model untuk program ini? (Mengapa / bagaimana menurut Anda cara kerjanya? Bagaimana cara kerjanya? Mengapa tindakan program mengarah pada keberhasilan pada tujuan atau kriteria program? Komponen program mana yang paling penting untuk kesuksesan?)
  4. Apa kekhawatiran yang Anda miliki tentang program? Tentang hasilnya? Operasinya? Masalah lain?
  5. Apa yang Anda harapkan dari evaluasi ini? Mengapa masalah ini penting bagi Anda?
  6. Bagaimana Anda bisa menggunakan informasi yang diberikan oleh jawaban atas pertanyaan-pertanyaan ini? (Apakah Anda akan menggunakannya untuk membuat keputusan, untuk meningkatkan pemahaman Anda?)
  7. Menurut Anda, apa jawaban atas pertanyaan itu? (Apakah Anda sudah mengetahuinya? Apakah Anda akan khawatir jika jawabannya sebaliknya?)
  8. Apakah ada pemangku kepentingan lain yang akan tertarik dengan pertanyaan ini? Siapa mereka? Apa minat mereka?

Dengan mengedepankan rencana evaluasi dalam keprihatinan orang-orang kunci, evaluator mengambil langkah-langkah untuk memastikan bahwa evaluasi akan berguna dan responsif terhadap konstituen yang mungkin memiliki sudut pandang yang berbeda. Misalnya, pertimbangkan program pelatihan kepemimpinan yang dibiayai oleh yayasan eksternal. Wawancara dengan pemangku kepentingan dari program semacam itu mungkin menghasilkan pertanyaan-pertanyaan berikut:

  1. (Dari administrator program) Apakah kita berjalan tepat waktu dan sesuai anggaran kita? Apakah kita memenuhi harapan dasar untuk program ini? Apakah program sedang dilaksanakan sesuai rencana? Perubahan apa yang telah terjadi dan mengapa? Apakah peserta mendapatkan keterampilan kepemimpinan yang diinginkan pada tingkat yang diinginkan?
  2. (Dari staf program) Apakah kita memberikan program seperti yang direncanakan? Perubahan apa yang dibuat dari model program dan mengapa? Bagaimana reaksi peserta pelatihan terhadap program ini? Sesi / metode mana yang paling berhasil? Mana yang terburuk?
  3. (Dari peserta yang menjadi sasaran program) Apakah keterampilan kepemimpinan peserta benar-benar meningkat? Apakah mereka menggunakan mereka di tempat kerja? Bagaimana? Bagian apa dari program yang paling bermanfaat bagi peserta?
  4. (Dari para manajer puncak di organisasi) Apa bukti yang ada bahwa program tersebut mencapai tujuannya? Apakah program ini memiliki dampak yang diinginkan pada unit tempat para peserta pelatihan bekerja? Apakah program ini berfungsi sebagai model untuk upaya perubahan lainnya di organisasi kami? Bagaimana cara kerja dalam program ini mengubah organisasi kami? Biaya berkelanjutan apa yang akan ada setelah dukungan fondasi berakhir?
  5. (Dari yayasan) Apakah program melakukan apa yang dijanjikannya? Bukti apa yang ada sehingga variabel yang ditargetkan untuk perubahan benar-benar berubah? Seberapa hemat biaya program ini? Mungkinkah program ini didirikan di pengaturan lain? Bukti apa yang ada bahwa program akan terus berlanjut setelah dana yayasan dihentikan?

Menggunakan Pendekatan Evaluasi sebagai Heuristik

Dalam mengeksplorasi berbagai pendekatan untuk evaluasi dalam Bagian Dua buku ini, kami mencatat bahwa kerangka kerja konseptual dan model khusus yang dikembangkan di bawah setiap pendekatan memainkan peran penting dalam menghasilkan pertanyaan evaluasi. Ini adalah satu tempat dalam proses evaluasi di mana pekerjaan konseptual yang dilakukan oleh ahli teori evaluasi yang berbeda membayar dividen yang cukup besar.

Dalam meninjau ulang literatur evaluasi yang diringkas dalam Bagian Dua, evaluator diarahkan ke pertanyaan-pertanyaan tertentu. Terkadang sebuah kerangka kerja tidak cocok dan harus dikesampingkan, tetapi biasanya sesuatu yang bernilai disarankan oleh masing-masing pendekatan, seperti yang diilustrasikan contoh-contoh berikut.

Pendekatan yang berorientasi pada program mendorong kita untuk menggunakan karakteristik program sebagai panduan untuk evaluasi. Pendekatan berorientasi tujuan mengarahkan kita untuk mengukur apakah tujuan dan sasaran tercapai, tetapi kita mungkin tidak mengevaluasi semua tujuan. Mana yang paling menarik bagi para pemangku kepentingan? Mengapa? Kenapa yang

lain tidak menarik? Standar apa yang akan kita gunakan untuk menentukan apakah tujuan tertentu tercapai? (Seberapa baik kinerja harus dianggap sukses?)

Pendekatan berbasis teori mendorong kita untuk belajar tentang program melalui pengembangan atau mengartikulasikan teori untuk program, menghubungkan masalah yang ada sebelum program untuk memprogram tindakan dan, kemudian, untuk memprogram hasil. Pertanyaan evaluasi dapat didasarkan pada salah satu konsep yang muncul dalam proses ini.

Ini dapat mencakup belajar lebih banyak tentang masalah yang dirancang program untuk ditangani, menginvestigasi kegiatan program kritis dan kaitannya dengan output langsung, atau mengeksplorasi atau mendokumentasikan hasil program jangka pendek atau jangka panjang.

Pendekatan yang berorientasi pada keputusan membuat para evaluator fokus pada kebutuhan informasi dan keputusan yang harus dibuat. Pendekatan manajemen berorientasi khusus yang dikembangkan oleh Stufflebeam menghasilkan pertanyaan yang biasanya muncul pada berbagai tahap program: konteks (kebutuhan), input (desain), proses (implementasi), danproduk tahap(hasil). Evaluasi yang berfokus pada pemanfaatan mendorong evaluator untuk mengidentifikasi pengguna yang dimaksudkan primer dan melibatkan mereka pada tahap ini dalam mengidentifikasi pertanyaan evaluasi yang memenuhi kebutuhan informasi mereka (Patton, 2008a).

Pendekatan yang berorientasi pada peserta mengingatkan kita bahwa kita harus yakin untuk mempertimbangkan semua pemangku kepentingan dan harus mendengarkan apa yang setiap kelompok dan individu harus katakan bahkan selama percakapan informal. Perbedaan dalam pendekatan partisipatif praktis dan pendekatan partisipatif transformatif mengingatkan kita untuk mempertimbangkan apa yang ingin kita capai melalui partisipasi pemangku kepentingan. Pendekatan partisipatif praktis dimaksudkan untuk meningkatkan penggunaan, seringkali dengan melibatkan beberapa pemangku kepentingan (manajer atau staf program) secara lebih mendalam. Pendekatan partisipatif transformatif dirancang untuk memberdayakan para pemangku kepentingan (manajer program, staf, atau klien) untuk mengevaluasi program mereka sendiri dan membuat keputusan yang efektif atau untuk mempelajari lebih lanjut tentang perbedaan kekuasaan dalam pengaturan atau konteks mereka dan mengubah pengaturan kekuasaan tersebut. Jadi, pada tahap ini, kedua pendekatan ini mungkin memiliki arah yang berbeda. Dalam kebanyakan pendekatan praktis, evaluator bekerja dalam kemitraan dengan beberapa pemangku kepentingan untuk mengidentifikasi pertanyaan evaluasi, meskipun pemangku kepentingan lainnya cenderung dipertimbangkan dan diwawancarai. Dalam pendekatan transformatif dan dalam evaluasi pengembangan kapasitas (ECB), evaluator mengambil lebih banyak dari belakang kursi untuk memungkinkan para pemangku kepentingan untuk belajar melalui menentukan dan mengklarifikasi pertanyaan evaluasi.

Pendekatan yang berorientasi pada konsumen telah menghasilkan banyak daftar periksa dan serangkaian kriteria yang mungkin bernilai besar ketika memutuskan komponen atau karakteristik apa yang akan dipelajari dalam evaluasi atau standar apa yang akan diterapkan. Pendekatan berorientasi keahlian telah menghasilkan standar dan kritik yang mencerminkan kriteria dan nilai yang digunakan oleh para ahli kontemporer di bidang pendidikan, kesehatan mental, layanan sosial,pidana peradilan, dan bidang lainnya.

Sejauh pendekatan yang berbeda ini dapat merangsang pertanyaan yang mungkin tidak muncul di tempat lain, mereka merupakan sumber penting bagi evaluator untuk dipertimbangkan dalam fase yang berbeda dalam memfokuskan evaluasi. Sebagaimana dicatat, banyak pemangku kepentingan tidak akrab dengan berbagai masalah yang dapat diatasi oleh suatu evaluasi. Kami telah menemukan bahwa

para pemangku kepentingan terkadang akan fokus hanya pada hasil, dengan asumsi bahwa evaluasi harus mengukur hasil. Hal ini terutama berlaku dalam budaya yang didominasi hasil akhir zaman.

Meskipun dalam banyak kasus fokus semacam itu tepat, seringkali masalah lain lebih penting, mengingat tahapan program dan kebutuhan para pemangku kepentingan. Posavac (1994) menjelaskan sebuah kasus di mana pemahaman terbatas pemangku kepentingan terhadap evaluasi mengarah pada advokasi mereka untuk evaluasi sumatif ketika evaluasi formatif merupakan strategi yang lebih tepat. Dia berpendapat bahwa evaluator harus “mengambil peran aktif dalam membantu klien mereka untuk memahami apa yang sebenarnya mereka butuhkan” (hal. 75). Demikian pula, Fitzpatrick (1989, 1992) menjelaskan bagaimana dia meyakinkan para pemangku kepentingan untuk memungkinkan dia memeriksa kegiatan program untuk menggunakannya untuk menginterpretasikan hasil.negara Pejabatyang mengawasi program itu yakin itu disampaikan sebagaimana direncanakan meskipun fakta bahwa mereka jarang melihat program dalam operasi. Hasilnya memberikan informasi penting dan mengejutkan yang juga membantu mereka menginterpretasikan keberhasilan dan kegagalan program. Model evaluasi dapat membantu evaluator mempertimbangkan area fokus lain untuk evaluasi dan dapat mendidik pemangku kepentingan mengenai banyak sekali

masalah yang dapat diteliti oleh evaluasi.

Menggunakan Pekerjaan Penelitian dan Evaluasi di Bidang Program

Banyak evaluator memfokuskan pekerjaan mereka dalam sejumlah bidang atau bidang konten terbatas. Beberapa evaluator bekerja sepenuhnya di bidang pendidikan; orang lain di bidang-bidang seperti kesehatan mental, pendidikan kesehatan, peradilan pidana, layanan sosial, pelatihan, atau manajemen nirlaba. Dalam hal apapun, evaluator harus memiliki pengetahuan tentang teori dan temuan penelitian di bidang program dan mempertimbangkan relevansinya dengan evaluasi saat ini. Bahkan ketika evaluator telah sering bekerja di bidang program, selain mewawancarai para pemangku kepentingan, dia harus melakukan tinjauan literatur di bidang spesifik program untuk mempelajari lebih lanjut tentang intervensi apa yang telah ditemukan efektif dengan jenis siswa apa atau klien. Penelitian dan teori penelitian yang ada dapat membantu evaluator untuk mengembangkan atau memodifikasi teori program pemangku kepentingan dan menyarankan pertanyaan untuk memandu evaluasi.

Chen (1990), Weiss (1995, 1997), dan Donaldson (2007) menjelaskan cara menggunakan teori dan penelitian yang ada untuk mengembangkan atau memodifikasi model program untuk memandu evaluasi. Penelitian dan teori yang ada dapat digunakan untuk mengidentifikasi penyebab masalah yang dirancang untuk ditangani oleh program; untuk mempelajari lebih lanjut tentang-spesifik faktor faktoryang telah berhasil, atau gagal, untuk memperbaiki masalah ini; dan untuk memeriksa kondisi yang dapat meningkatkan atau menghambat kesuksesan program dengan jenis khusus siswa atau klien. Literatur penelitian dapat membantu evaluator mempertimbangkan kemungkinan bahwa program yang akan dievaluasi dapat berhasil. Ini dapat bermanfaat bagi evaluator program untuk membandingkan model dalam literatur penelitian dengan model program normatif yang ada — model pengembang program atau pemangku kepentingan. Perbedaan antara model-model ini dapat menunjukkan area penting untuk pertanyaan evaluasi. Sebagai contoh, seorang pemangku kepentingan program mungkin berpendapat bahwa membaca lebih banyak buku yang dipilih untuk mencocokkan minat dan tingkat bacaan individu siswa akan menghasilkan keuntungan belajar. Penelitian dapat menunjukkan bahwa, untuk masalah membaca tertentu yang diidentifikasi di sekolah ini, intervensi guru yang lebih terarah diperlukan. Perbedaan-perbedaan antara model normatif dan penelitian tidak, dengan sendirinya, membuktikan program akan gagal, tetapi mereka menyarankan bahwa evaluasi harus memeriksa pertanyaan yang terkait dengan perbedaan-perbedaan ini. Evaluasi yang dipublikasikan dari program serupa dapat menyarankan tidak hanya pertanyaan yang akan diteliti tetapi juga metode, ukuran, dan desain yang mungkin produktif untuk studi evaluasi.

Keakraban dengan penelitian, dan kepercayaan diri dalam peran konsultatif seseorang, dapat membantu evaluator dalam mendidik para pemangku kepentingan tentang kekuatan dan kelemahan potensial dari pendekatan mereka. Sebagai contoh, sponsor yang antusias dari program pembayaran pahala bagi para guru mungkin perlu diingatkan tentang hasil empiris campuran pada pembayaran prestasi dalam banyak pengaturan lainnya. (Lihat Milanowski [2008]; Perry, Engbers, dan Jun [2009].)

Advokat untuk kebugaran fisik dan program makan sehat di sekolah mungkin telah mengabaikan untuk mempertimbangkan budaya lingkungan imigran dan dampaknya terhadap keberhasilan program. Evaluator memiliki tanggung jawab untuk mengangkat isu-isu tersebut.

Komisi dan gugus tugas kadang-kadang dibentuk oleh pemerintah nasional, regional, atau lokal untuk mempelajari masalah yang menarik bagi pemimpin pemerintah. Laporan semacam itu menimbulkan pertanyaan provokatif dan, meskipun kadang-kadang mereka membuat klaim yang tidak dibuktikan kebenarannya, mereka biasanya mencerminkan kepedulian, masalah, dan keyakinan sosial saat ini di

wilayah atau wilayah tersebut. Mereka juga dapat berfungsi untuk menarik perhatian evaluator informasi untuk isu-isu yang harus diajukan selama evaluasi tertentu. Pertanyaan tentang isu-isu penting saat ini dapat dihilangkan jika evaluator gagal membesarkannya, dengan hasil bahwa evaluasi dapat dianggap informatif tetapi tidak memiliki informasi tentang isu-isu nyata yang dihadapi lapangan saat ini. Tentunya, kami tidak mengusulkan sebuah pendekatan bandung yang aneh untuk menentukan pertanyaan apa yang akan ditangani oleh studi evaluasi, tetapi akan sangat naif untuk tidak menyadari dan mempertimbangkan relevansi masalah pendidikan dan sosial yang menyerap literatur profesional saat ini dan media lainnya.

Menggunakan Standar Profesi, Checklist, Pedoman, dan Kriteria yang Dikembangkan atau Digunakan di Tempat Lain

Di banyak bidang, standar untuk praktik telah dikembangkan. Standar seperti itu sering dapat berguna baik dalam membantu menghasilkan pertanyaan atau dalam menentukan kriteria. (Lihat, misalnya, Standar Bukti yang dikembangkan oleh Masyarakat untuk Penelitian Pencegahan digunakan untuk evaluasi program pencegahan di arena kesehatan. Http: // www.preventionreserach.org/StandardsofEvidencebook.pdf.) Seperti penelitian dan evaluasi yang ada, standar dapat menandai area yang mungkin telah diabaikan dalam memfokuskan pada program yang ada. Mereka adalah sumber daya penting bagi para evaluator untuk memiliki alat alat mereka. Jika ada yang mengevaluasi keberhasilan evaluasi itu sendiri, Standar Evaluasi Program jelas akan berfungsi sebagai panduan penting untuk evaluasi itu. (Kami akan mencakup evaluasi meta, atau mengevaluasi evaluasi, di Bab 14.) Demikian pula, akreditasi asosiasi mengembangkan standar untuk menilai lembaga pendidikan tinggi dan rumah sakit. Peninjauan standar mereka dapat mendorong evaluator dan pemangku kepentingan untuk mempertimbangkan pertanyaan evaluasi yang sebelumnya telah diabaikan.

Meminta Konsultan Ahli untuk Menentukan Pertanyaan atau Kriteria

Evaluator sering diminta untuk mengevaluasi program di luar bidang keahlian konten mereka. Sebagai contoh, seorang evaluator dapat dipanggil untuk mengevaluasi program membaca sekolah, meskipun ia hanya tahu sedikit tentang membaca program. Para pemangku kepentingan dapat memberikan keahlian yang berharga dalam membantu mengarahkan evaluator ke hal-hal khusus dari program. Namun, dalam beberapa kasus, evaluator mungkin juga ingin menggunakan konsultan dengan keahlian dalam isi program untuk memberikan pandangan yang lebih netral dan lebih luas daripada yang dapat diperoleh oleh evaluator dari staf program.

Konsultan tersebut dapat membantu dalam menyarankan pertanyaan dan kriteria evaluasi yang mencerminkan pengetahuan dan praktik saat ini. Dalam hal mengevaluasi program membaca sekolah, misalnya, konsultan dapat diminta tidak hanya untuk membuat daftar pertanyaan evaluasi yang akan ditangani, tetapi juga untuk mengidentifikasi evaluasi program bacaan sebelumnya, standar yang ditetapkan oleh organisasi profesional seperti Internasional Membaca Asosiasi, dan penelitian tentang kriteria dan metode untuk mengevaluasi program membaca. Jika ada kekhawatiran tentang kemungkinan bias ideologis, evaluator mungkin mempekerjakan lebih dari satu konsultan independen.

Menggunakan Penilai Evaluasi Profesional

Evaluator tidak boleh mengabaikan pengetahuan dan pengalaman mereka sendiri saat menghasilkan pertanyaan dan kriteria potensial. Evaluator yang berpengalaman terbiasa untuk menjelaskan objek evaluasi secara rinci dan melihat kebutuhan, kegiatan program, dan konsekuensi. Mungkin evaluator telah melakukan evaluasi serupa di setting lain dan tahu dari pengalaman pertanyaan apa yang terbukti paling berguna.

Rekan profesional dalam evaluasi dan bidang konten dari program dapat menyarankan pertanyaan atau kriteria tambahan. Penilai dilatih, paling tidak sebagian, menjadi skeptis — untuk meningkatkan pertanyaan yang berwawasan (satu harapan) yang mungkin tidak dipertimbangkan. Pelatihan ini tidak pernah lebih berharga daripada selama fase yang berbeda dalam mengidentifikasi pertanyaan dan kriteria evaluasi, karena beberapa pertanyaan penting dapat dihilangkan kecuali jika evaluator

memunculkannya. House and Howe (1999), meskipun menganjurkan demokrasi deliberatif dalam evaluasi untuk memberikan suara kepada para pemangku kepentingan yang kurang kuat, membuatnya cukup jelas bahwa, dalam pandangan mereka, evaluator memiliki wewenang dan tanggung jawab untuk menggunakan keahlian mereka sendiri. Tentunya, evaluator membawa, dan menyeimbangkan, nilai-nilai dan pandangan dari berbagai pemangku kepentingan. Namun, evaluator memainkan peran kunci dalam memimpin evaluasi dan, oleh karena itu, harus menggunakan keahlian mereka dalam mengetahui jenis-jenis pertanyaan evaluasi yang dapat paling berguna dibahas pada tahap-tahap program yang berbeda dalam sumber daya dan kendala konteks evaluasi tertentu.

Bahkan dalam konteks evaluasi pemberdayaan, evaluator mengakui pentingnya peran evaluator pada tahap itu. Dalam deskripsi mereka tentang evaluasi pemberdayaan, Schnoes, Murphy-Berman, dan Chambers (2000) menjelaskan bahwa mereka bekerja keras untuk memberdayakan para pengguna mereka, tetapi, pada akhirnya, mereka menulis, “Standar akuntabilitas siapa yang harus berlaku dalam menentukan hasil proyek, terutama jika pemahaman dan pengertian klien tentang apa yang terdiri dari hasil terukur yang valid berbeda dengan standar yang didukung oleh evaluator? ”(hal. 61). Evaluator disewa untuk pengetahuan dan keahlian mereka, dan menambah generasi pertanyaan evaluasi berdasarkan pengetahuan dan pengalaman itu tidak hanya tepat, tetapi wajib dalam banyak situasi.

Penilai yang berpengalaman dan berwawasan yang melihat proyek baru mungkin mengajukan pertanyaan seperti:

  • Apakah tujuan proyek dimaksudkan untuk melayani sangat penting? Apakah ada cukup bukti kebutuhan untuk proyek seperti yang dirancang? Apakah kebutuhan yang lebih penting lainnya akan berjalan tanpa pengawasan?
  • Apakah tujuan, sasaran, dan desain proyek konsisten dengan kebutuhan yang terdokumentasi? Apakah kegiatan program, konten, dan materi konsisten dengan kebutuhan, sasaran, dan tujuan siswa atau klien?
  • Sudahkah strategi alternatif dipertimbangkan untuk mencapai tujuan dan sasaran proyek?
  • Apakah program tersebut melayani kebaikan publik? Apakah itu melayani tujuan demokratis? Tujuan komunitas?
  • Apa saja beberapa efek samping yang tidak diinginkan yang mungkin muncul dari program ini? Evaluator mungkin bertanya pada diri sendiri pertanyaan-pertanyaan berikut:
  • Berdasarkan evaluasi proyek lain yang serupa, pertanyaan apa yang harus dimasukkan ke dalam evaluasi ini?
  • Berdasarkan pengalaman saya dengan yang lain, proyek serupa, ide-ide baru apa, tempat masalah potensial, dan hasil yang diharapkan atau efek samping yang dapat diproyeksikan?
  • Apa jenis bukti yang akan diterima oleh pemangku kepentingan yang berbeda? Dapatkah kriteria mereka untuk bukti berhasil ditangani oleh pertanyaan evaluasi saat ini?
  • Elemen dan acara penting apa yang harus diperiksa dan diamati ketika proyek berkembang?

Meringkas Saran dari Berbagai Sumber

Di suatu tempat dalam proses yang berbeda, evaluator akan mencapai titik hasil yang semakin berkurang ketika tidak ada pertanyaan baru yang dihasilkan. Dengan asumsi bahwa setiap sumber daya yang tersedia telah disadap, evaluator harus berhenti dan memeriksa apa yang telah mereka dapatkan: biasanya, daftar panjang dari beberapa lusin pertanyaan evaluasi potensial, bersama dengan kriteria potensial. Agar informasi dapat lebih mudah diasimilasikan dan digunakan kemudian, evaluator akan ingin mengatur pertanyaan evaluasi ke dalam kategori. Di sini, kerangka kerja atau pendekatan evaluasi tertentu, seperti model CIPP Stufflebeam (1971), pendekatan sepuluh langkah pemberdayaan evaluasi (Wandersman et al., 2000), atau teori program Rossi (lihat Bab 12), semoga bermanfaat. Evaluator mungkin mengadopsi label dari salah satu kerangka kerja ini atau membuat serangkaian kategori baru yang disesuaikan dengan penelitian. Terlepas dari sumbernya, memiliki jumlah kategori yang dapat dikelola sangat penting dalam mengatur pertanyaan potensial dan mengkomunikasikannya kepada orang lain. Berikut ini adalah contoh kemungkinan pertanyaan yang mungkin timbul dalam fase yang berbeda untuk merencanakan evaluasi program conflicesolusi di sekolah:

Penilaian Kebutuhan atau Konteks

  1. Apa jenis konflik yang terjadi di antara siswa di sekolah? Siapa yang paling mungkin terlibat dalam konflik (usia, jenis kelamin, karakteristik)? Apa sifat dari konflik itu?
  2. Bagaimana konflik diselesaikan sebelum program? Masalah apa yang terjadi sebagai hasil dari strategi ini?
  3. Keterampilan komunikasi apa yang siswa miliki agar resolusi konflik dapat dibangun? Masalah apa yang dimiliki siswa yang mungkin menghambat pembelajaran atau penggunaan keterampilan resolusi konflik?
  4. Berapa banyak konflik yang terjadi saat ini? Seberapa sering masing-masing jenis?
  5. Apa dampak konflik saat ini terhadap lingkungan belajar? Pada manajemen sekolah? Pada motivasi dan kemampuan para siswa? Pada retensi guru yang baik?

Proses atau Pemantauan

  1. Apakah pelatih resolusi konflik cukup kompeten untuk memberikan pelatihan?
  2. Sudahkah personil yang tepat dipilih untuk melakukan pelatihan? Haruskah orang lain digunakan?
  3. Apakah siswa yang dipilih untuk pelatihan memenuhi kriteria yang ditentukan untuk audiens target?
  4. Berapa proporsi siswa yang berpartisipasi dalam program pelatihan yang lengkap?
  5. Apa yang para siswa ini lewatkan dengan berpartisipasi dalam pelatihan (biaya peluang)?
  6. Apakah pelatihan mencakup tujuan yang ditentukan? Apakah pelatihan pada tingkat intensitas atau durasi yang diperlukan?
  7. Apakah siswa berpartisipasi dalam pelatihan dengan cara yang dimaksudkan?
  8. Di mana pelatihan itu berlangsung? Apakah lingkungan fisik untuk pelatihan yang kondusif untuk belajar?
  9. Apakah guru-guru lain di sekolah mendorong penggunaan strategi resolusi konflik? Bagaimana? Apakah para guru menggunakan strategi ini sendiri? Bagaimana? Apa strategi lain yang mereka gunakan?

Hasil

  1. Apakah siswa yang telah menerima pelatihan mendapatkan keterampilan yang diinginkan? Apakah mereka percaya bahwa keterampilan itu akan berguna?
  2. Apakah para siswa mempertahankan keterampilan ini satu bulan setelah selesainya pelatihan?
  3. Berapa proporsi siswa yang telah menggunakan strategi resolusi konflik satu bulan setelah penyelesaian program? Bagi mereka yang belum menggunakan strategi, mengapa tidak? (Apakah mereka tidak dihadapkan dengan konflik, atau apakah mereka dihadapkan pada konflik tetapi menggunakan beberapa strategi lain?)
  4. Dalam situasi apa siswa paling mungkin menggunakan strategi? Dalam keadaan apa mereka tidak akan menggunakannya?
  5. Bagaimana siswa lain mendukung atau menghalangi penggunaan strategi oleh siswa?
  6. Apakah para siswa mendiskusikan / mengajarkan strategi kepada yang lain?
  7. Apakah insiden konflik berkurang di sekolah? Apakah pengurangan karena penggunaan strategi?
  8. Haruskah siswa lain dilatih dalam strategi? Apa jenis siswa lain yang paling mungkin mendapat manfaat?

Ini akan menjadi jelas bagi para evaluator dan pemangku kepentingan yang berpikir bahwa itu tidak layak atau bahkan diinginkan untuk menjawab semua pertanyaan ini dalam satu studi. Pertimbangan praktis harus membatasi penelitian pada apa yang bisa dikelola. Beberapa pertanyaan mungkin disimpan untuk penelitian lain; yang lain mungkin dibuang sebagai tidak penting.seperti

Penampakanini adalah fungsi dari fase konvergen.

Memilih Pertanyaan, Kriteria, dan Masalah yang Harus Ditangani: Fase Konvergen

Cronbach (1982) memberikan pengenalan yang baik tentang perlunya fase konvergen

perencanaan evaluasi:

Bagian sebelumnya [fase berlainan] berbicara seolah-olah ideal adalah untuk membuat evaluasi selesai, tetapi itu tidak bisa dilakukan. Setidaknya ada tiga alasan untuk mengurangi berbagai variabel yang diperlakukan secara sistematis dalam suatu evaluasi. Pertama, akan selalu ada batas anggaran. Kedua, ketika sebuah penelitian menjadi semakin rumit, semakin sulit untuk dikelola. Massa informasi menjadi terlalu besar bagi evaluator untuk dicerna, dan banyak yang hilang dari pandangan. Ketiga, dan mungkin yang paling penting, rentang perhatian penonton terbatas. Sangat sedikit orang yang ingin tahu semua yang perlu diketahui tentang suatu program. Administrator, legislator, dan pemimpin opini mendengarkan dalam pelarian.

Fase divergen mengidentifikasi apa yang mungkin layak diselidiki. Di sini penyidik ​​bertujuan untuk bandwidth maksimum. Pada fase konvergen, sebaliknya, ia memutuskan ketidaklengkapan apa yang paling bisa diterima. Dia mengurangi bandwidth dengan memusnahkan daftar kemungkinan. (p. 225)

Tidak ada evaluasi yang dapat menjawab secara bertanggung jawab semua pertanyaan yang dihasilkan selama fase perencanaan yang menyeluruh dan berbeda. Program ini pada tahap tertentu, sehingga beberapa pertanyaan sesuai untuk tahap itu dan yang lain tidak. Demikian pula, anggaran, kerangka waktu, dan konteks akan membatasi pertanyaan yang dapat diatasi. Jadi pertanyaannya adalah bukan apakah menuangkan pertanyaan-pertanyaan ini ke dalam bagian yang dapat dikelola, tetapi siapa yang harus melakukannya dan bagaimana.

Siapa yang Harus Terlibat dalam Fase Konvergen?

Beberapa evaluator menulis dan bersikap seolah memilih pertanyaan evaluasi yang penting dan praktis adalah satu-satunya provinsi evaluator. Tidak begitu. Faktanya, dalam situasi apa pun, evaluator tidak bertanggung jawab untuk memilih pertanyaan yang akan ditangani atau kriteria evaluatif yang akan diterapkan. Tugas ini membutuhkan interaksi yang erat dengan para pemangku kepentingan. Sponsor evaluasi, audiens utama, dan individu atau kelompok yang akan terpengaruh oleh evaluasi harus memiliki suara. Seringkali, ini adalah waktu untuk membentuk kelompok penasehat dengan perwakilan dari kelompok pemangku kepentingan yang berbeda untuk menampi pertanyaan evaluasi dan untuk melayani sebagai dewan dan penasehat yang membimbing untuk sisa evaluasi.

Memang, beberapa evaluator puas untuk meninggalkan pilihan seleksi akhir untuk sponsor evaluasi atau klien. Tentu saja ini mencerahkan tugas evaluator. Namun, dalam pandangan kami, mengambil langkah mudah itu merugikan klien. Karena kurang mendapat manfaat dari pelatihan dan pengalaman khusus evaluator, klien mungkin

akan mengajukan sejumlah pertanyaan yang tidak dapat dijawab atau mahal untuk penelitian.

Bagaimana Seharusnya Fase Konvergen Dilaksanakan?

Bagaimana evaluator dapat bekerja dengan banyak pemangku kepentingan untuk memilih pertanyaan untuk evaluasi? Untuk mulai dengan, evaluator dapat mengusulkan beberapa kriteria untuk digunakan untuk menentukan peringkat pertanyaan evaluasi potensial. Cronbach dan lain-lain (1980) menyarankan kriteria berikut:

Sejauh ini kami telah mendorong evaluator untuk memindai secara luas; hanya dengan berlalunya kita mengakui bahwa semua lini penyelidikan tidak sama pentingnya. Bagaimana cara memangkas daftar pertanyaan menjadi ukuran adalah topik berikutnya yang jelas.

. . . pertimbangan simultan diberikan kepada kriteria. . . [dari] ketidakpastian sebelumnya, hasil informasi, biaya, dan pengaruh (yaitu, kepentingan politik). Kriteria ini dijelaskan lebih lanjut sebagai berikut: Semakin studi mengurangi ketidakpastian, semakin besar informasi yang dihasilkan dan, karenanya, semakin bermanfaat penelitian.

Leverage mengacu pada kemungkinan bahwa informasi — jika dipercaya — akan mengubah jalannya peristiwa. (pp. 261, 265)

Kami menggunakan pemikiran Cronbach dalam mengajukan kriteria berikut untuk menentukan pertanyaan evaluasi yang diajukan yang harus diselidiki:

  1. Siapa yang akan menggunakan informasi itu? Siapa yang ingin tahu? Siapa yang akan kecewa jika pertanyaan evaluasi ini dijatuhkan? Jika sumber daya tak terbatas tersedia, orang bisa membantahnya (kecuali untuk pelanggaran hak privasi) siapa pun yang ingin tahu memiliki, secara demokratis masyarakat, hak atas informasi tentang apa yang dievaluasi. Jarang sekali sumber daya tidak terbatas, bagaimanapun, dan bahkan jika mereka, kehati-hatian menunjukkan titik hasil yang semakin berkurang dalam mengumpulkan informasi evaluatif. Oleh karena itu, jika tidak ada penonton yang kritis akan menderita karena kegagalan evaluator untuk menjawab pertanyaan tertentu, orang mungkin akan memberikan peringkat yang lebih rendah atau menghapusnya. Apa yang dimaksud dengan pemirsa penting? Pemirsa itu akan berbeda dengan konteks evaluasi. Dalam beberapa kasus, audiens kritis adalah pengambil keputusan karena keputusan sudah dekat dan mereka tidak tahu. Dalam kasus lain, para pemangku kepentingan yang sebelumnya tidak terlibat atau tidak tahu apa-apa (peserta program, anggota keluarga peserta, kelompok minat yang muncul) adalah pendengar yang kritis berdasarkan kurangnya keterlibatan mereka sebelumnya dan kebutuhan mereka untuk mengetahuinya.
  2. Apakah jawaban atas pertanyaan mengurangi ketidakpastian saat ini atau memberikan informasi yang sekarang tidak tersedia? Jika tidak, sepertinya tidak ada gunanya mengejarnya. Jika jawabannya sudah ada (atau klien yang akan menggunakan informasi berpikir dia tahu jawabannya), maka evaluasi harus beralih ke pertanyaan lain yang mana jawaban tidak tersedia.
  3. Apakah jawaban atas pertanyaan menghasilkan informasi penting? Apakah itu akan berdampak pada jalannya peristiwa? Beberapa jawaban memuaskan rasa ingin tahu tetapi sedikit lebih banyak; Kami memanggil mereka pertanyaan “baik untuk mengetahui”. Pertanyaan penting adalah pertanyaan yang memberikan informasi yang mungkin menginformasikan tindakan pada isu-isu substantif mengenai program dan kliennya. Mereka mungkin menangani bidang-bidang yang dianggap bermasalah oleh para pemangku kepentingan dengan motivasi dan sarana untuk membuat atau mempengaruhi perubahan.
  4. Apakah pertanyaan ini hanya mengalihkan minat kepada seseorang, atau apakah itu berfokus pada dimensi kritis dari minat yang berkelanjutan? Prioritas harus diberikan kepada pertanyaan-pertanyaan kritis yang terus berlanjut Teori program dapat membantu mengidentifikasi dimensi kritis program yang mungkin akan dibahas oleh evaluasi.
  5. Apakah ruang lingkup atau kelengkapan evaluasi menjadi sangat terbatas jika pertanyaan ini dijatuhkan? Jika demikian, itu harus dipertahankan, jika memungkinkan. Namun dalam beberapa kasus, kelengkapan, mengevaluasi setiap aspek dari program, kurang penting daripada mengevaluasi area tertentu dari ketidakpastian secara mendalam. Evaluator dan pemangku kepentingan harus secara sadar mempertimbangkan isu luas dan mendalam dalam pemilihan pertanyaan evaluasi mereka.
  6. Apakah layak untuk menjawab pertanyaan ini, mengingat tersedia sumber daya keuangan dan manusia, waktu, metode, dan teknologi? Sumber daya yang terbatas membuat banyak pertanyaan penting tidak dapat dijawab. Lebih baik menghapusnya lebih awal daripada mengembangbiakkan frustrasi dengan mengejar mimpi yang mustahil.

Keenam kriteria yang baru dicatat dapat dilemparkan ke dalam matriks sederhana (lihat Gambar 13.2) untuk membantu evaluator dan klien mempersempit daftar pertanyaan asli ke dalam subset yang dapat dikelola. Gambar 13.2 diusulkan hanya sebagai panduan umum dan dapat diadaptasi atau digunakan secara fleksibel. Sebagai contoh, seseorang dapat memperluas matriks untuk mendaftar sebanyak mungkin pertanyaan yang ada di daftar awal, kemudian cukup mengisi entri kolom dengan menjawab ya atau tidak untuk setiap pertanyaan. Sebagai alternatif, pertanyaan dapat diberi peringkat numerik, yang menawarkan manfaat membantu menimbang atau memberi peringkat pertanyaan.

Bekerja dengan Stakeholder. Namun matriks digunakan, evaluator dan klien (atau kelompok penasihat atau perwakilan dari pemangku kepentingan lain jika tidak ada kelompok penasihat) harus bekerja sama untuk menyelesaikannya. Meskipun evaluator mungkin memiliki pendapat tentang apa yang layak, kepentingan relatif dari pertanyaan akan ditentukan oleh klien dan pemangku kepentingan lainnya. Pemindaian matriks lengkap dengan cepat mengungkapkan pertanyaan mana yang tidak layak untuk dijawab, yang tidak penting, dan mana yang dapat dan harus dikejar.

Dalam beberapa kasus, evaluator dapat mengambil peran kepemimpinan dalam menyortir pertanyaan, menggabungkan beberapa yang dapat diatasi dengan metode yang sama, mengedit pertanyaan untuk kejelasan, mempertimbangkan kelayakan masing-masing dan kriteria, dan mengembangkan daftar untuk ditinjau oleh klien atau grup. Daftar ini dapat disusun dalam kelompokkelompok: pertanyaan yang direkomendasikan, yang potensial diberikan cukup minat atau lebih banyak sumber daya, dan yang mungkin dijatuhkan pada titik ini.

Sponsor atau klien mungkin akan ingin menambah atau mengurangi pertanyaan yang dipilih, mungkin menegosiasikan ruang lingkup yang ditingkatkan atau dikurangi untuk studi atau memperdebatkan alasan-alasan untuk menambahkan atau menjatuhkan pertanyaan-pertanyaan tertentu. Dalam negosiasi penting ini, evaluator mungkin merasa perlu untuk membela penilaian profesional mereka sendiri atau kepentingan dari pemangku kepentingan yang tidak terwakili. Ini bisa sulit. Jika sponsor atau klien menuntut terlalu banyak kendali atas pemilihan pertanyaan evaluasi (misalnya, mengharuskan dimasukkannya pertanyaan yang tidak dapat dijawab atau yang kemungkinan menghasilkan jawaban satu sisi, atau menolak kebutuhan kelompok pemangku kepentingan tertentu), evaluator harus menilai apakah evaluasi akan dikompromikan. Jika ya, mungkin yang terbaik bagi semua yang berkepentingan untuk mengakhiri evaluasi pada titik ini, meskipun tentu evaluator harus mengambil kesempatan ini untuk mendidik sponsor tentang evaluasi apa yang dapat dilakukan dan pedoman etika praktik evaluasi. Sebaliknya, evaluator harus menahan diri untuk tidak memaksakan diri pada pertanyaan yang mereka sukai dan mengesampingkan masalah yang sah dari sponsor atau klien.

Biasanya evaluator dan klien dapat menyetujui pertanyaan mana yang harus ditangani. Mencapai konsensus yang menyenangkan (atau kompromi) berjalan jauh ke arah pembentukan semacam hubungan yang mengubah upaya evaluasi menjadi kemitraan di mana klien senang untuk bekerja sama. Perasaan kepemilikan bersama sangat meningkatkan kemungkinan bahwa temuan-temuan evaluasi yang akan datang akhirnya akan digunakan.

Jika evaluator dan klien memilih pertanyaan evaluasi akhir, evaluator memiliki kewajiban untuk menginformasikan pemangku kepentingan lain tentang fokus evaluasi dan pertanyaan terakhir. Untuk memfasilitasi dialog ini, evaluator dapat memberikan daftar pertanyaan untuk diatasi dengan penjelasan singkat yang menunjukkan mengapa masing-masing penting. Jika matriks (Gambar 13.2) digunakan, salinan dapat disediakan. Daftar pertanyaan dan / atau matriks harus dibagi dengan semua pemangku kepentingan penting dalam evaluasi. Mereka harus diberi tahu bahwa daftar pertanyaan sementara ini diberikan kepada mereka karena dua alasan: (1) untuk membuat mereka tetap mendapat informasi tentang evaluasi, dan (2) untuk memancing reaksi mereka, terutama jika mereka sangat ingin menambah atau menghapus pertanyaan. Waktu yang cukup harus disisihkan untuk tinjauan mereka sebelum daftar akhir dihasilkan.

Komentar-komentar yang bersangkutan mendapat tanggapan langsung. Evaluator harus bertemu dengan setiap pemangku kepentingan yang tidak puas dengan daftar pertanyaan dan dengan sponsor, jika perlu, untuk membahas dan menyelesaikan masalah untuk kepuasan semua orang sebelum melanjutkan. Mendorong penutupan prematur pada isu-isu yang sah di sekitar ruang lingkup evaluasi adalah salah satu kesalahan terburuk yang dapat dilakukan oleh evaluator.

Konflik yang belum terselesaikan tidak akan hilang, dan mereka bisa menjadi kegagalan evaluasi yang direncanakan dengan baik.

Satu peringatan: Sebuah taktik usang tetapi efektif digunakan oleh mereka yang ingin menjegal evaluasi yang tidak diinginkan adalah untuk meningkatkan keberatan yang tak terpecahkan. Penilai yang cerdik harus mengenali desakan keras untuk memasukkan pertanyaan yang bias atau tidak dapat dijawab.

Di sinilah komite penasihat pemangku kepentingan, termasuk pihak yang berkonflik, dapat sangat berguna. Panitia dapat diberi tugas mendengar dan membuat rekomendasi tentang pertanyaan evaluatif yang harus ditangani. Para pemangku kepentingan lainnya dan evaluator kemudian dapat bekerja untuk mengklarifikasi keberatan, memodifikasi pertanyaan yang sesuai, dan bergerak menuju konsensus.

Menentukan Kriteria dan Standar Evaluasi

Langkah terakhir pada tahap ini adalah menentukan kriteria yang akan digunakan untuk menilai program dan standar untuk sukses. Langkah ini muncul secara alamiah setelah konsensus dicapai pada pertanyaan evaluasi akhir. Beberapa pertanyaan, karena sifatnya, membutuhkan spesifikasi kriteria dan standar untuk kriteria tersebut bagi evaluator untuk membuat penilaian yang ditanyakan pertanyaan. Dalam banyak kasus, ini adalah pertanyaan evaluasi yang akan membutuhkan penilaian keberhasilan atau kegagalan untuk menjawab pertanyaan. Kriteria dan standar adalah untuk membantu dalam membuat penilaian tersebut.

Pertama, mari kita bicara sedikit tentang kriteria dan standar, karena kadang-kadang mereka bingung. Kriteria adalah faktor yang dianggap penting untuk menilai sesuatu. Jane Davidson (2005) mendefinisikan kriteria sebagai “aspek, kualitas, atau dimensi yang membedakan evaluasi yang lebih berjasa atau berharga dan [objek yang dievaluasi] dari yang kurang berjasa atau berharga” dan terus berkomentar bahwa “[c] riteria sangat penting untuk evaluasi apa pun ”(hal. 91). Standar, kemudian, adalah tingkat kinerja yang diharapkan pada setiap kriteria. Standar adalah himpunan bagian dari kriteria. Dalam membahas bagaimana standar untuk evaluasi dapat ditetapkan dengan menggunakan pendekatan partisipatif atau kolaboratif, Cousins ​​and Shula menggemakan pandangan Davidson:

Evaluasi program membutuhkan penilaian tentang manfaat dan / atau nilai program dan / atau signifikansi, dan penilaian membutuhkan perbandingan antara apa yang diamati, melalui sistematis pengumpulan data, dan beberapa kriteria atau serangkaian kriteria.

Dalam mengevaluasi kualitas program, pertanyaan muncul secara alami, ‘Seberapa baik cukup baik?’ Pertanyaan ini bukan hanya penting untuk evaluasi, tetapi juga, kami berpendapat, itu adalah karakteristik penting yang membedakan evaluasi dari penelitian ilmu sosial. Untuk menjawab pertanyaan itu, standar program harus ditetapkan. (2008, hal 139).

Jika standar tercapai, program dapat dinilai berhasil pada kriteria itu. Sebuah contoh dapat memperjelas: kriteria yang mungkin digunakan untuk menilai kualitas program pelatihan dapat mencakup kehadiran oleh peserta yang dituju, kepuasan peserta dengan program, pembelajaran konsep kunci mereka, dan penerapan konsep-konsep tersebut di tempat kerja. Standar untuk kehadiran di program pelatihan mungkin adalah 95% dari karyawan yang ditunjuk untuk mengikuti pelatihan menyelesaikan program. Sebuah standar untuk aplikasi di tempat kerja mungkin adalah bahwa 75% dari mereka yang menyelesaikan program menggunakan setidaknya satu dari tiga strategi perencanaan kurikulum yang disajikan pada program dalam perencanaan kurikulum dengan tim guru mereka di bulan berikutnya. Dan bagaimana angka-angka dalam standar ini ditentukan? Melalui dialog dengan pemangku kepentingan, keahlian evaluator, dan informasi dari program lain, penelitian, dan evaluasi.

Tetapi mencapai konsensus bukanlah tugas yang mudah. Mari kita gambarkan prosesnya. Yang terbaik adalah mengidentifikasi kriteria dan standar untuk mereka sebelum melangkah lebih jauh dalam evaluasi, tentu saja sebelum pengumpulan data dimulai. Kriteria baru dapat muncul ketika para evaluator belajar lebih banyak tentang program dan pemangku kepentingan belajar lebih banyak tentang evaluasi. Namun, para pemangku kepentingan akan merujuk atau mendiskusikan kriteria, langsung atau tidak langsung, dalam percakapan mereka dengan evaluator dan pemangku kepentingan lainnya selama fase yang berbeda dan konvergen. Jadi, sekarang adalah waktu untuk mencari kejelasan tentang beberapa kriteria dan mempertimbangkan standar. Penting bagi evaluator dan kelompok pemangku kepentingan yang berbeda untuk memiliki beberapa gagasan tentang tingkatprogram kinerja yang dianggap dapat diterima sekarang, daripada menunggu sampai data dianalisis. Mencapai konsensus semacam itu dapat mencegah perbedaan pendapat di kemudian hari.

Tanpa konsensus mengenai tingkat kinerja yang diharapkan, pendukung program dapat mengklaim bahwa tingkat kinerja yang diperoleh persis seperti yang diinginkan, dan pengkritik program dapat mengklaim bahwa tingkat kinerja yang sama tidak cukup untuk keberhasilan program. Selanjutnya, menyetujui standar sebelum memperoleh hasil dapat sangat berguna dalam membantu kelompok untuk menjadi jelas dan realistis tentang harapan mereka untuk keberhasilan program. Dalam lingkungan politik dewasa ini, tujuan program seringkali tidak realistis atau terlalu kabur dan dikelilingi oleh bahasa yang menyiratkan tingkat keberhasilan yang menakjubkan — tingkat kelulusan 100%, 100% melek huruf, 100% pekerjaan! Lebih baik memiliki harapan tinggi daripada yang rendah; Namun, perlu untuk memiliki diskusi yang realistis tentang apa yang dapat dicapai, mengingat kegiatan program dan frekuensi atau intensitas mereka (kadang-kadang disebut sebagai “dosis”) dan kualifikasi dan keterampilan mereka yang menyampaikan program, sehingga semua memiliki pemahaman serupa tentang seperti apa kesuksesan (atau kegagalan).

Kriteria akan muncul dari sumber yang sama dengan pertanyaan evaluasi. Dengan kata lain, percakapan dan pertemuan dengan para pemangku kepentingan, penelitian dan evaluasi yang ditemukan melalui tinjauan literatur, standar profesional, para ahli, dan penilaian evaluator sendiri semuanya dapat menyarankan faktor-faktor yang harus digunakan untuk menilai keberhasilan suatu program atau salah satu komponennya. . Sebagai contoh, kriteria untuk menilai program pelatihan telah dikenal baik dalam model evaluasi pelatihan dan literatur (reaksi, pembelajaran, perilaku, hasil) (Kirkpatrick, 1983; Kirkpatrick & Kirkpatrick, 2006).

Spesifikasi standar kinerja dapat menjadi area kompleks yang penuh dengan ketidakpastian. Pemangku kepentingan dapat enggan menentukan angka yang mencerminkan keberhasilan karena mereka benar-benar tidak tahu apa yang diharapkan. Dalam beberapa kasus, program terlalu baru atau spesifikasi standar terlalu memecah belah untuk menciptakanrealistis standar yangdan valid. Evaluator harus peka terhadap fakta bahwa staf, ketika didorong ke dalam standar yang berkembang, mungkin merasa defensif dan mengembangkan standar yang mereka yakini akan tercapai. Standar semacam itu mungkin tidak mencerminkan tujuan orang lain untuk program tersebut. Lawan program atau pembuat kebijakan yang mengadvokasi sumber daya mungkin menyarankan standar yang tidak mungkin dicapai. Namun demikian, dalam banyak kasus, diskusi tentang harapan para pemangku kepentingan, yang beralih ke pengembangan standar, pada akhirnya bisa sangat berguna.

Di mana ada program serupa, mereka dapat diperiksa untuk standar kinerja. Literatur penelitian dapat sangat membantu di sini. Di hampir setiap kasus, ada program yang telah berusaha untuk membawa perubahan serupa. Pencarian literatur dapat menemukan berbagai program bacaan yang disampaikan kepada siswa yang serupa, program pengobatan penyalahgunaan zat yang disampaikan kepada klien yang serupa, atau program pelatihan kerja untuk populasi yang sama. Evaluator harus memeriksa literatur ini untuk mempelajari lebih lanjut tentang jumlah perubahan yang dapat dicapai oleh program-program tersebut. Untuk merangsang diskusi, evaluator dapat menyajikan pemangku kepentingan dengan daftar sepuluh program lain, yang disebut sebagai keberhasilan dalam literatur, dan jumlah perubahan (mungkin diukur sebagai proporsi perubahan dari pre-test atau ukuran efek) yang dicapai di setiap. Data semacam itu dapat menjadi serius: masalah sulit tidak segera dipecahkan. Namun, data tersebut memberikan batasan untuk mengembangkan standar.

Apakah pemangku kepentingan melihat program mereka, sumber daya mereka, dan klien mereka sama dengan ini? Jauh lebih baik? Jauh lebih buruk? Bagaimana seharusnya keberhasilan (atau kegagalan) yang ditemukan dengan program lain disesuaikan untuk mencerminkan kinerja yang diharapkan dari program yang akan dievaluasi?

Standar dapat bersifat absolut atau relatif. Kami akan membahas secara singkat setiap tipe di sini. Evaluator mungkin pertama kali bekerja dengan para pemangku kepentingan untuk mempertimbangkan jenis standar apa yang akan paling berguna untuk program mereka dalam konteks politik dan administrasi di mana ia beroperasi.

Standar Mutlak

Terkadang kebijakan akan mensyaratkan spesifikasi standar absolut. Di Amerika Serikat saat ini, No Child Left Behind (NCLB) mengharuskan negara-negara untuk mengembangkan standar khusus untuk menilai kemajuan pendidikan siswa. Standar-standar ini mutlak, bukan relatif. Artinya, mereka mencerminkan sejumlah pengetahuan yang diharapkan dari siswa di berbagai tingkatan kelas. Biasanya, ada beberapa level. Jika standar-standar ini tumpang tindih dengan tujuan program, karena kadang-kadang akan terjadi dalam pengaturan pendidikan, standar tersebut mungkin tepat untuk digunakan dalam evaluasi. (Ini hanya akan terjadi dalam keadaan ketika standar itu realistis untuk populasi siswa. Dalam beberapa kasus, standar negara telah ditetapkan terutama untuk tujuan politik dan tidak selalu mencerminkan hasil yang realistis, atau layak, lihat pernyataan Asosiasi Evaluasi Amerika. [2002] pada pengujian highstakes di www.eval.org/hstlinks.htm.) Demikian pula, persyaratan akreditasi atau standar untuk perawatan pasien dapat menyarankan standar absolut yang dapat digunakan.

Ketika standar absolut tidak ada, evaluator dapat memulai dengan tinjauan literatur yang mencari hasil penelitian atau evaluasi pada program serupa, seperti yang dijelaskan sebelumnya, dan menggunakan hasil tersebut sebagai stimulus untuk diskusi pemangku kepentingan. Atau jika para pemangku kepentingan tampak siap, evaluator dapat mencari masukan dari para pemangku kepentingan yang berpengetahuan tentang harapan mereka pada setiap kriteria. Ketika para evaluator mempelajari berbagai harapan, mereka dapat memimpin diskusi tentang standar yang diusulkan dengan para pemangku kepentingan kunci atau kelompok penasihat. Jadi, jika kehadiran adalah kriteria penting untuk sukses, evaluator mungkin bertanya, “Berapa proporsi siswa yang Anda harapkan untuk menyelesaikan program? 100 persen? 90 persen? 75 persen? ”Atau“ Berapa banyak penurunan dalam insiden disipliner yang Anda harapkan terjadi sebagai hasil dari program ini? 75 persen? 50 persen? 25 persen? ”Pertanyaan semacam itu dapat mendorong diskusi jujur ​​tentang harapan yang akan sangat berharga dalam menilai hasil program.

Evaluator harus menghindari staf program dengan sengaja menetapkan standar terlalu rendah (untuk memastikan keberhasilan program) atau memiliki penentang program yang menetapkan mereka terlalu tinggi (untuk menjamin kegagalan). Bekerja dengan sekelompok pemangku kepentingan dengan perspektif yang berbeda dapat membantu menghindari situasi semacam itu.

Standar Relatif

Beberapa berpendapat bahwa standar absolut seperti yang dibahas di bagian sebelumnya tidak diperlukan ketika studi akan melibatkan perbandingan dengan kelompok lain. Dengan demikian, Light (1983) berpendapat bahwa hasil yang lebih unggul daripada yang dicapai dengan kontrol plasebo atau kelompok pembanding cukup untuk menunjukkan keberhasilan program. Standar relatif seperti itu tentu saja standar yang digunakan dalam bidang lain seperti kedokteran dan farmakologi; standar umum adalah apakah obat atau prosedur baru menghasilkan tingkat penyembuhan yang lebih baik atau lebih sedikit efek samping daripada obat atau prosedur yang saat ini digunakan. Tidak ada standar absolut yang ditetapkan. Scriven (1980, 1991c, 2007) menganjurkan membandingkan program dengan alternatif yang tersedia, dengan kata lain, program atau kebijakan yang akan diterima siswa atau klien alih-alih program ini. Perbandingan semacam itu mencerminkan pilihan aktual yang akan diambil oleh pembuat kebijakan dan pihak lain. Standar dalam kasus seperti itu mungkin bahwa program baru secara signifikan lebih baik daripada metode alternatif. Standar relatif lainnya membandingkan kinerja program dengan kinerja masa lalu.

Dengan demikian, proses tiga langkah dalam evaluasi pemberdayaan pertama mengembangkan ukuran dasar kinerja program dan kemudian menilai keberhasilan masa depan dengan perbandingan dengan baseline itu (Fetterman & Wandersman, 2005). Bahkan, perbandingan tersebut dengan kinerja masa lalu adalah perbandingan yang sering dilakukan di sektor swasta (penjualan sekarang, dibandingkan dengan periode yang sama tahun lalu) dan dalam kebijakan ekonomi (tingkat pengangguran sekarang, dibandingkan dengan bulan lalu atau saat ini tahun lalu).

Sisa Fleksibel selama Evaluasi: Membiarkan Pertanyaan, Kriteria, dan Standar Baru untuk Emerge

Evaluasi dapat menjadi cacat oleh para evaluator yang terus-menerus menuntut untuk menjawab pertanyaan asli, terlepas dari peristiwa-peristiwa yang mengintervensi, perubahan dalam objek evaluasi, atau penemuan baru. Selama evaluasi, banyak kejadian — misalnya, perubahan penjadwalan, personil, dan pendanaan; masalah tak terduga dalam implementasi program; prosedur evaluasi yang ditemukan tidak berfungsi; jalur penyelidikan yang terbukti buntu; isu-isu kritis baru yang muncul — memerlukan pertanyaan evaluasi baru atau yang direvisi. Karena perubahan tersebut tidak dapat diramalkan, Cronbach dan rekan-rekannya (1980) mengusulkan bahwa: Pilihan pertanyaan dan prosedur, kemudian, harus tentatif. Rencana anggaran seharusnya tidak melakukan setiap jam dan setiap dolar untuk. . . rencana awal. Sedikit waktu dan uang harus disimpan sebagai cadangan. (hal. 229)

Ketika perubahan dalam konteks atau objek evaluasi terjadi, evaluator harus menanyakan apakah perubahan itu harus mempengaruhi daftar pertanyaan evaluasi. Apakah itu membuat beberapa pertanyaan diperdebatkan? Naikkan yang baru? Perlu revisi? Apakah mengubah pertanyaan atau fokus di tengah evaluasi harus adil? Evaluator harus

mendiskusikan setiap perubahan dan dampaknya pada evaluasi dengan sponsor, klien, dan pemangku kepentingan lainnya. Membiarkan pertanyaan dan masalah berkembang, daripada berkomitmen untuk evaluasi yang dipahat dengan batu, memenuhi konsep evaluasi responsif Stake (1975b) yang dibahas dalam Bab 8. dan fleksibilitas dan responsivitas seperti itu didukung oleh pendekatan partisipatif saat ini (Cousins ​​& Shula, 2008).

Akan tetapi, ada kata peringatan: Evaluator tidak boleh kehilangan jejak pertanyaan atau kriteria yang — meski dimungkinkan perubahan — tetap penting. Sumber daya tidak boleh dialihkan dari penyelidikan vital hanya untuk menjelajahi arah baru yang menarik. Fleksibilitas adalah satu hal, keraguan yang lain. Begitu pertanyaan, kriteria, dan standar evaluasi telah disepakati, evaluator dapat menyelesaikan rencana evaluasi. Langkah selanjutnya dalam proses perencanaan dibahas di Bab 14.

Konsep Utama dan Teori

  1. Pertanyaan evaluasi memberikan fokus pada evaluasi. Mereka menentukan informasi yang akan diberikan evaluasi dan memandu pilihan untuk pengumpulan data, analisis, dan interpretasi.
  2. Fase pengembangan pertanyaan yang berbeda dapat dilakukan dengan banyak pemangku kepentingan atau dengan beberapa pengguna utama yang dituju dengan masukan dari pemangku kepentingan lainnya. Ini menghasilkan pengembangan daftar pertanyaan dan kekhawatiran evaluasi potensial.
  3. Sumber-sumber lain untuk pertanyaan termasuk pendekatan evaluasi, standar yang ada di lapangan, literatur penelitian, ahli konten, dan pengalaman evaluator sendiri.
  4. Fase konvergen berkaitan dengan menundukkan pertanyaan-pertanyaan untuk evaluasi akhir. Pertanyaan-pertanyaan yang dipertahankan harus memiliki potensi penggunaan langsung yang tinggi terhadap pemangku kepentingan yang penting dan / atau banyak. Pertanyaan dapat dimusnahkan lebih lanjut berdasarkan biaya dan kelayakan memberikan jawaban yang valid.
  5. Kriteria menentukan faktor-faktor yang akan digunakan untuk mempertimbangkan keberhasilan suatu program. Standar menunjukkan tingkat kinerja suatu program harus mencapai kriteria yang dianggap berhasil.
  6. Kriteria dapat diidentifikasi menggunakan sumber untuk pertanyaan evaluasi.
  7. Menetapkan standar adalah proses yang sensitif tetapi penting. Dialog yang terlibat dalam menetapkan standar dapat berguna dalam mencapai kejelasan dan konsensus di antara para pemangku kepentingan dan dalam membantu membuat penilaian nanti pada program. Standar mungkin relatif atau absolut.

Pertanyaan Diskusi

  1. Apakah menurut Anda lebih baik melibatkan banyak pemangku kepentingan dalam fase yang berbeda atau hanya beberapa tetapi mereka yang berkomitmen untuk menggunakan evaluasi, seperti pengguna yang dituju primer? Diskusikan alasan Anda.
  2. Seperti yang kita diskusikan, evaluator dan pemangku kepentingan membawa berbagai jenis keahlian untuk mengidentifikasi pertanyaan evaluasi dan mengembangkan rencana evaluasi. Kontras yang diberikan oleh para evaluator pengetahuan ke meja dengan pemangku kepentingan. Pertimbangkan kelompok-kelompok pemangku kepentingan tertentu dan bagaimana keahlian mereka dapat digunakan dalam evaluasi.
  3. Manakah dari pendekatan evaluasi yang dibahas dalam Bagian Dua yang menurut Anda paling bermanfaat dalam membantu mengembangkan pertanyaan evaluasi?
  4. Sebagai seorang evaluator, apa yang akan Anda lakukan jika klien atau pemangku kepentingan lain mendorong dengan tegas untuk pertanyaan yang bias atau tidak dapat dijawab?
  5. Diskusikan potensi keuntungan dan kerugian menggunakan standar absolut versus relatif untuk menilai keberhasilan suatu program.

Latihan Aplikasi

  1. Pertimbangkan evaluasi yang memiliki arti bagi Anda dan organisasi atau majikan Anda. (Jika Anda tidak bekerja atau tidak tahu program dengan cukup baik untuk mempertimbangkannya, Anda dapat memilih program pascasarjana Anda atau mencoba beberapa program atau kebijakan yang dipublikasikan baru-baru ini yang sedang dipertimbangkan oleh pejabat kota atau negara bagian.) Menggunakan apa yang Anda ketahui tentang mengidentifikasi pertanyaan evaluasi selama fase divergen, buat daftar pertanyaan evaluasi yang ingin Anda atasi. Langkah apa yang mungkin Anda ambil untuk mengidentifikasi pertanyaan lain?
  2. Metode apa yang akan Anda gunakan untuk menyisihkan pertanyaan-pertanyaan di atas dalam fase konvergen, mengetahui organisasi Anda dan isu-isu yang terlibat? Apakah kriteria pada Gambar 13.2 memenuhi tujuan? Apakah Anda akan mengubahnya? Pertanyaan apa yang menurut Anda harus menjadi prioritas? Mengapa? Yang harus dijatuhkan? Mengapa?
  3. Pertanyaan Anda manakah yang akan mendapat manfaat dari kriteria dan standar? Jika evaluasi bersifat sumatif, apakah pertanyaan-pertanyaannya menyampaikan semua kriteria penting untuk program? Haruskah pertanyaan atau kriteria lain ditambahkan? Sekarang, tetapkan standar untuk setiap pertanyaan yang sesuai. Diskusikan alasan Anda untuk setiap standar.
  4. Wawancarai dua rekan siswa secara terpisah tentang mengevaluasi program pascasarjana Anda. Mulai luas dengan pengetahuan mereka tentang program, persepsi mereka tentang kekuatan dan kelemahannya, dan kekhawatiran mereka. Kemudian, diskusikan pertanyaan yang masing-masing anggap harus ditangani oleh evaluasi. Apa yang Anda pelajari dari wawancara? Dari melakukan proses? Perbedaan apa yang Anda temukan? Menurut Anda, mengapa perbedaan-perbedaan ini ada? Seberapa berbeda menurut Anda tanggapan dari pemangku kepentingan lain (dosen, karyawan saat ini atau masa depan siswa, administrator universitas, penasihat) mungkin? Jika memungkinkan, wawancarai beberapa dari mereka.
  5. Dapatkan salinan laporan dari studi evaluasi yang sudah selesai. (Setiap studi kasus yang direkomendasikan pada bagian akhir bab ini mencakup referensi ke laporan evaluasi. Baca laporan dan wawancara.) Pertimbangkan pertanyaan-pertanyaan yang dibahas. Apakah ada pengawasan yang kritis? Apakah evaluasi formatif atau sumatif? Apakah fokus pada penilaian kebutuhan, memantau kegiatan program, atau memeriksa hasil? Apakah kriteria dan / atau standar secara eksplisit dinyatakan? Jika tidak, apakah kelalaian mereka dapat diterima? Mengapa atau mengapa tidak? Jika mereka dinyatakan, atas dasar apa mereka dikembangkan? Apakah Anda setuju dengan kriteria? Apakah Anda akan menambahkan orang lain? Apakah standar ditetapkan pada tingkat yang sesuai?

Daftar Pustaka

Fitzpatrick, Jody L, Sanders, James R, Worthen, Blaine R.Program Evaluation:Alternative           Approaches and Practical Guidelines, Pearson:Boston MA, 2004

Owen, John M. Program Evaluation : Form and Approaches. Singapore : CMO IMAGE, 2006