Logo Zephyrnet

Bisakah Menggunakan Pemeriksa Tata Bahasa Mematikan Perangkat Lunak Deteksi AI? – Berita EdSurge

Tanggal:

Marley Stevens memposting video di TikTok semester lalu yang dia gambarkan sebagai pengumuman layanan masyarakat kepada mahasiswa mana pun. Pesannya: Jangan gunakan perangkat lunak pemeriksa tata bahasa jika profesor Anda mungkin akan menjalankan makalah Anda melalui sistem pendeteksi AI.

Stevens adalah mahasiswa junior di University of North Georgia, dan dia sangat terbuka kepada publik tentang apa yang dia sebut sebagai “bencana”, di mana dia dituduh menggunakan AI untuk menulis makalah yang menurutnya dia buat sendiri kecuali menggunakan tata bahasa standar- dan fitur pemeriksa ejaan dari Grammarly, yang dia pasang sebagai ekstensi di browser webnya.

Video peringatan awal yang dia posting telah dilihat lebih dari 5.5 juta kali, dan sejak itu dia telah membuat lebih dari 25 video tindak lanjut untuk menjawab komentar dari pengikutnya dan mendokumentasikan perjuangannya dengan perguruan tinggi mengenai masalah ini — termasuk berbagi gambar email yang dikirimkan kepadanya. dari dekan akademis dan gambar karya mahasiswanya untuk mencoba membuktikan kasusnya — untuk meningkatkan kesadaran akan apa yang dia lihat sebagai alat pendeteksi AI yang salah yang semakin banyak disetujui oleh perguruan tinggi dan digunakan oleh para profesor.

Stevens mengatakan bahwa seorang profesor di kursus peradilan pidana yang dia ambil tahun lalu memberinya nilai nol pada makalahnya karena dia mengatakan bahwa sistem deteksi AI di Turnitin menandainya sebagai karya robot. Stevens menegaskan bahwa karya tersebut sepenuhnya miliknya dan dia tidak menggunakan ChatGPT atau chatbot lainnya untuk menulis bagian mana pun dari makalahnya.

@m.stevens03 #granmerly #ai #kecerdasan buatan #fyp #psa ♬ suara asli – Marley Stevens

Akibat nilai nol di kertas tersebut, katanya, nilai akhirnya di kelas turun ke tingkat yang cukup rendah sehingga membuatnya tidak memenuhi syarat untuk ujian. Beasiswa HARAPAN, yang mengharuskan siswa untuk mempertahankan IPK 3.0. Dan dia mengatakan universitas menempatkannya dalam masa percobaan akademis karena melanggar kebijakan universitas mengenai pelanggaran akademis, dan dia diharuskan membayar $105 untuk menghadiri seminar tentang kecurangan.

Universitas menolak permintaan berulang kali dari EdSurge untuk membicarakan kebijakannya dalam menggunakan deteksi AI. Para pejabat malah mengirimkan pernyataan yang mengatakan bahwa undang-undang privasi mahasiswa federal melarang mereka mengomentari setiap insiden kecurangan, dan bahwa: “Fakultas kami mengomunikasikan pedoman khusus mengenai penggunaan AI untuk berbagai kelas, dan pedoman tersebut dimasukkan dalam silabus kelas. Penggunaan AI yang tidak tepat juga dibahas dalam laporan kami Kode Etik Mahasiswa. "

Bagian kode etik mahasiswa tersebut mendefinisikan plagiarisme sebagai: “Penggunaan ide atau ekspresi orang atau lembaga lain (termasuk Kecerdasan Buatan) tanpa menyebutkan sumbernya. Tema, esai, makalah, tes dan persyaratan serupa lainnya harus menjadi karya Siswa yang menyerahkannya. Jika kutipan atau parafrase langsung digunakan, maka kutipan tersebut harus dicantumkan, dan jika gagasan orang lain dimasukkan ke dalam makalah, maka harus disebutkan dengan tepat. Semua karya Siswa harus asli atau dikutip sesuai dengan persyaratan instruktur atau dianggap plagiarisme. Plagiarisme mencakup, namun tidak terbatas pada, penggunaan, melalui parafrase atau kutipan langsung, karya orang lain yang diterbitkan atau tidak diterbitkan tanpa pengakuan penuh dan jelas. Hal ini juga mencakup penggunaan materi yang disiapkan oleh orang atau lembaga lain secara tidak sah dalam penjualan makalah atau materi akademis lainnya.”

Insiden ini menimbulkan pertanyaan kompleks tentang batasan yang harus diambil terkait alat AI baru. Kapan tindakan tersebut hanya membantu dengan cara yang dapat diterima, dan kapan penggunaannya berarti pelanggaran akademis? Lagi pula, banyak orang menggunakan fitur koreksi otomatis tata bahasa dan ejaan dalam sistem seperti Google Dokumen dan program lain yang menyarankan kata atau frasa saat pengguna mengetik. Apakah itu curang?

Dan karena fitur tata bahasa tersebut menjadi lebih kuat seiring dengan semakin populernya alat AI generatif, apakah alat pendeteksi AI dapat membedakan antara penggunaan AI yang dapat diterima dan kecurangan?

“Saya mempunyai guru lain di universitas yang sama yang merekomendasikan agar saya menggunakan [Grammarly] untuk makalah,” kata Stevens dalam video lain. “Jadi, apakah mereka mencoba memberi tahu kami bahwa kami tidak bisa menggunakan koreksi otomatis atau pemeriksa ejaan atau apa pun? Apa yang mereka ingin kita lakukan, mengetikkannya ke dalam aplikasi Notes dan mengubahnya seperti itu?”

Dalam sebuah wawancara dengan EdSurge, siswa tersebut mengatakannya sebagai berikut:

“Menurut saya, detektor AI adalah sampah dan sebagai pelajar, tidak banyak yang bisa kita lakukan untuk mengatasinya,” katanya. “Dan itu tidak adil karena kita melakukan semua pekerjaan ini dan membayar semua uang untuk kuliah, dan kemudian detektor AI dapat mengacaukan seluruh karir kuliah Anda.”

Liku-liku

Dalam perjalanannya, kisah mahasiswa Universitas North Georgia ini mengalami beberapa perubahan yang mengejutkan.

Pertama, universitas mengeluarkan email kepada semua mahasiswa tentang AI tidak lama setelah Stevens memposting video viral pertamanya.

Email tersebut mengingatkan mahasiswa untuk mengikuti kode etik akademik universitas, dan juga terdapat peringatan yang tidak biasa: “Harap diperhatikan bahwa beberapa alat online yang digunakan untuk membantu mahasiswa dalam tata bahasa, tanda baca, struktur kalimat, dll., memanfaatkan kecerdasan buatan generatif (AI). ); yang dapat ditandai oleh Turnitin. Salah satu situs AI generatif yang paling umum digunakan dan ditandai oleh Turnitin.com adalah Grammarly. Harap berhati-hati saat mempertimbangkan situs web ini.”

Profesor tersebut kemudian memberi tahu mahasiswa tersebut bahwa dia juga memeriksa makalahnya dengan alat lain, Copyleaks, dan alat tersebut juga menandai makalahnya sebagai ditulis bot. Dan dia mengatakan bahwa ketika dia menerbitkan makalahnya melalui Copyleaks baru-baru ini, makalah tersebut dianggap sebagai karya manusia. Dia mengirimi reporter ini tangkapan layar dari proses tersebut, yang mana alat tersebut menyimpulkan, dalam teks berwarna hijau, “Ini adalah teks manusia.”

“Jika saya menjalankannya sekarang dan mendapatkan hasil yang berbeda, itu menunjukkan bahwa hal-hal ini tidak selalu akurat,” katanya tentang detektor AI.

Pejabat dari Copyleaks tidak menanggapi permintaan komentar. Stevens menolak untuk membagikan teks lengkap makalahnya, menjelaskan bahwa dia tidak ingin makalah tersebut tersebar di internet sehingga mahasiswa lain dapat menyalinnya dan mungkin akan membuatnya mendapat lebih banyak masalah dengan universitasnya. “Saya sudah dalam masa percobaan akademis,” katanya.

Stevens mengatakan dia telah mendengar dari siswa di seluruh negeri yang mengatakan bahwa mereka juga dituduh melakukan kecurangan karena perangkat lunak pendeteksi AI.

“Seorang siswa mengatakan dia ingin menjadi dokter tetapi dia dituduh, dan kemudian tidak ada sekolah yang mau menerimanya karena tuduhan pelanggarannya,” kata Stevens.

Stevens mengatakan dia terkejut dengan banyaknya dukungan yang dia terima dari orang-orang yang menonton videonya. Pengikutnya di media sosial mendorongnya untuk mendirikan a Kampanye GoFundMe, yang dia lakukan untuk menutupi hilangnya beasiswanya dan untuk membayar pengacara yang berpotensi mengambil tindakan hukum terhadap universitas tersebut. Sejauh ini dia telah mengumpulkan lebih dari $6,100 dari lebih dari 90 orang.

Dia juga terkejut saat dihubungi oleh pejabat dari Grammarly, yang memberikan $4,000 kepada GoFundMe dan mempekerjakannya sebagai duta mahasiswa. Hasilnya, Stevens kini berencana membuat tiga video promosi untuk Grammarly, dan dia akan dibayar sedikit biaya untuk setiap videonya.

“Saat ini kami mencoba bekerja sama agar perguruan tinggi memikirkan kembali kebijakan AI mereka,” kata Stevens.

Bagi Grammarly, tampak jelas bahwa tujuannya adalah untuk mengubah narasi dari video pertama Stevens, di mana dia berkata, “Jika Anda memiliki makalah, esai, postingan diskusi, apa pun yang dikirimkan ke TurnItIn, hapus instalan Grammarly sekarang juga .”

Kepala pendidikan Grammarly, Jenny Maxwell, mengatakan bahwa dia berharap dapat menyebarkan pesan tentang betapa tidak akuratnya pendeteksi AI.

“Banyak institusi di tingkat fakultas tidak menyadari seberapa sering layanan deteksi AI ini salah,” katanya. “Kami ingin memastikan bahwa institusi menyadari betapa berbahayanya penggunaan detektor AI sebagai satu-satunya sumber kebenaran.”

Kelemahan seperti itu telah terjadi didokumentasikan dengan baik, dan beberapa peneliti mengatakan profesor tidak boleh menggunakan alat tersebut. Bahkan Turnitin secara terbuka menyatakan bahwa alat pendeteksi AI miliknya tidak selalu dapat diandalkan.

Annie Chechitelli, chief product officer Turnitin, mengatakan bahwa alat pendeteksi AI miliknya memiliki tingkat positif palsu sekitar 1 persen menurut pengujian yang dilakukan perusahaan, dan mereka berupaya untuk menurunkan tingkat positif palsu tersebut serendah mungkin.

“Kami mungkin membiarkan sekitar 15 persen [teks yang ditulis bot] tidak ditandai,” katanya. “Kami lebih memilih menurunkan akurasi daripada meningkatkan angka positif palsu kami.”

Chechitelli menekankan bahwa pendidik harus menggunakan sistem deteksi Turnitin sebagai titik awal percakapan dengan siswa, bukan sebagai keputusan akhir mengenai integritas akademik pekerjaan siswa. Dan dia mengatakan bahwa hal itu juga menjadi saran perusahaan untuk sistem deteksi plagiarismenya.

“Kami harus benar-benar melatih para guru bahwa ini bukanlah bukti bahwa siswa tersebut menyontek,” katanya. “Kami selalu mengatakan bahwa guru perlu mengambil keputusan.”

Namun, AI menempatkan pendidik pada posisi yang lebih menantang dalam percakapan tersebut, Chechitelli mengakui. Jika alat Turnitin mendeteksi plagiarisme, sistem akan menunjuk ke materi sumber yang mungkin disalin oleh siswa. Dalam kasus deteksi AI, tidak ada sumber materi yang jelas untuk dilihat, karena alat seperti ChatGPT memberikan jawaban berbeda setiap kali pengguna memasukkan perintah, sehingga lebih sulit untuk membuktikan bahwa bot adalah sumbernya.

Pejabat Turnitin mengatakan bahwa dalam pengujian internal perusahaan, alat pemeriksa tata bahasa tradisional tidak memicu alarm.

Maxwell, dari Grammarly, menunjukkan bahwa meskipun sistem pendeteksi AI 98 persen benar, itu berarti sistem tersebut salah menandai, katakanlah, 2 persen makalah. Dan karena satu universitas mungkin menerima 50,000 makalah mahasiswa setiap tahunnya, hal ini berarti jika semua profesor menggunakan sistem deteksi AI, 1,000 makalah akan dianggap sebagai kasus kecurangan.

Apakah Maxwell khawatir perguruan tinggi akan melarang penggunaan produknya? Lagi pula, University of North Georgia baru-baru ini menghapus Grammarly dari daftar sumber yang direkomendasikan setelah video TikTok karya Stevens menjadi viral, meskipun mereka kemudian menambahkannya kembali.

“Kami bertemu dengan Universitas North Georgia dan mereka mengatakan ini tidak ada hubungannya dengan Grammarly,” kata Maxwell. “Kami senang dengan semakin banyak profesor dan mahasiswa yang condong ke arah sebaliknya – dengan mengatakan, 'Ini adalah dunia kerja baru dan kita perlu memikirkan cara yang tepat untuk menggunakan alat-alat ini.' Anda tidak bisa memasukkan kembali pasta gigi ke dalam tabungnya.”

Bagi Tricia Bertram Gallant, direktur Kantor Integritas Akademik di Universitas California San Diego dan pakar nasional mengenai kecurangan, isu terpenting dalam kasus pelajar ini bukanlah soal teknologi. Dia mengatakan pertanyaan yang lebih besar adalah apakah perguruan tinggi memiliki sistem yang efektif untuk menangani tuduhan pelanggaran akademik.

“Saya sangat ragu bahwa seorang siswa akan dituduh menyontek hanya dari pemeriksaan tata bahasa dan ejaan,” katanya, “tetapi jika itu benar, chatbot AI bukanlah masalahnya, kebijakan dan prosesnya adalah masalahnya.”

“Jika seorang dosen bisa menggunakan suatu alat, menuduh mahasiswanya dan memberi mereka nilai nol, maka selesailah, itu menjadi masalah,” katanya. “Itu bukan masalah alat.”

Dia mengatakan bahwa secara konseptual, alat AI tidak ada bedanya dengan cara-cara curang lainnya yang telah dilakukan siswa selama bertahun-tahun, seperti mempekerjakan siswa lain untuk menulis makalah mereka untuk mereka.

“Aneh bagi saya ketika perguruan tinggi membuat kebijakan terpisah untuk penggunaan AI,” katanya. “Yang kami lakukan dalam kebijakan kami hanyalah menambahkan kata 'mesin',” tambahnya, seraya mencatat bahwa kini kebijakan integritas akademik secara eksplisit melarang penggunaan mesin untuk melakukan pekerjaan yang seharusnya dilakukan oleh siswa.

Dia menyarankan agar siswa memastikan untuk menyimpan catatan tentang bagaimana mereka menggunakan alat apa pun yang membantu mereka, bahkan jika profesor mengizinkan penggunaan AI dalam tugas. “Mereka harus memastikan bahwa mereka menyimpan riwayat obrolan mereka” di ChatGPT, katanya, “sehingga dapat dilakukan percakapan tentang proses mereka” jika ada pertanyaan yang diajukan nanti.

Lanskap yang Berubah dengan Cepat

Meskipun pemeriksa tata bahasa dan ejaan telah ada selama bertahun-tahun, banyak dari mereka kini menambahkan fitur AI baru yang mempersulit para profesor untuk mencoba memahami apakah siswa melakukan pemikiran di balik tugas yang mereka serahkan.

Misalnya, Grammarly kini memiliki opsi baru, sebagian besar dalam versi berbayar yang tidak diikuti oleh Stevens, yang menggunakan AI generatif untuk melakukan hal-hal seperti “membantu melakukan brainstorming topik untuk suatu tugas” atau untuk “membuat rencana penelitian”, seperti siaran pers baru-baru ini dari perusahaan meletakkannya.

Grammarly kini menyertakan alat AI yang dapat menulis atau merevisi tulisan apa pun.

Maxwell, dari Grammarly, mengatakan bahwa perusahaan tersebut mencoba meluncurkan fitur-fitur baru tersebut dengan hati-hati, dan mencoba membangun perlindungan untuk mencegah siswa meminta bot melakukan tugasnya untuk mereka. Dan dia mengatakan bahwa ketika sekolah mengadopsi alat ini, mereka dapat mematikan fitur AI generatif. “Saya adalah orang tua dari anak berusia 14 tahun,” katanya, seraya menambahkan bahwa siswa yang lebih muda yang masih mempelajari dasar-dasarnya memiliki kebutuhan yang berbeda dibandingkan siswa yang lebih tua.

Chechitelli, dari Turnitin, mengatakan bahwa menjadi masalah bagi siswa karena Grammarly dan alat produktivitas lainnya kini mengintegrasikan ChatGPT dan melakukan lebih dari sekadar memperbaiki sintaksis penulisan. Itu karena menurutnya siswa mungkin tidak memahami fitur baru dan implikasinya.

“Suatu hari mereka masuk dan mereka memiliki pilihan baru dan pilihan berbeda,” katanya. “Menurutku itu membingungkan.”

Bagi pemimpin Turnitin, pesan terpenting bagi para pendidik saat ini adalah transparansi mengenai bantuan yang diberikan oleh AI, jika ada.

“Saran saya adalah berhati-hatilah dalam menggunakan alat yang Anda gunakan dan pastikan Anda dapat menunjukkan kepada guru evolusi tugas Anda atau mampu menjawab pertanyaan,” katanya.

Gallant, pakar integritas akademik nasional, mengatakan bahwa para profesor perlu menyadari semakin banyaknya alat AI generatif yang dapat diakses oleh siswa.

“Tata bahasa jauh melampaui tata bahasa dan pemeriksaan ejaan,” katanya. “Tata bahasa sama seperti alat lainnya — dapat digunakan secara etis atau dapat digunakan secara tidak etis. Begitulah cara penggunaannya atau bagaimana penggunaannya dikaburkan.”

Gallant mengatakan bahwa bahkan para profesor pun melanggar batasan etika ini dalam tulisan dan publikasi mereka di jurnal akademis. Dia berkata bahwa dia pernah mendengar tentang profesor yang menggunakan ChatGPT dalam menulis artikel jurnal dan kemudian “lupa mengambil bagian di mana AI menyarankan ide.”

Ada sesuatu yang menggiurkan tentang kemudahan alat AI generatif baru ini dalam mengeluarkan teks yang diformat dengan baik, tambahnya, dan hal itu dapat membuat orang berpikir bahwa mereka sedang melakukan pekerjaan padahal yang mereka lakukan hanyalah memasukkan perintah ke dalam mesin.

“Ada kurangnya pengaturan diri – bagi semua manusia, terutama bagi pemula dan generasi muda – antara saat hal tersebut membantu saya dan saat hal tersebut melakukan pekerjaan untuk saya,” kata Gallant.

tempat_img

Intelijen Terbaru

tempat_img