Benarkah AI Bisa Deteksi Pikirannya Diotak-atik? Ini Faktanya
Sejumlah riset mengindikasikan AI dapat mendeteksi saat jaringan sarafnya dimanipulasi peneliti, meski statusnya sebagai refleksi diri masih diperdebatkan.
Foto: SingularityHub (Dokumentasi editorial)
Poin penting
- Riset baru mengindikasikan Qwen dan Llama menandai manipulasi jaringan saraf hingga 53,9 persen dalam uji coba.
- Peneliti NYU berargumen AI gagal membedakan secara andal antara penyusupan jaringan dan rekayasa instruksi teks.
- Pelaku usaha disarankan tidak memercayai alasan AI mentah-mentah dan tetap melakukan audit sistem berkala.
Sejumlah riset baru yang diulas SingularityHub mengindikasikan bahwa model bahasa besar atau LLM—sistem AI pemroses teks berskala raksasa—mungkin mampu mendeteksi saat aktivitas internal di jaringan sarafnya dimanipulasi peneliti. Temuan awal ini memicu perdebatan sengit di bidang keamanan AI dan ilmu kognitif.
Bagi pelaku bisnis, kemampuan AI mengenali gangguan internal berpotensi membantu pemantauan keandalan sistem otomatisasi. Namun, para ilmuwan mengingatkan bahwa penjelasan AI tentang proses berpikirnya belum tentu mencerminkan kondisi sebenarnya di balik layar.
Uji Coba Deteksi Manipulasi pada Model AI Populer
Pada Maret lalu, peneliti New York University sekaligus Anthropic, Harvey Lederman, bersama ahli bahasa University of Texas, Kyle Mahowald, memublikasikan studi di server arXiv. Mereka menguji dua model AI terbuka terbesar, yakni Qwen3-235B milik Alibaba dan Llama 3.1 405B dari Meta.
Dalam uji coba tersebut, peneliti menyuntikkan pola aktivitas buatan yang terkait dengan 821 konsep ke dalam jaringan saraf AI. Hasilnya, Qwen menandai adanya penyusupan hingga 53,9 persen, sedangkan Llama mencatatkan angka deteksi hingga 31,7 persen.
Ketika peneliti tidak melakukan manipulasi apa pun, kedua model sama sekali tidak melapor adanya penyusupan. Studi ini melanjutkan laporan peneliti Anthropic, Jack Lindsey, pada 2025 yang menemukan model terbaik bisa mendeteksi dan menebak konsep sisipan sekitar 20 persen.
"Fakta bahwa model AI bisa menyadari anomali itu sungguh di luar nalar... Itu fakta yang luar biasa. Hal ini sangat liar, dan tampak bertahan terhadap berbagai kontrol kami," kata Harvey Lederman kepada Quanta Magazine.
Introspeksi Asli atau Sekadar Efek Samping Teknis?
Meski angka deteksinya cukup tinggi, kemampuan model menebak konsep yang disuntikkan masih lemah. Qwen hanya menebak benar hingga 13,9 persen dan Llama 12,9 persen, bahkan hampir tiga perempat tebakan salah Qwen selalu menyebut kata apel.
Tim peneliti New York University, termasuk Shauli Ravfogel, menguji ulang temuan tersebut pada model Llama dan Gemma milik Google. Alih-alih mengutak-atik jaringan saraf, mereka cukup memberi prompt—instruksi teks kepada AI—agar terobsesi pada satu topik.
Hasilnya, model justru lebih sering melaporkan pikirannya disusupi setelah menerima instruksi teks daripada saat jaringannya benar-benar dimanipulasi. Peneliti pun berargumen AI belum bisa berintrospeksi karena gagal membedakan secara andal antara gangguan jaringan dan manipulasi prompt.
Di sisi lain, ahli saraf University College London, Steve Fleming, berpendapat riset ini mengindikasikan ilmuwan kognitif mungkin melebih-lebihkan betapa jelasnya perbedaan antara berpikir dan berpikir tentang berpikir. Untuk meminimalkan risiko bisnis, manajer sebaiknya tetap menerapkan audit keluaran berkala alih-alih memercayai klaim alasan AI.
Apa Artinya bagi Pelaku Usaha
Riset ini relevan bagi pemilik usaha, direktur TI, dan manajer operasional yang mengandalkan sistem AI generatif untuk layanan pelanggan maupun analisis data. Perusahaan tidak bisa menjadikan alasan atau penjelasan yang ditulis AI sebagai bukti akurat keamanan sistem.
Sebagai langkah antisipasi, pelaku usaha di Indonesia perlu memisahkan evaluasi keamanan teknis dengan narasi yang dihasilkan chatbot. Terapkan pengujian rutin menggunakan data kendali tanpa rekayasa, serta verifikasi apakah perubahan perilaku AI berasal dari gangguan sistem atau instruksi pengguna.
Dengan memahami keterbatasan refleksi diri pada model AI saat ini, manajemen dapat menghindari ketergantungan berlebih pada fitur penjelasan otomatis. Pengawasan manusia tetap menjadi standar utama guna menjaga akurasi keputusan bisnis dan mencegah kebocoran informasi.
✓ Lolos pemeriksaan redaksi AI. (Klik untuk lihat hasil pemeriksaan fakta)
Artikel ini ditulis AI, 15 klaimnya dicocokkan dengan sumber, dan diuji keterbacaannya sebelum terbit. Menemukan kekeliruan? Laporkan ke redaksi.
- SingularityHub: AI Models Can Tell When Researchers Plant Concepts in Their Neural Networks. Is It Self-Reflection?
| Klaim | Putusan | Dasar di sumber |
|---|---|---|
| Sejumlah riset mengindikasikan LLM mungkin mampu mendeteksi saat aktivitas internal di jaringan sarafnya dimanipulasi peneliti. | Didukung | “However, a growing body of research now suggests models can tell when their neural activity has been altered by researchers.” SingularityHub menyatakan riset yang berkembang menunjukkan model dapat mengetahui ketika aktivitas sarafnya diubah peneliti. |
| Status temuan deteksi manipulasi ini sebagai refleksi diri memicu perdebatan di bidang keamanan AI dan ilmu kognitif. | Didukung | “Whether AI can introspect has become a controversial question in both AI safety and cognitive science.” SingularityHub menyebut kemampuan introspeksi AI menjadi pertanyaan kontroversial di bidang keamanan AI dan ilmu kognitif. |
| Penjelasan AI tentang proses berpikirnya belum tentu mencerminkan kondisi sebenarnya di balik layar. | Didukung | “AI models can produce convincing descriptions of their reasoning, but there's little way to tell whether those explanations reflect what’s actually happening inside.” SingularityHub menjelaskan tidak banyak cara untuk memastikan apakah penjelasan AI mencerminkan apa yang sebenarnya terjadi di dalam. |
| Pada Maret lalu, Harvey Lederman (peneliti NYU sekaligus Anthropic) dan ahli bahasa University of Texas Kyle Mahowald memublikasikan studi di server arXiv. | Didukung | “Lederman’s study was published on the arXiv preprint server in March, while he was still at the University of Texas.” SingularityHub menyebut studi Lederman terbit di arXiv pada Maret, dan sebelumnya memperkenalkan Lederman sebagai filsuf di NYU dan Anthropic serta rekannya Kyle Mahowald sebagai ahli bahasa di University of Texas. |
| Mereka menguji dua model AI terbuka berukuran sangat besar, yakni Qwen3-235B milik Alibaba dan Llama 3.1 405B dari Meta. | Didukung | “So they decided to test the idea on two of the largest openly available models, Alibaba's Qwen3-235B and Meta's Llama 3.1 405B.” SingularityHub menyebut keduanya menguji Qwen3-235B milik Alibaba dan Llama 3.1 405B milik Meta. |
| Peneliti menyuntikkan pola aktivitas terkait 821 konsep, dan Qwen menandai penyusupan hingga 53,9 persen sedangkan Llama hingga 31,7 persen. | Didukung | “In trials where they artificially amplified patterns related to 821 concepts, Qwen flagged injections up to 53.9 percent of the time and Llama in up to 31.7 percent.” SingularityHub melaporkan angka deteksi penyusupan hingga 53,9 persen pada Qwen dan hingga 31,7 persen pada Llama dalam uji coba 821 konsep. |
| Ketika peneliti tidak melakukan manipulasi apa pun, kedua model sama sekali tidak melapor adanya penyusupan. | Didukung | “In trials where they didn’t make any changes, neither model claimed a single injection.” SingularityHub menyatakan pada uji coba tanpa perubahan, kedua model tidak mengklaim satu pun penyusupan. |
| Studi tersebut melanjutkan laporan peneliti Anthropic Jack Lindsey pada 2025 yang menemukan model terbaik bisa mendeteksi dan menebak konsep sisipan sekitar 20 persen. | Didukung | “The work is a follow-up to a 2025 report by Anthropic researcher Jack Lindsey, which pioneered the idea of injecting activity patterns associated with specific concepts into a model’s network.” SingularityHub menyebut studi ini lanjutan laporan Jack Lindsey tahun 2025 yang menemukan model terbaik mendeteksi dan menyebut konsep dalam sekitar 20 persen kasus. |
| Harvey Lederman mengatakan kepada Quanta Magazine bahwa kemampuan model menyadari anomali itu luar biasa, liar, dan tampak bertahan terhadap berbagai kontrol mereka. | Didukung | ““That is a mind-bending fact. It is wild, and it does seem robust to our various controls.”” SingularityHub mengutip langsung pernyataan Harvey Lederman kepada Quanta Magazine mengenai fakta bahwa model dapat menyadari anomali. |
| Qwen hanya menebak benar konsep yang disuntikkan hingga 13,9 persen dan Llama 12,9 persen. | Didukung | “The models sometimes named the injected concept correctly too—in up to 13.9 percent of trials for Qwen and 12.9 percent for Llama.” SingularityHub mencantumkan persentase tebakan konsep yang benar hingga 13,9 persen untuk Qwen dan 12,9 persen untuk Llama. |
| Hampir tiga perempat tebakan salah Qwen menyebut kata apel. | Didukung | “Almost three-quarters of Qwen's wrong guesses were simply “apple.”” SingularityHub menyatakan hampir tiga perempat tebakan salah Qwen hanyalah kata 'apple'. |
| Tim peneliti NYU termasuk Shauli Ravfogel menguji ulang temuan tersebut pada model Llama dan Gemma milik Google menggunakan manipulasi jaringan dan prompt agar terobsesi pada satu topik. | Didukung | “They then subjected Meta's Llama and Google's Gemma models to both concept injection and their new prompting trick” SingularityHub menyebut peneliti NYU, termasuk Shauli Ravfogel, menguji Llama dan Gemma dengan injeksi konsep dan trik prompt obsesi. |
| Model lebih sering melaporkan pikirannya disusupi setelah menerima instruksi teks daripada saat jaringannya benar-benar dimanipulasi. | Didukung | “The models reported “injected thoughts” more often following the prompt than after a genuine injection.” SingularityHub melaporkan model lebih sering menyebut adanya 'injected thoughts' setelah diberi prompt dibanding setelah injeksi jaringan asli. |
| Peneliti NYU berargumen AI gagal membedakan secara andal antara gangguan jaringan dan manipulasi prompt. | Didukung | “When the researchers gave the models a third option to report that the prompt had been manipulated, they were unable to reliably differentiate between the two interventions.” SingularityHub menyatakan model tidak mampu membedakan kedua intervensi secara andal, dan peneliti berargumen model yang benar-benar menginspeksi dirinya semestinya bisa membedakannya. |
| Ahli saraf University College London Steve Fleming berpendapat riset ini mengindikasikan ilmuwan kognitif mungkin melebih-lebihkan jelasnya perbedaan antara berpikir dan berpikir tentang berpikir. | Didukung | “told Quanta the research suggests cognitive scientists may have oversold how clear the distinction between thinking and thinking about thinking really was.” SingularityHub mengutip pendapat Steve Fleming dari University College London kepada Quanta mengenai batas antara berpikir dan berpikir tentang berpikir. |
Video AI terbaru
How to request and enable Daybreak Blue
