Uji Coba Visa: Agen AI Gagal Belanja 42,8 Persen dan Kerap Beli Barang Salah
Riset Visa mengungkap agen AI masih belum konsisten dalam mengeksekusi belanja otonom. Pelaku usaha perlu mengkaji ulang batas delegasi transaksi otomatis.
Foto: The Next Web (Dokumentasi editorial)
Poin penting
- Tolok ukur Visa mencatat 22 model agen AI mengalami kegagalan belanja hingga 42,8 persen.
- Pada 54 persen simulasi yang gagal, agen AI tetap memaksakan transaksi meski barang tidak sesuai.
- Konsistensi agen AI masih rendah dengan tingkat kelulusan berulang tiga kali hanya 34,2 persen.
Langkah mendelegasikan transaksi keuangan kepada agen AI, perangkat lunak otonom yang mengeksekusi tugas tanpa campur tangan manusia, ternyata masih menyimpan risiko finansial yang cukup tinggi bagi konsumen dan pelaku usaha.
Berdasarkan laporan The Next Web, Visa baru saja meluncurkan tolok ukur bertajuk Visa Agentic Commerce Benchmark untuk menguji 22 model AI dari 12 laboratorium teknologi dalam 15 skenario belanja.
Hasilnya, model-model AI tersebut mengalami kegagalan pada 42,8 persen pengujian. Temuan yang lebih mengkhawatirkan, agen AI tetap melakukan pembelian pada 54 persen sesi yang gagal tersebut.
Tantangan Konsistensi dan Penggalian Kebutuhan
Dalam simulasi belanja seperti membeli televisi atau laptop, sistem tidak memberikan detail kebutuhan secara lengkap di awal. Agen AI dituntut berdialog aktif untuk menggali preferensi tersembunyi konsumen.
Mengutip laporan Fortune, agen buatan Google dan Meta meraih skor tertinggi sebesar 82 persen. Model Claude menempati posisi ketiga dengan 76 persen, sementara agen OpenAI berada di posisi keenam dengan 64 persen.
Model yang lebih mahal per penggunaan memang mencatat kelulusan lebih baik, yakni 67,1 persen dibanding model termurah yang hanya 50,2 persen. Namun, konsistensi tetap menjadi kendala besar.
Ketika setiap model diuji tiga kali pada skenario yang sama, mereka hanya berhasil lulus konsisten sebesar 34,2 persen. Model yang sempat sukses sering kali gagal saat mengulang tugas identik.
Agen AI berpotensi menggerakkan era perdagangan berikutnya, tetapi kepercayaan adalah kunci utama untuk mewujudkannya.
Pernyataan tersebut disampaikan oleh Global Head of Growth Visa, Rubail Birwadker. Survei Visa Trust Index pada September menunjukkan 72 persen konsumen Amerika Serikat sudah memakai asisten AI, namun hanya 23 persen yang percaya AI mengeksekusi pembayaran.
Apa Artinya bagi Pelaku Usaha
Bagi pengelola bisnis ritel dan platform digital, data pengujian Visa menunjukkan bahwa teknologi agen AI otonom belum cukup matang untuk dilepas tanpa pengawasan manusia. Kesalahan pembelian pada 54 persen sesi gagal membuktikan adanya risiko retur barang yang tinggi serta potensi sengketa transaksi perbankan.
Pelaku usaha di Indonesia disarankan menerapkan strategi verifikasi bertingkat sebelum memberikan akses pembayaran mandiri kepada bot pelanggan. Langkah mitigasi dapat dilakukan dengan membatasi nilai transaksi otomatis atau mewajibkan otorisasi satu sentuhan (one-tap approval) oleh pengguna akhir sebelum pembayaran diproses.
Untuk saat ini, bisnis sebaiknya memanfaatkan agen AI berbayar sebagai mesin rekomendasi katalog dan pemandu dialog pencarian produk. Membiarkan sistem menyelesaikan pembelian otomatis secara penuh saat ini berisiko membebani operasional layanan pelanggan dan merusak kepercayaan konsumen.
- The Next Web: Visa tested 22 AI models as shoppers, and they failed 42.8% of the time
Lihat hasil pemeriksaan (9 klaim)
| Klaim | Putusan | Dasar di sumber |
|---|---|---|
| Visa meluncurkan tolok ukur Visa Agentic Commerce Benchmark yang menguji 22 model AI dari 12 laboratorium dalam 15 tugas belanja. | Didukung | “The Visa Agentic Commerce Benchmark put 22 AI models from 12 labs through 15 shopping tasks, the company said in a statement on Thursday.” The Next Web |
| Model-model AI gagal dalam 42,8 persen pengujian belanja tersebut. | Didukung | “in its first round the AI models failed 42.8% of their test runs.” The Next Web |
| Pada 54 persen sesi yang gagal, agen AI tetap melakukan pembelian. | Didukung | “In 54% of the failed runs, the AI still ended up making a purchase.” The Next Web |
| Tugas simulasi meliputi pembelian TV, laptop, dan alat perawatan pribadi, di mana pelanggan tidak memberikan detail lengkap di awal sehingga AI harus berdialog. | Didukung | “The tasks included buying a TV, a laptop and a personal care appliance. The customer did not give every detail up front. Each AI had to work out what they needed by talking to them.” The Next Web |
| Agen dari Google dan Meta berbagi skor tertinggi 82 persen, Claude ketiga dengan 76 persen, dan OpenAI keenam dengan 64 persen menurut laporan Fortune. | Didukung | “Agents from Google and Meta shared the top score of 82%, Jeff John Roberts reported for Fortune . A Claude agent came third with 76%, and an OpenAI agent sixth with 64%.” The Next Web |
| Lima model termahal per pengujian mencatat kelulusan 67,1 persen dibandingkan 50,2 persen untuk lima model termurah. | Didukung | “The five most expensive models per run passed 67.1%, against 50.2% for the five cheapest.” The Next Web |
| Setiap model diuji tiga kali di setiap skenario dan hanya lulus ketiga percobaannya sebesar 34,2 persen, serta sering gagal saat mengulang skenario yang sudah pernah dilalui. | Didukung | “Each model had three tries at every scenario, and all three tries passed only 34.2% of the time.” The Next Web |
| Rubail Birwadker, Global Head of Growth Visa, menyatakan bahwa agen AI berpotensi menggerakkan era perdagangan berikutnya, tetapi kepercayaan adalah kuncinya. | Didukung | ““AI agents have the potential to power the next era of commerce, but trust is key to making it work.” Rubail Birwadker, global head of growth, Visa” The Next Web |
| Visa Trust Index pada September menunjukkan 72 persen konsumen AS pernah memakai asisten AI, namun hanya 23 persen yang percaya AI melakukan pembayaran. | Didukung | “Visa’s Trust Index, published in September, found that 72% of US consumers had used an AI assistant. Only 23% trusted AI to make payments for them.” The Next Web |
Video AI terbaru
Washington, D.C. is up next. 🏛️
