PT Neuronworks Indonesia
AI Semakin Otonom, Siapa yang Mengendalikan Jika Bertindak di Luar Batas?
Teknologi | 2026-10-19 14:36:50
Perkembangan kecerdasan buatan atau Artificial Intelligence (AI) memungkinkan sistem menjalankan tugas secara mandiri. Namun, semakin besar kewenangan yang diberikan, semakin penting pula penerapan guardrails untuk menjaga keamanan dan memastikan setiap tindakan tetap berada dalam batas yang ditetapkan.
Perkembangan teknologi AI kini memasuki tahap baru. Sistem AI tidak lagi hanya digunakan untuk menjawab pertanyaan atau menghasilkan konten, tetapi juga mampu merencanakan pekerjaan, mengakses informasi, dan menjalankan serangkaian tindakan secara mandiri melalui integrasi dengan berbagai aplikasi dan sistem bisnis.
Kemampuan tersebut membuka peluang bagi perusahaan untuk meningkatkan efisiensi operasional dan mempercepat pengambilan keputusan. Namun, di balik manfaatnya, muncul tantangan penting bagaimana memastikan AI tidak melakukan tindakan di luar kewenangan yang diberikan?
Pertanyaan ini semakin relevan seiring berkembangnya agentic AI, yaitu sistem AI yang dapat menjalankan tugas melalui perencanaan dan serangkaian tindakan untuk mencapai tujuan tertentu.
Microsoft, melalui panduan keamanan sistem AI agenik, menekankan pentingnya pengamanan yang mencakup pembatasan akses, pengawasan, serta mekanisme untuk menghentikan tindakan agen ketika diperlukan. Hal ini menunjukkan bahwa kemampuan AI perlu diimbangi dengan tata kelola dan kontrol yang memadai.
Guardrails Menjadi Lapisan Pengaman Sistem AI
Salah satu pendekatan yang dapat diterapkan untuk mengelola risiko tersebut adalah guardrails. Istilah ini merujuk pada seperangkat aturan, batasan, dan mekanisme kontrol yang dirancang untuk memastikan sistem AI beroperasi sesuai tujuan, kebijakan, dan kewenangan yang telah ditetapkan.
Dalam implementasinya, guardrails dapat mengatur akses AI terhadap data, menentukan tindakan yang diizinkan, serta menetapkan kondisi ketika persetujuan manusia harus diperoleh sebelum suatu proses dijalankan.
Dengan mekanisme tersebut, AI tetap dapat bekerja secara mandiri untuk tugas-tugas yang telah diotorisasi tanpa memperoleh kebebasan yang tidak diperlukan.
Risiko AI Bertindak di Luar Kewenangan
Risiko muncul ketika sistem AI memiliki akses yang terlalu luas atau dapat menjalankan tindakan penting tanpa pengawasan yang memadai.
Open Worldwide Application Security Project (OWASP), melalui Top 10 for Large Language Model Applications, mengidentifikasi risiko Excessive Agency. Risiko ini berkaitan dengan pemberian fungsi, izin, atau tingkat otonomi yang berlebihan kepada sistem AI, sehingga dapat meningkatkan dampak kesalahan maupun penyalahgunaan.
Sebagai contoh, AI yang digunakan untuk membantu pekerjaan administrasi seharusnya tidak memiliki kewenangan untuk menghapus data penting atau menyetujui transaksi keuangan bernilai besar tanpa otorisasi yang sesuai.
Tanpa pembatasan yang jelas, kesalahan dalam memahami instruksi atau penggunaan fungsi yang tidak tepat dapat menimbulkan konsekuensi terhadap keamanan data dan kelangsungan operasional perusahaan.
Karena itu, pengembangan AI tidak cukup hanya berfokus pada kemampuan menghasilkan jawaban yang akurat. Perusahaan juga perlu memastikan bahwa tindakan yang dapat dilakukan sistem telah dibatasi sesuai kebutuhan dan tingkat risikonya.
Sumber: OWASP – Top 10 for Large Language Model Applications
Tiga Langkah Mengendalikan AI Otonom
Untuk mengurangi risiko, perusahaan dapat menerapkan sejumlah mekanisme pengamanan dalam penggunaan AI otonom.
1. Membatasi hak akses sesuai kebutuhan
AI sebaiknya hanya memperoleh akses terhadap data, aplikasi, dan fungsi yang benar-benar dibutuhkan untuk menyelesaikan tugasnya. Prinsip ini membantu mengurangi potensi dampak apabila sistem melakukan kesalahan atau menjalankan tindakan yang tidak semestinya.
2. Melibatkan manusia dalam tindakan berisiko tinggi
Tindakan seperti menghapus data penting, mengubah konfigurasi sistem, atau menyetujui transaksi keuangan perlu dilengkapi mekanisme persetujuan dari pihak yang berwenang. Dengan demikian, perusahaan tetap memiliki kendali atas keputusan yang berpotensi menimbulkan dampak signifikan.
3. Memantau dan mencatat aktivitas AI
Aktivitas AI perlu dicatat agar perusahaan dapat menelusuri tindakan yang dilakukan, mendeteksi perilaku yang tidak wajar, dan mengevaluasi penyimpangan. Perusahaan juga perlu menyiapkan mekanisme penghentian yang aman apabila sistem menunjukkan perilaku yang berisiko.
Microsoft menyoroti pentingnya pengamanan sistem AI agenik melalui pendekatan yang mencakup kontrol akses, pengawasan, dan pengendalian tindakan. Penerapan mekanisme tersebut dapat membantu perusahaan mengelola sistem AI secara lebih terukur.
Sumber: Microsoft Learn – Mengamankan Sistem AI Agenik Otonom
Tata Kelola Menjadi Kunci Penerapan AI di Perusahaan
Penerapan guardrails bukan berarti menghilangkan kemampuan AI untuk bekerja secara mandiri. Sebaliknya, mekanisme ini membantu memastikan bahwa otonomi yang diberikan tetap sejalan dengan kebutuhan bisnis, kebijakan keamanan, dan batas kewenangan yang telah ditentukan.
Bagi perusahaan, pengendalian AI menjadi bagian penting dari upaya menjaga keamanan data, konsistensi proses bisnis, dan kepercayaan pengguna. Implementasinya perlu didukung oleh kebijakan yang jelas, pengelolaan hak akses, pencatatan aktivitas, serta keterlibatan manusia dalam keputusan yang berisiko tinggi.
Seiring meningkatnya pemanfaatan AI dalam proses bisnis, perusahaan perlu melihat keamanan dan tata kelola sebagai bagian dari perencanaan implementasi sejak awal, bukan sekadar tambahan setelah sistem berjalan.
Pada akhirnya, keberhasilan penerapan AI otonom tidak hanya ditentukan oleh seberapa banyak tugas yang dapat diselesaikan secara mandiri, tetapi juga oleh kemampuan perusahaan memastikan setiap tindakan berlangsung secara aman, terukur, dan dapat dipertanggungjawabkan.
Disclaimer
Retizen adalah Blog Republika Netizen untuk menyampaikan gagasan, informasi, dan pemikiran terkait berbagai hal. Semua pengisi Blog Retizen atau Retizener bertanggung jawab penuh atas isi, foto, gambar, video, dan grafik yang dibuat dan dipublished di Blog Retizen. Retizener dalam menulis konten harus memenuhi kaidah dan hukum yang berlaku (UU Pers, UU ITE, dan KUHP). Konten yang ditulis juga harus memenuhi prinsip Jurnalistik meliputi faktual, valid, verifikasi, cek dan ricek serta kredibel.
