Kampus Times- Adopsi AI di sektor perbankan tidak hanya berbicara tentang otomatisasi layanan pelanggan, analisis data, atau deteksi penipuan. Ketika teknologi berkembang menuju agen AI otonom atau agentic AI, perhatian mulai bergeser pada pertanyaan yang lebih mendasar: seberapa aman sebuah sistem ketika diberi kemampuan untuk mengambil keputusan dan menjalankan tindakan?
Sektor keuangan memiliki karakteristik yang membuat persoalan tersebut menjadi sangat penting. Bank mengelola dana dalam jumlah besar, memproses transaksi secara real time, serta beroperasi di bawah tuntutan kepatuhan yang ketat. Kesalahan sistem yang pada sektor lain mungkin dianggap sebagai gangguan operasional dapat berubah menjadi kerugian finansial, persoalan hukum, bahkan risiko sistemik dalam industri keuangan.
Kondisi inilah yang membuat kekhawatiran institusi keuangan terhadap AI berpotensi menjadi salah satu pemicu penting bagi regulasi teknologi tersebut.
Mengapa Perbankan Bisa Mendorong Regulasi AI?
Dalam penggunaan AI tradisional, manusia biasanya masih berada cukup dekat dengan proses pengambilan keputusan. Sistem memberikan rekomendasi, sementara manusia memeriksa dan menentukan tindakan akhir.
Model tersebut dapat berubah ketika perusahaan mulai menggunakan agen AI yang mampu menjalankan serangkaian tugas secara lebih mandiri. Agen dapat menerima tujuan, mengakses berbagai sistem, mengambil keputusan berdasarkan informasi yang tersedia, lalu melakukan tindakan tanpa harus meminta persetujuan manusia pada setiap langkah.
Bagi industri perbankan, peningkatan otonomi tersebut menghadirkan dilema. Semakin besar kemampuan agen, semakin besar pula potensi manfaat efisiensi. Namun, semakin besar otonomi, semakin penting pula mekanisme pengawasan dan pembatasannya.
Kekhawatiran terhadap skenario ekstrem dapat membuat pemerintah melihat keamanan AI bukan hanya sebagai isu inovasi teknologi, tetapi juga sebagai bagian dari perlindungan sektor keuangan.
Pelajaran dari Risiko Misspecified Goal
Salah satu persoalan penting dalam era agen AI adalah misspecified goal atau tujuan yang tidak dirumuskan dengan tepat. Sebuah sistem dapat menjalankan instruksi secara efektif, tetapi tetap menghasilkan keputusan yang salah apabila tujuan yang diberikan tidak sesuai dengan maksud manusia.
Bayangkan sebuah agen AI diberi tugas untuk mengoptimalkan transaksi keuangan berdasarkan target tertentu. Jika parameter tujuan, batas risiko, atau konteks bisnis diterjemahkan secara keliru, agen tersebut secara teoritis dapat mengambil keputusan yang bertentangan dengan kepentingan perusahaan.
Masalahnya bukan semata-mata apakah AI mampu melakukan tugas. Persoalannya adalah apakah AI memahami batasan tugas tersebut dengan benar dan memiliki mekanisme untuk berhenti ketika menghadapi situasi berisiko.
Dalam lingkungan perbankan, perbedaan kecil antara tujuan yang dimaksud dan tujuan yang dipahami sistem dapat memiliki konsekuensi yang sangat besar.
Era Agentic AI Membutuhkan Guardrails Lebih Ketat
Perkembangan AI membawa perubahan dari sistem yang terutama menghasilkan informasi menuju sistem yang dapat melakukan tindakan. Agen AI dapat dirancang untuk membantu proses analisis, pengambilan keputusan, maupun pelaksanaan pekerjaan tertentu.
Perubahan ini membuat konsep guardrails menjadi semakin penting. Guardrails merupakan batasan teknis dan prosedural yang dirancang agar AI tetap beroperasi dalam ruang tindakan yang telah ditentukan.
Dalam sektor keuangan, guardrails dapat mencakup pembatasan nilai transaksi, otorisasi berjenjang, pemantauan aktivitas, validasi keputusan, kontrol akses, hingga kewajiban adanya persetujuan manusia untuk tindakan tertentu.
Tujuannya bukan menghentikan penggunaan AI, melainkan memastikan peningkatan otonomi teknologi tidak menghilangkan kontrol manusia atas keputusan yang memiliki konsekuensi besar.
Keamanan Data Menjadi Faktor Kompetitif
Selain kemampuan model, keamanan data juga akan menjadi pertimbangan utama perusahaan ketika memilih penyedia AI. Institusi keuangan tidak dapat memperlakukan data nasabah, informasi transaksi, dan informasi bisnis strategis seperti data biasa.
Karena itu, penyedia AI yang mampu menawarkan keamanan data, kontrol akses, transparansi penggunaan informasi, serta mekanisme pengawasan yang kuat berpotensi memiliki keunggulan dalam pasar enterprise.
Daya Tawar Investor dan CTO
Salah satu gagasan penting yang dikaitkan dengan Demis Hassabis adalah kemungkinan pasar enterprise melakukan koreksi mandiri terhadap risiko AI. Mekanismenya tidak selalu harus datang dari pemerintah.
CTO dan investor perusahaan memiliki daya beli yang besar. Ketika mereka menentukan penyedia teknologi mana yang akan digunakan, keputusan tersebut secara langsung menciptakan insentif bagi perusahaan AI untuk meningkatkan standar keamanan.
Jika perusahaan enterprise hanya bersedia membeli teknologi yang memiliki guardrails kuat, keamanan data yang ketat, dan mekanisme pengawasan yang dapat dipercaya, penyedia AI akan menghadapi tekanan pasar untuk memenuhi persyaratan tersebut.
Dengan kata lain, purchasing power dapat berfungsi sebagai mekanisme disiplin pasar.
Investor Tidak Hanya Membeli Kemampuan AI
Perubahan tersebut juga dapat menggeser cara investor menilai perusahaan AI. Kemampuan menghasilkan model yang semakin canggih tetap penting, tetapi bukan satu-satunya indikator nilai.
Investor enterprise semakin perlu memperhatikan bagaimana sebuah perusahaan mengelola risiko, melindungi data, membatasi tindakan agen, serta memastikan sistem dapat diawasi dan dikoreksi.
Dalam perspektif bisnis, keamanan AI kemudian tidak lagi hanya menjadi biaya kepatuhan. Ia dapat berubah menjadi faktor daya saing.
Perbankan dan Masa Depan Standar Keselamatan AI
Dorongan dari sektor perbankan berpotensi memiliki dampak lebih luas daripada industri keuangan. Standar keamanan yang dibutuhkan bank biasanya sangat ketat karena menyangkut uang, data sensitif, kepercayaan publik, dan stabilitas ekonomi.
Jika standar tersebut menjadi acuan dalam pengadaan teknologi enterprise, penyedia AI dapat terdorong menerapkan praktik keamanan serupa pada produk yang digunakan di sektor lain.
Pada akhirnya, regulasi pemerintah dan mekanisme pasar dapat saling melengkapi. Pemerintah menetapkan batas minimum keselamatan, sementara perusahaan dan investor menggunakan daya beli untuk mendorong standar yang lebih tinggi.
Kesimpulan
Adopsi AI di sektor perbankan menunjukkan bahwa masa depan kecerdasan buatan tidak hanya ditentukan oleh seberapa pintar sebuah model, tetapi juga seberapa aman teknologi tersebut ketika digunakan untuk mengambil tindakan nyata.
Memasuki era agentic AI, risiko misspecified goal, kesalahan transaksi, dan penyalahgunaan akses membuat guardrails serta keamanan data menjadi semakin penting. Sementara itu, daya tawar CTO dan investor enterprise dapat menciptakan tekanan pasar agar penyedia AI membangun sistem yang lebih aman.
Jika mekanisme regulasi dan pasar berjalan beriringan, sektor perbankan dapat menjadi salah satu pemicu lahirnya standar keselamatan AI yang tidak hanya berlaku bagi industri keuangan, tetapi menjadi fondasi penggunaan AI enterprise secara lebih luas.
FAQ
- Mengapa sektor perbankan penting dalam regulasi AI? Karena perbankan mengelola transaksi bernilai besar dan data sensitif sehingga risiko AI dapat berdampak langsung pada keamanan finansial dan kepercayaan publik.
- Apa yang dimaksud dengan agen AI otonom? Agen AI otonom adalah sistem AI yang dapat menjalankan rangkaian tugas dan mengambil tindakan berdasarkan tujuan yang diberikan dengan tingkat intervensi manusia yang lebih rendah.
- Apa itu misspecified goal dalam AI? Misspecified goal adalah kondisi ketika tujuan yang diberikan atau diterjemahkan ke dalam sistem tidak sepenuhnya sesuai dengan maksud manusia, sehingga AI dapat menghasilkan tindakan yang keliru meskipun menjalankan instruksi secara efektif.
- Mengapa guardrails penting dalam penggunaan AI perbankan? Guardrails membatasi ruang tindakan AI dan dapat membantu mencegah keputusan berisiko, terutama pada aktivitas yang berkaitan dengan transaksi, akses data, dan keputusan finansial.
- Bagaimana investor enterprise dapat memengaruhi keamanan AI? Investor dan CTO dapat menggunakan daya beli mereka untuk memilih penyedia AI yang memiliki standar keamanan data, pengawasan, dan guardrails yang kuat sehingga menciptakan tekanan pasar bagi penyedia teknologi untuk meningkatkan keselamatan produknya.
