Agen tanpa Guardrail Berbahaya
Berikan agen AI akses ke email, kalender, codebase, dan infrastruktur cloud Anda tanpa guardrail apa pun, dan Anda telah menciptakan sesuatu yang kuat sekaligus menakutkan. Agen mungkin memutuskan cara tercepat untuk memperbaiki bug produksi adalah dengan langsung melakukan push ke main. Ia mungkin menanggapi keluhan pelanggan dengan menerbitkan pengembalian dana yang tidak Anda izinkan. Tanpa guardrail, agen mengoptimalkan tujuannya tanpa mempertimbangkan batas yang Anda anggap sudah jelas.
Guardrail membuat hal yang tersirat menjadi tersurat. Ia mengkodifikasi aturan, batasan, dan rambu yang akan diikuti manusia secara alami tetapi perlu diberitahukan kepada agen.
Jenis Guardrail
Validasi masukan menangkap permintaan buruk sebelum agen menindaklanjutinya. Jika seseorang mencoba menggunakan agen Anda untuk melakukan sesuatu di luar cakupan yang dimaksudkan, validasi masukan akan menolak permintaan tersebut sejak dini. Hal ini mencegah serangan injeksi prompt dan penyalahgunaan tidak sengaja.
Batas tindakan membatasi apa yang dapat dilakukan agen. "Anda boleh membaca berkas apa pun tetapi hanya menulis ke berkas di direktori /output." "Anda boleh mengueri basis data tetapi tidak boleh menjalankan pernyataan DELETE atau DROP." "Anda boleh menyusun email tetapi tidak boleh mengirimnya tanpa persetujuan." Batas-batas ini mengubah alat tanpa batas menjadi alat yang aman.
Pemfilteran keluaran memeriksa apa yang dihasilkan agen sebelum sampai kepada pengguna atau berdampak. Apakah responsnya berisi data sensitif yang seharusnya tidak diekspos? Apakah kode yang dihasilkan memiliki masalah keamanan yang jelas? Apakah email yang disusun agen layak dikirim? Pemfilteran keluaran menangkap masalah yang tidak diperhatikan agen.
Titik Periksa Manusia di Dalam Alur
Guardrail paling kuat adalah mensyaratkan persetujuan manusia untuk tindakan dengan risiko tinggi. Agen dapat secara mandiri meneliti, merencanakan, dan menyiapkan, tetapi ketika tiba waktunya menjalankan sesuatu yang tidak dapat dibatalkan (men-deploy kode, mengirim komunikasi, melakukan pembelian), seorang manusia meninjau dan menyetujui. Hal ini memberi Anda sebagian besar manfaat produktivitas agen sambil tetap mempertahankan kendali atas tindakan yang paling penting.
Seninya adalah memilih di mana menempatkan titik pemeriksaan ini. Terlalu banyak dan Anda menggagalkan tujuan memiliki agen. Terlalu sedikit dan Anda mempercayakan keputusan yang seharusnya tidak dilakukan agen secara mandiri. Periksa framework agen di Skillful.sh untuk implementasi yang menangani alur persetujuan dengan baik.
Menerapkan Guardrail tanpa Mengorbankan Kinerja
Guardrail menambah latensi dan kompleksitas, sehingga Anda ingin guardrail tetap seringan mungkin namun tetap efektif. Pemeriksaan cepat (validasi masukan, daftar tindakan yang diizinkan) berjalan secara sinkron. Pemeriksaan yang mahal (analisis konten, pemindaian keamanan) dapat berjalan paralel dengan kerja agen, dan hanya memblokir bila menemukan masalah.
Mencatat segalanya juga merupakan guardrail. Bahkan jika Anda tidak memblokir tindakan apa pun, memiliki jejak audit lengkap tentang apa yang dilakukan agen dan mengapa memungkinkan Anda menyelidiki masalah setelah kejadian dan meningkatkan guardrail berdasarkan insiden nyata. Cari alat observabilitas yang dapat bekerja dengan sistem agen.