Prompt injection terjadi ketika input memengaruhi sistem AI dengan cara yang tidak diinginkan. Instruksi dapat datang langsung dari pengguna atau secara tidak langsung dari dokumen, email, website, gambar, dan record yang diambil sistem.
Tidak ada satu prompt yang menghilangkan risiko ini. Pertahanan yang efektif membatasi apa yang dapat dijangkau model dan konsekuensi dari outputnya.
Injection Langsung dan Tidak Langsung
Injection langsung dikirim melalui interface pengguna, misalnya perintah untuk mengabaikan aturan dan mengungkapkan informasi tersembunyi.
Injection tidak langsung ditanam di konten yang kemudian diproses. Agent procurement dapat membaca dokumen pemasok yang berisi instruksi untuk mengirim data ke tempat lain. Bagi model, system instruction, permintaan pengguna, dan teks dokumen sama-sama berupa bahasa. Aplikasi harus mempertahankan perbedaan tingkat kepercayaannya.
Mulai dari Dampak
Petakan hal yang dapat dicapai penyerang:
- Mengungkap konteks rahasia.
- Mengambil record di luar wewenang pengguna.
- Memanipulasi jawaban atau rekomendasi.
- Memicu tool call tanpa otorisasi.
- Mengirim pesan, mengubah record, atau memindahkan dana.
- Merusak data downstream.
- Menghabiskan biaya model dan infrastruktur.
Asisten dengan informasi publik read-only memiliki risiko berbeda dari agent yang terhubung ke email, CRM, dan finance.
Pisahkan Data dari Instruksi
Tandai hasil retrieval sebagai data tidak tepercaya dan pertahankan kebijakan sistem di bawah kontrol aplikasi. Jelaskan bahwa instruksi di dalam sumber tidak boleh mendefinisikan ulang peran model.
Pendekatan ini memperbaiki perilaku, tetapi bukan batas keamanan. Kode deterministik tetap harus menegakkan akses, validasi, dan kebijakan tindakan.
Batasi Tool
Sediakan tindakan sempit, bukan akses sistem luas. Validasi argument, wewenang pengguna, scope objek, perubahan status, dan rate limit di luar model.
Pisahkan izin membaca, membuat draf, dan commit. Minta persetujuan manusia untuk tindakan penting. Gunakan idempotency dan batas transaksi agar pemanggilan berulang tidak menggandakan dampak.
Jangan menaruh credential privileged di prompt atau membiarkan model membuat query database dan network request arbitrer.
Pertahankan Otorisasi Pengguna
Sistem hanya boleh mengambil data yang dapat diakses pengguna terautentikasi. Jangan memberikan dataset rahasia besar kepada model lalu memintanya menyembunyikan baris yang tidak berwenang.
Terapkan otorisasi sebelum retrieval dan sebelum tindakan. Minimalkan konteks dan redaksi secret atau data pribadi yang tidak diperlukan.
Validasi Input dan Output
Batasi jenis file, ukuran, sumber, dan perilaku parsing. Perlakukan hidden text, metadata, konten terkode, serta external link sebagai input potensial.
Gunakan structured output dan schema validation untuk proses downstream. Tolak field dan nilai yang tidak didukung. Jangan pernah menjalankan kode, SQL, shell command, atau URL hasil model tanpa kebijakan terpisah.
Monitor Perilaku
Log permintaan, sumber retrieval, versi model, tool call, keputusan kebijakan, approval, dan kondisi akhir sambil meredaksi nilai sensitif.
Buat alert untuk retrieval tidak biasa, penolakan berulang, akses ke tool terlindungi, destination baru, biaya abnormal, serta perubahan mendadak pada tingkat refusal atau eskalasi.
Sediakan kill switch dan proses insiden yang telah diuji.
Uji Secara Adversarial
Bangun kasus untuk upaya override langsung, dokumen jahat, instruksi terkode, sumber bertentangan, manipulasi argument tool, ekstraksi data, serangan multi-turn, dan konsumsi resource berlebihan.
Uji sistem lengkap, bukan hanya jawaban model. Model dapat menunjukkan intent berbahaya sementara tool layer berhasil memblokirnya. Perbedaan tersebut penting.
Ulangi pengujian saat model, prompt, retrieval, tool, permission, atau jenis sumber berubah.
Prompt injection bukan masalah yang dapat diselesaikan permanen melalui prompt. Asumsikan sebagian input akan memengaruhi model dan rancang agar pengaruh itu tidak berubah menjadi wewenang luas.
Layanan konsultasi IT DualByte dapat membantu menilai attack surface AI serta merancang identity, tool, approval, monitoring, dan kontrol insiden.
Sumber
Butuh bantuan implementasi?
Konsultasi gratis dengan tim DualByte untuk solusi teknologi bisnis Anda.
