Human-in-the-Loop AI: Menentukan Titik Persetujuan yang Tepat

“Tambahkan persetujuan manusia” adalah saran umum untuk mengurangi risiko AI. Namun, bila manusia harus menyetujui setiap langkah kecil, sistem hanya menciptakan ulang proses manual dengan layar tambahan. Jika persetujuan baru terjadi setelah tindakan penting dilakukan, kontrol tersebut sudah terlambat.

Human-in-the-loop bekerja ketika manusia ditempatkan pada batas keputusan yang bermakna dan menerima bukti, wewenang, serta waktu yang cukup untuk melakukan intervensi.

Pengawasan Manusia Memiliki Beberapa Fungsi

Jangan gunakan satu mekanisme approval untuk semua risiko. Keterlibatan manusia dapat berfungsi sebagai:

• Validasi input: memastikan permintaan dan bukti lengkap.
• Persetujuan keputusan: menerima atau menolak penilaian.
• Otorisasi tindakan: mengizinkan perubahan sistem, pesan, pembayaran, atau akses.
• Penyelesaian pengecualian: menangani kasus di luar kebijakan atau kemampuan model.
• Sampling kualitas: memeriksa sebagian kasus berisiko rendah.
• Kontrol insiden: menghentikan workflow ketika perilaku berubah.

Setiap fungsi membutuhkan interface dan target layanan yang berbeda.

Tentukan Approval Berdasarkan Konsekuensi

Petakan alur dari trigger ke kondisi akhir. Pada setiap langkah, tanyakan:

• Siapa atau apa yang terdampak?
• Apakah tindakan dapat dibalik?
• Seberapa cepat dampak buruk dapat dideteksi?
• Apakah ada dampak finansial, hukum, keselamatan, akses, privasi, atau pelanggan?
• Apakah bukti objektif atau memerlukan interpretasi?
• Apakah separation of duties diperlukan?

Gunakan aturan deterministik untuk mengenali tindakan terlindungi. Jangan meminta model menentukan apakah tindakannya sendiri membutuhkan persetujuan.

Approval biasanya tepat sebelum mengirim komunikasi eksternal, mengubah data kontrak, melepaskan dana, menolak manfaat, memberikan akses, menghapus data, atau mempublikasikan konten atas nama seseorang.

Berikan Bukti, Bukan Hanya Jawaban

Layar yang hanya menampilkan “Setujui rekomendasi ini?” mendorong automation bias.

Tampilkan permintaan asli, konteks relevan, sumber dan kebaruannya, tindakan yang diusulkan, aturan yang digunakan, ketidakpastian, bukti bertentangan, informasi yang hilang, serta pilihan untuk mengedit, menolak, atau eskalasi.

Bukti harus cukup ringkas untuk ditinjau. Lebih banyak informasi belum tentu menghasilkan transparansi lebih baik.

Cocokkan Reviewer dengan Keputusan

Orang yang paling dekat belum tentu approver yang tepat. Tentukan role, wewenang, keahlian, konflik kepentingan, dan backup.

Supervisor customer service mungkin boleh menyetujui goodwill response tetapi tidak perubahan credit limit. Security analyst dapat memeriksa anomali akses tetapi tidak membuat keputusan pekerjaan. Workflow berdampak tinggi mungkin membutuhkan dua role.

Catat override dan alasannya. Koreksi berulang dapat menunjukkan model lemah, data buruk, atau kebijakan tidak jelas.

Gunakan Tingkatan Risiko

• Tier 1: bantuan read-only dan draf internal yang dapat dibalik. Gunakan sampling dan feedback.
• Tier 2: pembaruan record berisiko rendah dalam aturan sempit. Gunakan validasi, monitoring, dan exception review.
• Tier 3: komunikasi eksternal atau tindakan bisnis material. Wajibkan approval sebelum commit.
• Tier 4: keputusan hukum, finansial, keselamatan, pekerjaan, akses, atau dampak tinggi. Pertahankan keputusan manusia dan kontrol khusus.

Risiko dapat berubah per kasus. Pengingat invoice rutin berubah tingkat ketika akun sedang disengketakan atau pesan memuat perubahan rekening bank.

Jadikan Eskalasi sebagai Hasil yang Sah

AI harus dapat berhenti. Tetapkan pemicu seperti bukti hilang, record bertentangan, permintaan di luar kebijakan, kegagalan tool, dugaan manipulasi, data sensitif, atau kelompok pelanggan terlindungi.

Paket eskalasi memuat pekerjaan yang telah dilakukan, pertanyaan yang belum selesai, bukti, tindakan yang dicoba, dan langkah berikutnya. Queue berisi “AI gagal” hanya memindahkan seluruh pekerjaan kembali ke manusia.

Ukur Sistem Manusianya

Pantau tingkat approval dan penolakan, edit substantif, waktu review, panjang queue, alasan override, kualitas eskalasi, kesalahan yang lolos approval, serta perbedaan penilaian antar reviewer.

Jika hampir semua hasil disetujui, review mungkin tidak lagi dibutuhkan—atau sudah menjadi formalitas. Uji mana yang benar. Ambil sampel hasil yang sudah disetujui melalui proses kualitas terpisah.

Tingkatkan Otomasi Berdasarkan Bukti

Sebelum mengurangi pengawasan, minta bukti kualitas stabil, deteksi kasus terlarang yang andal, kesalahan berat yang rendah, monitoring dan rollback efektif, serta ownership yang jelas.

Naikkan otonomi per tindakan dan tier risiko, bukan menggunakan satu tombol untuk seluruh agent.

Human-in-the-loop bukan tombol approval. Ia adalah pembagian judgement dan akuntabilitas antara manusia, model, aturan deterministik, dan sistem bisnis.

Layanan integrasi sistem DualByte dapat membantu mengubah batas tersebut menjadi permission, workflow persetujuan, audit trail, dan tindakan sistem yang andal.

Sumber

• NIST AI RMF: Human-AI Interaction
• NIST Generative AI Profile