Aturan Kualitas Data yang Mencegah Keputusan Buruk

“Meningkatkan kualitas data” terlalu luas untuk diterapkan. Program yang berguna menentukan data mana harus memenuhi aturan apa, pada titik mana, untuk keputusan bisnis apa, dan siapa yang menyelesaikan kegagalan.

Tujuannya bukan data sempurna di seluruh tempat, melainkan data yang fit untuk tujuan operasional atau analitis tertentu.

Mulai dari Critical Data Element

Identifikasi field dan record yang langsung memengaruhi uang, pelanggan, compliance, inventory, akses, atau keputusan eksekutif. Contohnya customer identity, product unit, tax category, order status, invoice amount, payment reference, dan stock location.

Untuk setiap elemen, tetapkan owner, consumer, source, expected freshness, dan konsekuensi kesalahan.

Enam Jenis Aturan

Completeness

Data wajib tersedia. Setiap shipped order, misalnya, memiliki customer, address, item, quantity, dan shipment reference.

Validity

Nilai sesuai domain atau format. Currency berasal dari reference list dan quantity menggunakan unit yang diizinkan.

Uniqueness

Entity atau event nyata tidak direpresentasikan lebih dari sekali. Provider transaction ID harus unik dalam merchant account.

Consistency

Nilai terkait tidak saling bertentangan. Delivered date tidak mendahului dispatch dan inactive product tidak dialokasikan tanpa exception.

Accuracy

Data mencerminkan nilai dunia nyata. Ini sering membutuhkan verifikasi terhadap sumber authoritative, bukan hanya format.

Timeliness

Data tersedia dalam waktu yang dibutuhkan consumer. Inventory kemarin dapat valid tetapi tidak layak untuk checkout.

Letakkan Aturan pada Boundary yang Tepat

Cegah data invalid saat entry jika memungkinkan. Validasi kembali di integration boundary karena source dan contract dapat berubah. Terapkan analytical test setelah transformation untuk menemukan join, aggregation, dan history error.

Jangan memperbaiki data material secara diam-diam di pipeline. Kirim koreksi tidak pasti kepada owner dan pertahankan nilai asli serta hasil rule.

Definisikan Severity dan Respons

• Reject: proses tidak dapat dilanjutkan aman.
• Quarantine: pisahkan record untuk review.
• Warn: lanjutkan tetapi buat exception dengan owner.
• Observe: ukur pola sebelum enforcement.

Hubungkan severity ke owner, service target, retry, dan escalation. Ribuan alert tanpa proses resolusi bukan kontrol kualitas.

Monitor sebagai Data Product

Pantau pass rate, affected record, business impact, resolution time, recurrence, dan source. Segmentasikan berdasarkan sistem, channel, supplier, team, atau product untuk menemukan root cause.

Publish quality target bersama data product. Consumer perlu mengetahui freshness, completeness, dan known limitation.

Uji Transformation

Uji source-to-target count, required key, referential integrity, duplicate fact, accepted range, balance total, slowly changing dimension, incremental watermark, late arrival, deletion, dan retention.

Rekonsiliasi total finansial dan operasional penting terhadap sistem authoritative.

Perbaiki Proses Sumber

Ketika rule yang sama gagal berulang, periksa form design, default value, training, incentive, ownership, system constraint, supplier contract, dan integration mapping.

Satu overall percentage dapat menyembunyikan defect kritis. Laporkan kualitas per dimension, data element, use case, dan severity.

Untuk setiap data product, dokumentasikan owner, schema, definition, rule, threshold, refresh target, incident contact, dan change policy.

Layanan konsultasi IT DualByte dapat membantu menerjemahkan kontrol bisnis menjadi data rule dan exception workflow.

Sumber

• Microsoft: Purview and Profisee MDM
• Great Expectations Documentation