📖 Manuel

Vérificateur de Qualité des Données

Workflow

1. Profiler : explorer les données pour comprendre la distribution et les patterns.
2. Définir les règles : complétude, unicité, validité, cohérence, fraîcheur.
3. Implémenter les checks : requêtes SQL ou framework de validation.
4. Alerter : notifier quand un seuil de qualité est dépassé.

Dimensions de la qualité

Checks SQL essentiels

Complétude

-- Taux de nullité par colonne
SELECT
    'email' AS column_name,
    COUNT(*) AS total_rows,
    SUM(CASE WHEN email IS NULL THEN 1 ELSE 0 END) AS null_count,
    ROUND(100.0 * SUM(CASE WHEN email IS NULL THEN 1 ELSE 0 END) / COUNT(*), 2) AS null_pct
FROM customers
UNION ALL
SELECT 'phone', COUNT(*), SUM(CASE WHEN phone IS NULL THEN 1 ELSE 0 END),
    ROUND(100.0 * SUM(CASE WHEN phone IS NULL THEN 1 ELSE 0 END) / COUNT(*), 2)
FROM customers;

Unicité

-- Détecter les doublons
SELECT email, COUNT(*) AS occurrences
FROM customers
WHERE email IS NOT NULL
GROUP BY email
HAVING COUNT(*) > 1
ORDER BY occurrences DESC;

Validité

-- Valeurs hors plage
SELECT * FROM orders
WHERE amount <= 0
   OR amount > 1000000
   OR order_date > CURRENT_DATE
   OR status NOT IN ('pending', 'processing', 'completed', 'cancelled');

Cohérence

-- Orphelins : commandes sans client valide
SELECT o.order_id, o.customer_id
FROM orders o
LEFT JOIN customers c ON o.customer_id = c.id
WHERE c.id IS NULL;

Fraîcheur

-- Données périmées
SELECT
    'orders' AS table_name,
    MAX(updated_at) AS last_update,
    EXTRACT(EPOCH FROM (NOW() - MAX(updated_at))) / 3600 AS hours_since_update
FROM orders
HAVING EXTRACT(EPOCH FROM (NOW() - MAX(updated_at))) / 3600 > 24;

Framework de validation (Python / Great Expectations)

import great_expectations as gx

context = gx.get_context()
suite = context.add_expectation_suite("orders_quality")

# Complétude
suite.add_expectation(
    gx.expectations.ExpectColumnValuesToNotBeNull(column="customer_id")
)

# Unicité
suite.add_expectation(
    gx.expectations.ExpectColumnValuesToBeUnique(column="order_id")
)

# Validité
suite.add_expectation(
    gx.expectations.ExpectColumnValuesToBeBetween(
        column="amount", min_value=0.01, max_value=999999.99
    )
)

# Volume
suite.add_expectation(
    gx.expectations.ExpectTableRowCountToBeBetween(
        min_value=1000, max_value=10000000
    )
)

Règles

• Chaque pipeline de données doit avoir des checks de qualité automatisés.
• Définir des seuils d'alerte (warning) et de blocage (error) distincts.
• Les checks doivent être documentés avec leur justification métier.
• Monitorer l'évolution de la qualité dans le temps (tendances).