Sécurité IA
Statut
Document de doctrine IA — version initiale — v1.0 — relu le 2026-05-11.
Objectif
La sécurité IA doit protéger les utilisateurs, les données, les communes, les acteurs locaux et l'intégrité du produit.
L'IA augmente les capacités du système, mais ajoute aussi des risques : fuite de données, hallucinations, injection de prompt, contournement de droits, coûts abusifs et décisions non supervisées.
Règles non négociables
- L'IA n'accède jamais directement à la base de données.
- Les droits sont vérifiés avant préparation du contexte.
- Les prompts système ne sont pas exposés aux utilisateurs.
- Les décisions critiques restent humaines.
- Les alertes mairie et publications sensibles nécessitent validation.
- Les données sensibles sont minimisées ou exclues.
- Les réponses incertaines doivent être signalées comme telles.
Risques principaux
| Risque | Mesure de protection |
|---|---|
| Prompt injection | Filtrage, séparation instructions/contenu, prompts système robustes. |
| Fuite de données | Contexte minimal, masquage, logs limités. |
| Hallucination locale | Réponses sourcées, refus si contexte absent. |
| Contournement de droits | Autorisation backend avant génération. |
| Publication abusive | Validation humaine et modération. |
| Coûts excessifs | Quotas, crédits, limites tokens. |
| Dépendance provider | Routing, abstraction et fallback. |
Sécurité des prompts
Les prompts doivent séparer :
- instructions système ;
- contexte métier fourni par le backend ;
- demande utilisateur ;
- contraintes de sortie ;
- règles de refus.
Le contenu utilisateur ne doit jamais pouvoir remplacer les instructions système.
Logs et données
Les logs IA doivent être utiles pour audit et monitoring, mais proportionnés.
À éviter :
- stockage de secrets ;
- stockage complet de données personnelles sans besoin ;
- conservation longue de prompts contenant des informations sensibles ;
- logs non filtrés accessibles à des rôles non autorisés.
Modération et décisions sensibles
L'IA peut assister la modération, mais ne doit pas remplacer la décision humaine.
Elle peut :
- signaler un risque ;
- proposer une catégorie ;
- expliquer une règle ;
- prioriser une file ;
- aider à reformuler.
Elle ne doit pas :
- bannir automatiquement ;
- valider seule une alerte sensible ;
- supprimer définitivement un contenu ;
- décider à la place d'un élu ou modérateur.
État actuel
Aucune couche de sécurité IA dédiée n'est confirmée dans le code inspecté. Les règles ci-dessus définissent la cible de sécurité à intégrer à l'AI Gateway.