Sécurité IA

Statut

Document de doctrine IA — version initiale.

Objectif

La sécurité IA doit protéger les utilisateurs, les données, les communes, les acteurs locaux et l'intégrité du produit.

L'IA augmente les capacités du système, mais ajoute aussi des risques : fuite de données, hallucinations, injection de prompt, contournement de droits, coûts abusifs et décisions non supervisées.

Règles non négociables

• L'IA n'accède jamais directement à la base de données.
• Les droits sont vérifiés avant préparation du contexte.
• Les prompts système ne sont pas exposés aux utilisateurs.
• Les décisions critiques restent humaines.
• Les alertes mairie et publications sensibles nécessitent validation.
• Les données sensibles sont minimisées ou exclues.
• Les réponses incertaines doivent être signalées comme telles.

Risques principaux

Risque	Mesure de protection
Prompt injection	Filtrage, séparation instructions/contenu, prompts système robustes.
Fuite de données	Contexte minimal, masquage, logs limités.
Hallucination locale	Réponses sourcées, refus si contexte absent.
Contournement de droits	Autorisation backend avant génération.
Publication abusive	Validation humaine et modération.
Coûts excessifs	Quotas, crédits, limites tokens.
Dépendance provider	Routing, abstraction et fallback.

Sécurité des prompts

Les prompts doivent séparer :

• instructions système ;
• contexte métier fourni par le backend ;
• demande utilisateur ;
• contraintes de sortie ;
• règles de refus.

Le contenu utilisateur ne doit jamais pouvoir remplacer les instructions système.

Logs et données

Les logs IA doivent être utiles pour audit et monitoring, mais proportionnés.

À éviter :

• stockage de secrets ;
• stockage complet de données personnelles sans besoin ;
• conservation longue de prompts contenant des informations sensibles ;
• logs non filtrés accessibles à des rôles non autorisés.

Modération et décisions sensibles

L'IA peut assister la modération, mais ne doit pas remplacer la décision humaine.

Elle peut :

• signaler un risque ;
• proposer une catégorie ;
• expliquer une règle ;
• prioriser une file ;
• aider à reformuler.

Elle ne doit pas :

• bannir automatiquement ;
• valider seule une alerte sensible ;
• supprimer définitivement un contenu ;
• décider à la place d'un élu ou modérateur.

État actuel

Aucune couche de sécurité IA dédiée n'est confirmée dans le code inspecté. Les règles ci-dessus définissent la cible de sécurité à intégrer à l'AI Gateway.