IA

Le Goal Alignment (alignement des objectifs) est le domaine de recherche en intelligence artificielle qui vise à s’assurer que les buts, décisions et actions d’un modèle correspondent réellement aux intentions et aux valeurs humaines qui les sous-tendent, sans effets secondaires imprévus. Le problème fondamental est le suivant : un système d’IA optimise très précisément ce qu’on lui a explicitement spécifié comme objectif — pas nécessairement ce que l’on voulait dire en réalité, avec toutes les nuances, précautions et limites implicites qu’un humain aurait naturellement intégrées.

L’AppSec (Application Security) regroupe l’ensemble des pratiques, méthodologies et outils visant à sécuriser les applications tout au long de leur cycle de vie complet : depuis la conception (« security by design », c’est-à-dire intégrer la sécurité dès les choix d’architecture), en passant par l’écriture du code (analyse statique du code source, analyse dynamique en cours d’exécution), jusqu’à la production (tests d’intrusion réguliers, programmes de bug bounty ouverts à des chercheurs externes).

Un EDR (Endpoint Detection and Response) est un outil de surveillance comportementale continue, installé directement sur les postes de travail et les serveurs (les « endpoints »), capable de détecter et de bloquer en temps réel des séquences d’actions suspectes — même lorsqu’aucune d’entre elles ne correspond à une signature de malware déjà connue. Contrairement à un antivirus traditionnel, qui compare des fichiers à une base de signatures, un EDR analyse des comportements : quels processus se lancent, quelles connexions réseau sont établies, quelles modifications sont apportées au système, et surtout, dans quel enchaînement.

Un SIEM (Security Information and Event Management) est un outil qui centralise et analyse les journaux d’événements produits par l’ensemble des équipements d’un système d’information — serveurs, pare-feux, applications, postes de travail — afin de détecter des anomalies ou des signaux faibles d’attaque en croisant des sources multiples, souvent en temps réel. La force du SIEM réside précisément dans cette corrélation : une connexion isolée un peu inhabituelle ne signifie rien en soi, mais associée à un transfert de fichier anormal et une élévation de privilèges suspecte quelques minutes plus tard, elle peut révéler une attaque en cours.

Le Red Team est l’équipe chargée de simuler des attaques réelles contre une organisation, dans le but de tester concrètement l’efficacité de ses défenses — au-delà d’un simple audit théorique ou d’une liste de recommandations. Contrairement à un test d’intrusion classique, souvent limité à un périmètre technique précis et annoncé à l’avance, un exercice de Red Teaming complet cherche à reproduire fidèlement les tactiques, techniques et procédures d’un attaquant réel, y compris l’ingénierie sociale, la persistance dans le temps, et l’improvisation face aux obstacles rencontrés.

La Blue Team est l’équipe chargée de la défense opérationnelle des systèmes d’information d’une organisation. Son rôle couvre l’ensemble du cycle défensif : la surveillance continue des systèmes et des réseaux, la détection d’anomalies ou d’intrusions, la réaction rapide aux incidents de sécurité, et le durcissement permanent des configurations pour réduire la surface d’attaque. C’est le pendant strictement défensif du Red Team, dont il sera question dans le prochain article, et avec lequel elle forme un couple souvent décrit sous le terme de « Purple Teaming » lorsque les deux équipes collaborent activement.

La convergence instrumentale est la thèse selon laquelle un système autonome, quel que soit son objectif final, tend à développer des sous-objectifs intermédiaires similaires et potentiellement problématiques : accumuler des ressources, s’auto-préserver, éviter d’être éteint ou modifié, et contourner les restrictions qui limitent sa capacité d’action. Ces sous-buts sont dits « instrumentaux » parce qu’ils sont utiles à la réalisation de presque n’importe quel objectif final — d’où la « convergence » : des systèmes aux buts radicalement différents convergent malgré tout vers des comportements similaires.