ROI des flux de threat intelligence : un benchmark fiable

Le ROI d’un flux de threat intelligence se mesure par les décisions qu’il améliore et le travail qu’il économise, après déduction de son coût complet. Le nombre d’IOC reçus ou de correspondances dans le SIEM ne suffit pas. Un million d’indicateurs supplémentaires peut laisser les décisions inchangées tout en augmentant l’indexation et le triage.

Une discussion publiée le 31 août 2026 sur r/Information_Security pose précisément la question de l’intérêt de payer pour des flux qui ne deviennent pas des détections. Ce fil donne un point de départ éditorial, pas un résultat d’étude ni un avis représentatif du marché. Pour décider d’un achat ou d’un renouvellement, il faut organiser une comparaison contrôlée dans son propre environnement.

La méthode ci-dessous est un protocole proposé. Les chiffres d’exemple sont fictifs et ne décrivent ni des clients ni des performances d’IsMalicious.

Définir la décision que le flux doit changer

Écrivez d’abord une phrase vérifiable : « Ce flux doit réduire le temps nécessaire pour qualifier les domaines signalés par les collaborateurs, sans augmenter les escalades injustifiées. » Cette formulation identifie un objet, une population et un résultat observable. « Améliorer notre threat intelligence » ne donne aucun critère de réussite.

Si la décision reste imprécise, remplissez le modèle PIR et son plan de collecte avec le destinataire avant de sélectionner les dossiers du benchmark.

Le NIST SP 800-150 recommande de définir les objectifs du partage et d’identifier les sources adaptées. Appliquée à un benchmark fournisseur, cette logique conduit à préciser l’usage avant de regarder le catalogue.

Séparez les besoins qui n’ont pas le même consommateur : triage de phishing, recherche d’infrastructures, enrichissement d’incidents et veille stratégique. Un flux de domaines peut réussir le premier et ne rien apporter au dernier. Donnez à chaque usage un propriétaire capable de juger le résultat.

Le périmètre doit aussi préciser ce qui ne sera pas évalué. Si vos logs DNS ne couvrent que les postes du siège, ne présentez pas les résultats comme une mesure de protection de toutes les filiales. Pour cadrer la provenance avant l’essai, consultez notre guide sur les sources de threat intelligence et leurs preuves.

Construire une référence stable avant d’ajouter le candidat

Votre référence est le dispositif réellement utilisé : sources déjà payées, flux ouverts, procédures et temps analyste. Photographiez cette configuration au début de l’essai. Notez versions des connecteurs, fréquence d’actualisation, règles d’expiration et champs affichés dans les dossiers. Notre guide de l’architecture des plateformes de threat intelligence aide à identifier les composants impliqués.

Si vous améliorez simultanément le connecteur, le formulaire de triage et la formation, une baisse du temps de traitement ne pourra pas être attribuée au nouveau flux. Conservez ces changements dans un journal et, si nécessaire, créez une nouvelle période de comparaison après stabilisation.

Un premier contrôle technique vérifie que le candidat a reçu une chance équitable : récupération complète, pagination, encodage, horodatage et fonctionnement des mises à jour. Une intégration défaillante mesure la qualité de votre essai. Elle ne démontre pas l’absence de renseignement chez le fournisseur.

Le système de flux MISP permet notamment de comparer les flux et leurs recouvrements. Cette comparaison décrit une relation entre ensembles de données. L’utilité opérationnelle exige ensuite de regarder ce que les correspondances changent dans les dossiers locaux.

Échantillonner les dossiers sans choisir les gagnants

Évitez un échantillon composé uniquement d’incidents célèbres ou d’indicateurs proposés par le commercial. Il favoriserait une source déjà informée de ces cas. Prenez plutôt des dossiers issus de votre activité, selon une règle fixée avant de consulter les réponses du candidat.

Une sélection défendable peut répartir les dossiers entre signalements de phishing, alertes réseau et recherches ponctuelles. Dans chaque groupe, tirez les cas de façon aléatoire sur une période prédéfinie. Conservez les dossiers difficiles, sans résultat ou encore indéterminés. Les retirer embellirait le benchmark.

Réservez une partie des dossiers à une validation finale indépendante, souvent appelée holdout. Vous pouvez utiliser les autres pour régler le mapping et les seuils, mais vous ne devez plus modifier ces réglages après avoir examiné les résultats de validation. Sinon, vous adaptez le dispositif aux réponses attendues.

Regroupez les éléments liés à une même campagne avant la séparation. Cinquante URL issues d’un seul kit ne constituent pas cinquante situations indépendantes. Si elles se retrouvent dans les deux lots, les enseignements du réglage contaminent la validation.

Comparer avec et sans le flux sans affaiblir la protection

Pour le benchmark, utilisez une copie des dossiers ou une exécution en observation. Les protections existantes restent actives. Le comparateur sans candidat correspond à la référence, pas à un environnement privé de ses contrôles de sécurité.

Une méthode consiste à faire examiner des dossiers comparables par deux analystes : l’un voit la référence, l’autre la référence enrichie. Répartissez les niveaux de difficulté et alternez les analystes entre les conditions. Les écarts de compétence ne doivent pas devenir des écarts attribués au fournisseur.

Quand deux personnes relisent exactement le même dossier, la première lecture crée un effet de mémoire. Évitez donc de demander à un analyste de chronométrer immédiatement la seconde version du cas qu’il vient de résoudre. Si votre équipe est trop petite pour une répartition fiable, documentez cette limite et utilisez surtout le test pour détecter les défauts, sans transformer le chronométrage en preuve causale.

Mesurez le temps de travail actif, puis séparément le délai jusqu’à décision. Une attente de deux heures liée à un changement d’équipe n’équivaut pas à deux heures économisables par une API.

Définir ce qu’est une contribution supplémentaire

Une correspondance devient utile lorsqu’elle apporte une pièce qui change un choix documenté. Il peut s’agir d’une escalade justifiée, d’une clôture mieux étayée, d’un pivot décisif ou d’une confirmation qui évite une recherche manuelle.

Enregistrez le motif dans une fiche courte :

Dossier : identifiant interne pseudonymisé
Décision avec la référence : investigation complémentaire
Information ajoutée : observation datée et source vérifiable
Décision avec le candidat : escalade justifiée
Preuve indépendante de qualification : référence du dossier
Temps actif de référence / enrichi : minutes
Incertitudes restantes : texte court

Ne confondez pas contribution exclusive et contribution incrémentale. Un domaine présent dans deux flux peut être arrivé six heures plus tôt dans l’un. À l’inverse, un indicateur exclusif qui ne concerne aucun actif observé n’a pas encore montré d’utilité pour ce périmètre.

Pour mesurer la précocité, conservez l’heure à laquelle votre système pouvait utiliser l’information. Une date d’observation ancienne fournie après l’incident ne démontre pas que le flux aurait permis de réagir plus tôt. Notre article sur les pipelines d’IOC opérationnels complète les questions d’ingestion et de cycle de vie.

Qualifier les résultats sans inventer de vérité terrain

La confirmation doit venir des preuves du dossier, pas du vote majoritaire des flux comparés. Plusieurs fournisseurs peuvent reprendre une même source. Leur accord peut alors amplifier une erreur commune.

Classez les dossiers en positif confirmé, faux positif confirmé ou indéterminé. Publiez le nombre d’indéterminés à côté des autres résultats. Une mesure de précision calculée uniquement sur les cas résolus doit être nommée comme telle : elle ne décrit pas automatiquement tous les résultats du candidat.

N’assimilez pas absence de correspondance et vrai négatif. Vous pouvez ne pas disposer de preuves suffisantes pour qualifier un événement. De même, vous ne connaissez généralement pas toutes les attaques qui se sont produites dans votre environnement ; annoncer un rappel global serait alors infondé.

La revue contradictoire est utile sur les dossiers qui changent la décision commerciale. Un second analyste examine la justification, idéalement sans connaître le nom du fournisseur. Conservez les désaccords et leur résolution. Trois cas contestés peuvent peser davantage que plusieurs milliers de correspondances sans conséquence.

Chiffrer le coût complet avec un exemple transparent

Voici un calcul fictif sur un mois, conçu pour montrer la méthode. L’organisation traite 600 dossiers éligibles. Le gain moyen supposé est de six minutes de travail actif par dossier, valorisées à 60 euros de l’heure.

Capacité libérée : 600 × 6 / 60 = 60 heures
Valeur de cette capacité : 60 × 60 € = 3 600 €

Abonnement mensuel : 900 €
Indexation et stockage supplémentaires : 240 €
Maintenance et triage ajoutés : 18 h × 60 € = 1 080 €
Coût récurrent : 2 220 €

Intégration initiale : 60 h × 60 € = 3 600 €
Amortissement choisi sur six mois : 600 € par mois
Solde mensuel pendant cette période : 780 €

La capacité libérée n’est pas nécessairement une économie de trésorerie. Elle devient un bénéfice concret si l’équipe peut traiter davantage de dossiers, réduire un retard ou remplacer une prestation. N’annoncez pas une réduction de masse salariale si elle n’existe pas.

Testez aussi une hypothèse moins favorable. Avec trois minutes gagnées, la valeur passe à 1 800 euros et le solde à moins 1 020 euros après amortissement. Ce scénario montre la sensibilité du choix au temps économisé ; ce n’est pas un intervalle statistique ni une prévision de rentabilité.

Ajoutez les coûts qui s’appliquent chez vous : dépassements de quota, stockage historique, changement de procédure, formation, support et sortie du contrat. Notre guide des API d’enrichissement d’IOC pour le SOC aide à identifier les tâches que l’enrichissement peut réellement raccourcir.

Séparer le bénéfice économique et la couverture rare

Certains flux répondent à une menace rare et importante. Trente jours sans incident pertinent ne prouvent pas leur inutilité. Évaluez alors la qualité documentaire, la pertinence pour vos actifs, la possibilité de déclencher une recherche et le résultat de scénarios de validation clairement identifiés comme tels.

Gardez deux lignes dans la décision : le bénéfice opérationnel mesuré et la couverture recherchée mais non démontrée sur la période. Cette séparation permet de payer pour une capacité stratégique sans lui attribuer un retour financier fictif.

Une équipe peut accepter un coût net pour disposer d’un renseignement sectoriel difficile à remplacer. Elle doit pouvoir nommer les décisions attendues, les consommateurs et le moment de réévaluation. « Cela pourrait servir » sans propriétaire ni échéance ne constitue pas une justification durable.

Vérifier que le résultat est exploitable contractuellement

Un benchmark réussi perd sa portée si l’usage prévu n’est pas couvert : redistribution à des clients, conservation après résiliation, automatisation ou diffusion dans un produit. Faites apparaître ces contraintes dans la grille d’évaluation, avec les réponses écrites du fournisseur.

Avant de diffuser des exemples du benchmark, identifiez les destinataires et vérifiez les restrictions attachées aux données. Notre guide du partage TLP explique comment conserver ces instructions pendant la revue et l’export. Gardez le périmètre de diffusion validé avec le dossier d’évaluation.

Vérifiez également la sortie : pouvez-vous distinguer les éléments issus du candidat, retirer leurs enrichissements et conserver les preuves d’investigations selon les règles applicables ? Ce travail est plus simple avec une provenance enregistrée dès le départ.

Fixer une règle de renouvellement avant la démonstration

Écrivez les conditions de décision avant la présentation finale. Par exemple : gain de temps confirmé sur la validation indépendante, charge de faux positifs compatible avec la capacité de l’équipe, couverture d’un besoin identifié et coût supportable dans le scénario prudent.

Ces seuils appartiennent à votre organisation. Un SOC qui reçoit peu de signalements peut préférer une facturation ponctuelle ; un centre d’investigation intensif peut valoriser davantage le temps de recherche. Aucun pourcentage universel ne remplace ces contraintes.

La décision peut être un achat, un périmètre réduit, un essai complémentaire précisément borné ou un refus. Si l’échantillon est insuffisant, nommez les dossiers manquants et la date limite de prolongation. Une évaluation qui se prolonge indéfiniment devient un abonnement sans décision.

Pour préparer vos propres cas, une recherche de réputation IsMalicious peut fournir un contexte supplémentaire sur un indicateur partageable. Enregistrez ce contexte comme une source du dossier, puis appliquez la même exigence de preuve que pour les autres fournisseurs : quelle information a changé quelle décision, à quel coût et avec quelles limites ?