Avant de lire les résultats de tests et de comparatifs d'antivirus ou d'anti-trojans, il convient d'être vigilant et de garder un esprit critique, voire sceptique : la lecture préalable de cet article, Real world antivirus product reviews and evaluations - the current state of affairs, est vivement conseillée car certains tests et / ou certains organismes testeurs ont souvent été soupconnés de partialité et / ou de favoritisme - cet article met en cause la crédibilité des "organismes crédibles" en éveillant chez le lecteur, la méfiance et la défiance - apprenez à lire entre les lignes et à deviner ce qui n'est pas dit. C'est en anglais et c'est très "instructif". (Merci à Jean-Claude sur nos forums).

Un certain nombre de questions doivent toujours vous venir à l'esprit chaque fois que vous lisez un test ou un comparatif de tests afin d'en mesurer la crédibilité.

Qu'est-ce que la personne ou la société qui publie le comparatif y gagne ?
C'est le vieil adage policier : "chercher à qui le crime profite". Un test précis de plusieurs antivirus ou anti-trojans exige énormément de travail, de temps et de ressources; personne ne se lance dans la conduite d'un tel chantier sans une bonne raison qui est, presque toujours, de l'argent ou augmenter le traffic et le nombre de visiteurs de son site (ou les deux). Il faut se poser cette question : Est-ce que ceci a pu influencer les résultats ?

Le comparatif est-il conduit par un acteur du monde des antivirus ou anti-trojans ?
Si l'auteur du comparatif est lié, de près ou de loin, au monde des antivirus ou des anti-trojans, même s'il s'agit d'une filliale éloignée ou d'une personne physique semblant agir à son compte alors qu'elle est employée ou actionnaire d'un éditeur d'antivirus ou d'anti-trojans, le comparatif est biaisé et l'auteur n'a aucune crédibilité. L'ensemble des tests, commentaires et comparatifs peuvent être mis à la poubelle. L'auteur ne doit avoir aucun lien avec aucun acteur de ce monde. La simple constitution d'une bibliothèque de parasites est déjà un énorme travail. Si cette collection est fournie par l'un de ces acteurs, le comparatif n'a aucune signification. Une forme de dépendance est celle de la presse informatique dont les versions d'essai des utilitaires leurs sont fournies gratuitement par les éditeurs eux-mêmes. Leurs tests sont forcément entachés de cette dépendance car aucun groupe de presse n'a les moyens financier d'acheter incognito tous les utilitaires sortant et de les maintenir à jour. Ils ne peuvent, en ce sens, dire du mal d'un produit sans être "punis". On a vu, en France, la quasi disparition d'une revue à cause de sa franchise.

Les tests et le comparatif sont-ils conduits par un acteur crédible et compétant ?
Conduire des tests d'utilitaires de sécurité nécessite d'être du métier (informaticien connaissant la programmation, la sécurité, les classes de parasites appelés (abusivement) "trojans", les virus, les modes de propagation, de réplication, d'infestation, d'action...). Il faut se poser cette question : est-il compétant pour en parler

Les dernières mises à jour ont-elles été appliquées avant le test ?
Par défaut, les anti-trojans sont livrés avec une base de signatures telle qu'elle était au moment de la publication de la dernière version du binaire de l'utilitaire. Les binaires étant relativement peu souvent modifiés, cette base de signatures est obsolette et, dès l'installation d'un anti-trojans, il faut mettre à jour cette base. Il s'agit d'un impératif critique lors d'un test. Toutes les bases de signatures de tous les produits testés doivent être mises à jour en même temps, à l'heure près, sinon le test est entaché de favoritisme ou d'inéquité.

La collection de parasites est-elle constituée exclusivement de parasites ?
Cette question est parfois posée. Faut-il considérer un utilitaire servant à générer des virus ou des trojans comme un parasite ? Faut-il considérer un document contenant un cours de fabrication de virus ou un cours de crack de carte bancaires ou un cours de vol de mots de passe sur AOL comme un parasite ? Bien entendu, les anti-trojans qui ne le font pas contestent mais un chef d'entreprise souhaite, au contraire, que son anti-trojans débusque ces outils et documents sur ses machines. On peut remarquer que cette contestation vise essentiellement PestPatrol qui fait de l'ombre à beaucoup d'anti-trojans en ayant un spectre de parasite total. On veillera tout de même à ce que la collection de parasites de tests ne contienne que peu de tels parasites et qu'ils soient classés dans des familles de parasites particulières (cours et générateurs).

Amplitude de la collection de parasites de test.
Certaines collections de parasites utilisées par certains pseudo tests sont constituées de parasites du laboratoire d'un éditeur d'anti-trojans qui ne sont détectés que par l'anti-trojan de cet éditeur. Ce genre de tests n'a aucune signification. Dans le même ordre d'idée, certaines collections restrintes ne permettent pas de tester efficacement les anti-trojans. Il n'existe pas, dans le monde des tests d'anti-trojans, une collection similaire à la WildList du monde des tests d'antivirus. Aujourd'hui, un test doit porter sur une collection d'au moins 5.000 parasites, cette collection n'étant pas fournie par un éditeur d'anti-trojans mais constituée par le testeur.

Quels tests ont été conduits ?
Tous, absolument tous, les tests d'anti-trojans consistent, comme pour les antivirus, à confronter les anti-trojans à une collection dormante de parasites et à compter les résultats en terme de détection. Il s'agit de scan à la demande ("on demand"). Comme pour les antivirus il s'agit de la partie la plus triviale, la plus facile à conduire et la moins significative, que tous les anti-trojans doivent réussir à 100%. Un bon test doit porter sur

• détections "on access"
• capacité d'éradication d'un parasite
• capacité de désinfection de programmes parasités tout en restituant ces programmes désinfectés dans leur état initial de fonctionnement
• capacité de détection de parasites montés en mémoire (devenus des processus)
• capacité de détection de processus écoutant les frappes au clavier sans être dans les bases de signature (keyloggers)
• capacité de détection des tentatives d'injection
• analyse de toutes les techniques de compression et des compressions multiples mono ou multi algorithmes de compression.
• tests de ports
• tests de mutex
• tests de "class" de fenêtre
• tests de ressources consommées
• ...
  
  

Tests de résidents ?
Est-ce que les tests ont portés sur l'analyse anti-anti-hook (l'anti-hook est la capacité d'un processus à détecter qu'un autre processus tente de regarder qui il est et à l'en empêcher ou à lui donner de fausses informations afin de rester caché), difficile à conduire, et significative d'un test bien fait ?

Tests de temps réel pur - suspension d'exécution pour analyse ?
Au moment ou un programme tente de monter en mémoire pour être exécuté, est-ce que l'anti-trojans est capable de le suspendre afin de l'analyser et le bloquer définitivement s'il est hostile ou attend-il que le processus se lance pour l'examiner (et il est trop tard) ?

Quels informations techniques sur les tests et les résultats sont publiées ?
Date du test, numéro de version de chaque binaire, numéro de version de chaque base de signatures, captures d'écrans, réglages des anti-trojans testés, logs produits, liste des parasites contenues dans la collection de test, nombre de détections par le scanner mais, surtout, nombre d'éradications par le scanner, balayage de tout un PC en sus de la collection de tests et nombre de faux positifs... Si aucune information n'est disponible, les résultats des tests sont sujet à caution.

Réglages des anti-trojans testés ?
Est-ce que les anti-trojans ont été conservés avec leurs réglages de base, au sortir de la boîte, ou ont-ils été paramétrés pour obtenir les meilleurs résultats ?

Nouvelle adresse du site Assiste.com depuis le 22 octobre 2012 : http://assiste.com