Antivirus - Les organismes de tests

Antivirus - Les organismes de tests comparatifs et leur crédibilité

   
En savoir plus :  Retourner à la page précédente   Imprimer cette page   

FAQ Microsoft Windows

Dossier "Virus"

S'équiper
Virus
Typologie des attaques virales
Typologie des charges actives
Typologie des auteurs de virus
A savoir - Quelques risques
Antivirus - Choisir un antivirus
Tests Antivirus et son installation
Les antivirus généraux
Les antivirus généraux
Régler les antivirus au maximum
Les antivirus gratuits spécifiques
Les antivirus gratuits en ligne
Les antivirus en ligne
Analyse d'un fichier
Analyse du PC
Envoyer échantillon
Sandbox
Rescue CDs - CD de secours
Tableaux comparatifs
Ressources
Pour une Informatique sécurisée
Anti Virus Asia Researchers
Techniques McAfee Avert Labs
IM et Pirates


Mots clés :
virus, antivirus, tests comparatifs, on access
organismes de tests, que choisir, certification
label, agn, checkmark, west coast labs
westcoast labs, wcl, Virus bulletin, icsa, av-test
 
 
Choisir un antivirus ne consiste absolument pas à écouter le chant des sirènes. Voici les propos les plus imbéciles qu'il soit donné de trouver sur le Net :
  • Moi il y a deux ans que j'utilise l'antivirus machin et je n'ai aucun problème
  • Le site trucmuche a fait un test comparatif et classe l'antivirus machin en tête
  • Etc. ...

Les témoignages de internaute dans les forums et ailleurs
Les propos de l'internaute n'ont strictement aucun intérêt. Il fait part de son expérience personnelle avec un outil alors qu'il ne dit rien de son expérience personnelle de navigation sur l'Internet. Un utilisateur peut parfaitement n'avoir aucun souci avec l'antivirus machin, et tant mieux pour lui :
  • S'il ne clique pas sur tous les liens qu'on lui envoie dans sa messagerie instantanée
  • S'il ne clique pas sur tous les liens qu'on lui envoie dans ses e-mail
  • S'il n'ouvre pas aveuglément les pièces jointes de ses e-mail
  • S'il ne se promène pas sur des sites pour adultes (sites "X")
  • S'il ne télécharge pas tout et n'importe quoi
  • S'il ne pratique pas de P2P
  • S'il ne télécharge pas de crac et de hack
  • S'il maintient à jour ses logiciels et applique les correctifs de sécurité
  • S'il utilise un proxy filtrant les contenus actif
  • S'il travaille en compte limité et jamais en droits administratifs
  • S'il évite les sites manifestement nids à pièges
  • Etc. ...
Est-ce que cela permet de dire, un seul instant, que tel antivirus, qu'il utilise est bon ? Pas du tout ! C'est l'internaute qui fait le boulot ! C'est l'attitude de l'internaute qui est bonne et il pourrait presque ne pas avoir d'antivirus du tout, ce serait la même chose.

Les comparatifs publiés par certaines revues et certains sites
Tout le monde y va de son comparatif antivirus de temps en temps. Tous ces comparatifs n'ont aucun intérêt et n'ont aucune valeur. Il s'agit juste de faire un peu de bruit (du "buz") afin de faire venir des visiteurs sur son site ou de faire vendre une revue. Il est quasiment impossible à quiconque de mener un réel comparatif antivirus. Cela demande d'énormes moyens, coûte extrêmement cher, prend plusieurs mois et doit répondre à des batteries de tests que nul ne peut conduire "les doigts dans le nez". Tous ces tests comparatifs inutiles portent sur la quantité de détections des antivirus confrontés à une collection de virus. Ce sont des analyses "On demand" alors que seul le comportement "On access" d'un antivirus est important. Ces comparatifs primaires sont purement et simplement stupide ! Le taux de détection est une pure imbécillité :
  • D'une part, le nombre de détections que donnent les antivirus est faux : les antivirus confrontés à un seul virus vont généralement dire qu'ils ont découvert 3 ou 4 ou 5 virus chaque fois qu'ils auront découvert, pour un seul et même virus, son code dans un coin, une ou deux clés de lancement dans la base de registre etc. ...
  • D'autre part, la détection en elle même est sans importance. Nous n'en avons rien à faire qu'un antivirus détecte un virus. Ce qui compte, c'est qu'il le corrige.
  • Ces collections de virus comportent une majorité de virus n'existant plus depuis des années alors même que l'on reproche à la WildList (le Top 200 des virus actuels) d'être une collection en permanence périmée de 30 jours et que la vitesse de propagation des attaques augmente sans arrêt !

Si l'on prend la totalité des produits de sécurité de Microsoft, testés dans diverses conditions en Octobre 2007 par un organisme capable de réaliser ce genre de tests (ICSALabs), soit :

  • ForeFront Security sous Vista 32-bit
  • ForeFront Security sous Win 2000 Pro
  • ForeFront Security sous Win 2003 Server
  • ForeFront Security sous Win XP Pro
  • OneCare sous Vista 32 bits
  • Windows Live OneCare sous Win XP Pro

Tous ces logiciels ont réussi tous les tests de détection. Sont-ils bons pour autant ? Non ! Pas du tout ! Ils ont tous échoué aux tests de décontamination ! Ce sont donc de mauvais produits qui, dans un bête test comparatif portant sur le taux de détection, auraient de bons résultats. C'est une tromperie du consommateur et de l'utilisateur.

Aucun site Internet ni aucune revue informatique n'est capable (ni n'a les moyens, les connaissances et le personnel) de conduire de tels comparatifs.

Pour archétype de ces comparatifs stupides et inutiles, on peut choisir celui du site (très fréquenté) Clubic "Antivirus : dossier vérité". Ce test, publié le 1er avril 2003, fit grand bruit et eu, malheureusement, un important écho dans le public. Ce test n'utilise que la partie scanner "on demand" des antivirus. Il est bien évident que nous ne devons pas tenir compte de ces tests ni d'aucun test de ce genre.
  • Il y manque des ténors incontournables comme Sophos

  • Il ne porte que sur un test passif dit "on-demand" (utilisation du simple scanner antivirus, la partie la plus simple et la moins interessante d'un antivirus) que pratiquement tout le monde peut faire dès qu'il s'est constitué une bibliothèque de virus, mais pas sur les tests plus importants d'accès en ouverture dit "on-access"

  • Le test ne porte absolument pas sur les caractéristiques de décompression des virus comprimés, double et multiple compressions avec le même algorithme de compression (test de récurrence), double et multiples compressions avec des versions différentes du même algorithme, double et multiples compressions en utilisant plusieurs algorithmes différents dans plusieurs monde (DOS, Win16, Win32, Unix etc. ...) comme les compresseur Windows 32 bits ASPack, NeoLite, PEPack, Petite, PkLite32, Shrinker, UPX, WWPack32, WinZip etc. ... les compresseurs DOS Diet, Ice, LzExe, PkLite, WWPack etc. ... Les compressions auto extractibles... Ceci doit se faire sur au moins 1 virus pour voir si l'antivirus est capable de le faire et en comparant la décompression obtenue à l'original pour voir si les décompresseurs implémentés dans l'antivirus sont de bonne qualité ou si la décompression obtenue est dégradée auquel cas le virus passera au travers de l'antivirus.

  • Le test ne porte pas sur l'entrée de ces virus par le protocole POP3 (Les mettre en pièces jointes d'un mail etc. ...)

  • Le test ne porte pas sur les voies d'accès autres (conversations on-line...)

  • Les critères de sélection sont mélangés à des critères subjectifs

  • Le test ne porte pas sur la détection de virus polymorphes

  • Le test ne porte pas sur la détection de virus actifs en mémoire

    etc. ...

Pour en savoir plus sur la crédibilité des tests comparatifs publiés à droite et à gauche, lire notre analyse : "Antivirus - Crédibilité des tests et des comparatifs".


Quels sont les organismes de tests crédibles ?
Nous avons vu que les tests comparatifs "on demand" ne sont pas significatifs mais sont faciles à conduire et ne coûtent quasiment rien. Qu'en est-il alors des tests "on access" et des tests de décontamination (réparation) ? Qui sont les réels organismes compétents en matière de tests et de tests comparatifs ?

Seules de très grosses structures spécialisées sont capables de conduire des tests "on access" de manière méthodique. Bien menés sur des bases de protocoles sévères et rigoureux, ces tests prennent énormément de temps (plusieurs mois) et coûtent très chers à conduire puis à publier, avec une phase de rédaction des résultats également très longue. Ces tests comparatifs sont donc, quelquefois, difficiles à trouver ou, en tout cas, réservés, lors de leur publication et durant quelques mois, à un lectorat payant, avant d'être rendus publics.

Voici la liste des organismes de tests que nous consultons. Il est bon de suivre leurs résultats mais il est indispensable de toujours conserver son esprit critique (on se demandera toujours, par exemple, quel est le niveau de crédibilité d'une source d'information).

  • AV-Comparatives.org
    http://www.av-comparatives.org/
    Comparatifs indépendants d'antivirus

  • Av-Test.org
    http://www.av-test.org/index.php?lang=0&menue=2
    Il s'agit d'un groupe de recherches sous la tutelle du "GEGA IT-Solutions GbR" (René Gladis, Andreas Marx, Marc Schneider) et du "Project of the University of Magdeburg" (Otto-von-Guericke University Magdeburg). Son représentant et Andreas Marx. Cette organisation, dans le cadre du Projekt "Av-Test" conduit régulièrement des tests d'antivirus depuis février 2000. Ces tests sont conduits dans les laboratoires de recherches du "Workgroup Business Information Systems" dans les locaux de l'Institute of Technical and Business Information systems. Le laboratoire de tests de virus est constitué de 2 professeurs et d'une quinzaine d'étudiants travaillant régulièrement sur la réplication des virus ainsi que sur l'analyse et le test des antivirus. GEGA IT-Solutions GbR est une société de consultants en sécurité avec une spécialisation sur les incidents d'ordinateurs d'origines virales.

  • CheckVir
    http://checkvir.com/
    Organisme hongrois indépendant de tests d'antivirus créé à l'initiative du Ministère de l'éducation, de la Recherche et du Développement ainsi que du Ministère de l'Information et de la Communication. Délivrent une certification appelée "CheckVir" (qui existe en deux versions : Standard ou Avancée).

  • ICSAlabs
    http://www.icsalabs.com/icsa/main.php?pid=b31a$6140dfe3-4a851ebd$eaa4-72b
    Tests et certification d'antivirus (et aussi anti-spam, anti-spywares, cryptographie, pare-feu matériel, pare-feu applicatifs, IDS, IPSec). Délivrent une certification "ICSAlabs Certification"

  • Virus Bulletin
    http://www.virusbtn.com/index
    La plus importante revue consacrée aux virus et antivirus.

  • West Coast Labs
    http://www.westcoastlabs.com/
    Tests et certification d'antivirus. Délivrent une certification appelée "CheckMark".

Pour mémoire :


Nouvelle adresse du site Assiste.com depuis le 22 octobre 2012 : http://assiste.com Nouvelle adresse du site Assiste.com depuis le 22 octobre 2012 : http://assiste.com

Nouvelle adresse du site Assiste.com depuis le 22 octobre 2012 : http://assiste.com






Historique des révisions de ce document :

29.10.2006 Up V4
 
   
Rédigé en écoutant :
Music