Jak interpretujeme testy antivirových laboratoří

Funguje váš antivirový program? Pravděpodobně nebudete chtít uvolnit živý virus, jen abyste ho zkontrolovali. Naštěstí se nezávislé testovací laboratoře po celém světě snaží odpovědět na tuto otázku, aniž by vás ohrožovaly.

Laboratoře

Abych získal představu o tom, jak dobře fungují různé antivirové produkty, sleduji šest specifických testovacích laboratoří. Všechny tyto laboratoře provádějí průběžně pravidelné testy a výsledky, na které se spoléhám, jsou volně dostupné veřejnosti.

Prodejce zabezpečení platí za to, aby nechal ICSA Labs a West Coast Labs testovat a certifikovat své produkty. V rámci služby laboratoř spolupracuje s prodejcem na opravě případných poruch. Konkrétně se zaměřuji na certifikáty pro detekci malwaru a čištění malware.

Ctihodný Virus Bulletin provádí měsíční testy detekce a uděluje certifikaci VB100 produktům, které detekují všechny jejich „divoké“ vzorky. Uvědomte si však, že i jeden falešně pozitivní (platný program detekovaný jako malware) stačí k selhání produktu. Z tohoto důvodu se dívám na procentuální úspěšnost za posledních dvanáct měsíců.

Společnost AV-Test se sídlem v německém Magdeburgu pravidelně hodnotí antivirové produkty ve třech oblastech: ochrana, výkon a použitelnost. Ochrana označuje potlačení útoků škodlivého softwaru, výkon se týká minimalizace využití systémových prostředků a použitelnost zahrnuje řadu faktorů, včetně falešných pozitiv. Se šesti možnými body v každé kategorii je maximální možné skóre 18.

AV-Comparatives provádí širokou škálu testů, některé s pomocí a podporou rakouské vlády. Test detekce souborů měří statickou detekci i detekci po spuštění. Podobný test využívající zastaralé definice malwaru se pokouší měřit účinnost proti útokům s nulovým dnem. A každý měsíc trvající dynamický test napadá každý produkt, aby odolával infekci nejnovějším malwarem. Výrobky, které projdou, jsou hodnoceny STANDARD; lepší produkty mohou získat hodnocení ADVANCED nebo ADVANCED +.

Výzkumní pracovníci v londýnských technologických laboratořích Dennis Technology Labs velmi tvrdě pracují na simulaci zkušeností uživatelů v reálném světě. Identifikují malware na webu, zachycují celý škodlivý web a replikují ho v kontrolovaném prostředí, takže každý produkt zažívá stejný útok. S ohledem na ochranu i nedostatek falešných pozitiv mohou produkty získat certifikaci na pěti úrovních: AAA, AA, A, B a C.

Co to všechno znamená?

V minulosti jsem shrnul skutečné laboratorní výsledky, ale výsledek nebyl tak snadno interpretovatelný. V jednom sloupci 3.0 bylo nejvyšší skóre, zatímco v dalším 3.0 by to bylo hrozné. Další sloupce mohou obsahovat „100%“ nebo „Y“. Upravil jsem svůj graf, abych místo toho shrnul výsledky do pěti kategorií: Detekce, Čištění, Ochrana, Falešné Pozitivy a Výkon, spolu s celkovým souhrnným skóre. Kliknutím sem zobrazíte příklad.

Těžkou částí je, že laboratoře testují různé kolekce produktů a různá čísla. AV-Test AV-Comparatives obvykle zahrnuje v testovacím běhu například 20 až 25 produktů, zatímco Dennis Labs má tendenci dělat více jako osm nebo deset. Musím se vyrovnat s tím, jaká data jsou k dispozici, a různé testy posuzuji podle mého vlastního subjektivního dojmu o jejich hodnotě.

Moje detekční hodnocení vychází z testu VB100 a dvou testů detekce souborů z AV-Comparatives. Získání certifikace pro detekci od laboratoří ICSA a West Coast Labs může zvýšit hodnocení produktu, ale pokud je necháte, nestáhne to.

AV-Comparatives provádí test čištění malwaru, který velmi přesně kontroluje, jak dobře produkty odstraňují malware, který detekují. Zahrnuji to do svého hodnocení čištění s možným zvýšením, pokud West Coast a ICSA Labs certifikují technologii dodavatele pro čištění malwaru. AV-Test diskutoval o podobném testu specifickém pro čištění; Přidám to, když bude k dispozici.

Test Dennis Labs v reálném světě je o ochraně před útokem malwaru, stejně jako dynamický test AV-Comparatives. Podívám se na oba z nich pro své hodnocení ochrany, stejně jako součást ochrany od AV-Test.

AV-Comparatives testuje dopad různých bezpečnostních produktů na výkon systému; Třídílná analýza AV-Testu zahrnuje výkonovou složku. Oba míří do mého výkonu.

Falešná pozitiva mohou být skutečným problémem; Pokud váš antivirový program udržuje karanténu nejnovější hry, pravděpodobně jej vypnete. Dennis Labs volá samostatné falešně pozitivní skóre, které používám ve svém falešně pozitivním hodnocení. Beru také na vědomí, že produkt ztratil ratingovou úroveň kvůli falešným pozitivům v některém z testů AV-Comparatives. Nakonec smíchám použitelnost komponenty z AV-Testu.

Perfektní? ani náhodou

Někteří prodejci neschvalují určité testy. Styl obrany Webrootu proti zcela novým hrozbám není kompatibilní s některými testy. Společnost Symantec uvedla, že statické testy mají malou hodnotu a že pouze dynamické testy celého produktu poskytují užitečné informace. Někteří se rozhodnou neúčastnit se vůbec, nebo se účastnit tak malého počtu testů, že není možné celkové hodnocení.

Přesto je zde spousta poznatků. Produkt, který získává pět hvězdiček napříč deskou, dělá něco v pořádku. Ten, který detekuje esa, ale selhává, pravděpodobně není tou správnou volbou pro vykořenění existujícího napadení malwarem. Při zpracování tohoto systému jsem určitě vyladil svoji vlastní interpretaci.