Jak testujeme antivirový a bezpečnostní software

Každý antivirový nebo bezpečnostní balíček slibuje, že vás ochrání před množstvím bezpečnostních rizik a nepříjemností. Ale skutečně splní své sliby? Při hodnocení těchto produktů k přezkoumání jsme své požadavky testovali mnoha různými způsoby. Každá recenze uvádí výsledky našich testů a praktické zkušenosti s produktem. Tento článek se bude hlouběji zabývat vysvětlením toho, jak tyto testy fungují.

Samozřejmě, že ne každý test je vhodný pro každý produkt. Mnoho antivirových nástrojů zahrnuje ochranu proti phishingu, ale některé ne. Většina apartmánů zahrnuje filtrování spamu, ale některé tuto funkci vynechávají a některé antivirové produkty ji přidávají jako bonus. Ať už daný produkt nabízí cokoli, testujeme je.

Testování antiviru v reálném čase

Každý antivirový nástroj s plným výkonem obsahuje skener na vyžádání, který vyhledává a ničí stávající napadení malwarem, a monitor v reálném čase, který odrazí nové útoky. V minulosti jsme vlastně udržovali sbírku virtuálních počítačů napadených malwarem, abychom otestovali schopnost každého produktu odstranit existující malware. Díky pokrokům v kódování malwaru bylo testování s živým malwarem příliš nebezpečné, ale přesto můžeme u každého produktu provádět ochranu v reálném čase.

Každý rok brzy na jaře, když většina dodavatelů zabezpečení dokončilo svůj roční aktualizační cyklus, shromažďujeme pro tento test novou kolekci vzorků malwaru. Začneme zdrojem nejnovějších adres URL hostujících malware, stáhneme stovky vzorků a zjistíme je na zvládnutelné číslo.

Každý vzorek analyzujeme pomocí různých ručně kódovaných nástrojů. Některé vzorky detekují, když běží ve virtuálním počítači a zdržují se škodlivé činnosti; prostě je nepoužíváme. Hledáme řadu různých typů a vzorky, které provedou změny v systému souborů a registru. S trochou úsilí sestavíme sbírku na zvládnutelné číslo a přesně zaznamenáme, co systém mění každý vzorek.

Abychom otestovali schopnosti produktu blokovat malware, stáhli jsme z cloudového úložiště složku vzorků. Ochrana v reálném čase u některých produktů nastartuje okamžitě a odstraní známý malware. Pokud je to nutné ke spuštění ochrany v reálném čase, poklepeme na každý vzorek nebo zkopírujeme kolekci do nové složky. Bereme na vědomí, kolik vzorků antivirus eliminuje na dohled.

Dále spustíme každý zbývající vzorek a všimneme si, zda jej antivirus detekoval. Zaznamenáváme celkové zjištěné procento bez ohledu na to, kdy k detekci došlo.

Detekce útoku malwaru nestačí; antivirus musí útoku skutečně zabránit. Malý interní program kontroluje systém, aby určil, zda se malwaru podařilo provést změny registru nebo nainstalovat některý ze svých souborů. V případě spustitelných souborů také kontroluje, zda některý z těchto procesů skutečně běží. A jakmile je měření dokončeno, virtuální stroj vypneme.

Pokud produkt zabrání instalaci všech spustitelných tras vzorkem malwaru, získá 8, 9 nebo 10 bodů, v závislosti na tom, jak dobře zabránil zaplnění systému nepoužitelnými stopami. Detekce malwaru, ale nezabrání-li se instalace spustitelných komponent, získá poloviční kredit, 5 bodů. A konečně, pokud i přes antivirový pokus o ochranu skutečně běží jeden nebo více škodlivých procesů, stojí to za pouhé 3 body. Průměr všech těchto skóre se stává konečným výsledkem blokování malwaru.

Testování blokování škodlivé adresy URL

Nejlepší čas na zničení malwaru je, než se vůbec dostane k počítači. Mnoho antivirových produktů se integruje do prohlížečů a odvádí je od známých adres URL hostujících malware. Pokud ochrana na této úrovni neprobíhá, je vždy možné vymazat užitečné malware během stahování nebo ihned po jeho stažení.

I když základní test blokování malwaru používá stejnou sezónu stejnou sezónu, adresy URL hostující malware, které používáme k testování webové ochrany, se pokaždé liší. Z MRG-Effitas se sídlem v Londýně dostáváme zdroj nejnovějších škodlivých adres URL a obvykle používáme adresy URL, které nejsou starší než jeden den.

Pomocí malého účelně vytvořeného obslužného programu přejdeme seznamem dolů a postupně spouštěním každé adresy URL. Zahodíme vše, co ve skutečnosti neznamená stažení malwaru, a jakékoli vrácené chybové zprávy. Pokud jde o zbytek, všimneme si, zda antivirus zabraňuje přístupu k URL, vymaže stahování nebo neudělá nic. Po zaznamenání výsledku nástroj přejde na další adresu URL v seznamu, která není ve stejné doméně. Přeskočíme všechny soubory větší než 5 MB a také přeskočíme soubory, které se již objevily ve stejném testu. Udržujeme to, dokud nebudeme shromažďovat data pro alespoň 100 ověřených adres URL hostujících malware.

Skóre v tomto testu je pouze procento adres URL, pro které antivirus zabránil stahování malwaru, ať už úplným přerušením přístupu k URL nebo vymazáním staženého souboru. Skóre se velmi liší, ale nejlepší bezpečnostní nástroje spravují 90 a více procent.

Testování detekce phishingu

Proč se uchýlit ke zpracování trojských koní, kteří krade data, když můžete lidi přimět, aby se vzdali svých hesel? To je smýšlení malefaktorů, kteří vytvářejí a spravují phishingové weby. Tyto podvodné weby napodobují banky a další citlivé stránky. Pokud zadáte přihlašovací údaje, právě jste rozdali klíče do království. A phishing je nezávislý na platformě; funguje na jakémkoli operačním systému, který podporuje procházení webu.

Tyto falešné weby se obvykle dostanou na černou listinu krátce po jejich vytvoření, takže pro testování používáme pouze nejnovější phishingové adresy URL. Shromažďujeme je z webů zaměřených na phishing a upřednostňujeme ty, které byly nahlášeny jako podvody, ale ještě nebyly ověřeny. To nutí bezpečnostní programy používat spíše real-time analýzu, než se spoléhat na jednoduché smýšlející blacklisty.

Pro tento test používáme čtyři virtuální stroje, jeden u testovaného produktu a jeden každý pomocí ochrany proti phishingu zabudované do prohlížečů Chrome, Firefox a Microsoft Edge. Malý obslužný program spustí každou adresu URL ve čtyřech prohlížečích. Pokud některá z nich vrací chybovou zprávu, tuto adresu URL zahodíme. Pokud se výsledná stránka aktivně nepokusí napodobit jiný web nebo se nepokusí zachytit údaje o uživatelském jménu a hesle, zahodíme je. Zbytek zaznamenáváme, zda každý produkt zjistil podvod.

V mnoha případech nemůže produkt, který je předmětem testování, dokonce ani vestavěnou ochranu v jednom nebo více prohlížečích.

Testování filtrování spamu

V dnešní době mají e-mailové účty pro většinu spotřebitelů nevyžádanou poštu z nich poskytovatele e-mailu nebo nástroj běžící na e-mailovém serveru. Ve skutečnosti potřeba filtrování nevyžádané pošty neustále ubývá. Rakouská testovací laboratoř AV-Comparatives před několika lety testovala funkčnost antispamu a zjistila, že i samotný Microsoft Outlook zablokoval téměř 90 procent nevyžádané pošty, a většina apartmá fungovala lépe, některé z nich mnohem lépe. Laboratoř ani neslibuje, že bude pokračovat v testování spamových filtrů zaměřených na spotřebitele, a poznamenává, že „někteří výrobci uvažují o odstranění funkce antispamu z jejich produktů pro zabezpečení spotřebitele“.

V minulosti jsme prováděli vlastní testy antispamu pomocí účtu v reálném světě, který získává spam i platnou poštu. Proces stahování tisíců zpráv a ruční analýza obsahu složky Doručená pošta a nevyžádaná pošta vyžadovaly více času a úsilí než kterýkoli z ostatních praktických testů. Vynakládání maximálního úsilí na prvek minimální důležitosti již nemá smysl.

Stále existují důležité body k hlášení o filtru nevyžádané pošty v sadě. Jaké e-mailové klienty podporuje? Můžete jej použít s nepodporovaným klientem? Je omezena na e-mailové účty POP3 nebo zpracovává také IMAP, Exchange nebo dokonce e-mail na webu? V budoucnu budeme pečlivě zvážit možnosti antispamu každé sady, ale nebudeme již stahovat a analyzovat tisíce e-mailů.

Testování výkonu sady zabezpečení

Když vaše bezpečnostní sada pilně sleduje útoky škodlivého softwaru, brání proti narušení sítě, brání vašemu prohlížeči v návštěvě nebezpečných webových stránek atd., Je jasné, že pro svou práci používá některé CPU systému a další zdroje. Před několika lety získaly bezpečnostní sady pověst takového nasávání tolik systémových prostředků, že to ovlivnilo použití vašeho počítače. Věci jsou v těchto dnech mnohem lepší, ale stále provádíme několik jednoduchých testů, abychom získali přehled o vlivu každé sady na výkon systému.

Bezpečnostní software se musí načíst co nejdříve v procesu spouštění, jak je to možné, aby nenalezl malware již pod kontrolou. Uživatelé však nechtějí čekat déle, než je nutné, aby mohli systém Windows restartovat. Náš testovací skript se spouští okamžitě po spuštění a systém Windows požaduje, aby jednou za sekundu hlásil úroveň využití CPU. Po 10 sekundách v řadě s využitím CPU ne více než 5 procent prohlásí systém za připravený k použití. Odečtením začátku spouštěcího procesu (jak bylo oznámeno Windows) víme, jak dlouho trvalo zaváděcí proces. Provádíme mnoho opakování tohoto testu a porovnáváme průměr s průměrem mnoha opakování, když nebyla přítomna žádná sada.

Pravda, pravděpodobně restartujete ne více než jednou denně. Sada zabezpečení, která zpomalila každodenní operace se soubory, může mít na vaše aktivity výraznější dopad. Abychom zkontrolovali tento druh zpomalení, musíme časovat skript, který přesouvá a kopíruje velkou sbírku velkých až velkých souborů mezi jednotkami. Zprůměrování několika běhů bez soupravy a několika běhů s aktivovanou sadou zabezpečení můžeme zjistit, jak moc sada zpomalila tyto činnosti se soubory. Podobný skript měří účinek sady na skript, který zipuje a rozbaluje stejnou kolekci souborů.

Průměrné zpomalení v těchto třech testech u apartmánů s nejlehčím dotykem může být méně než 1 procento. Na opačném konci spektra je jen velmi málo apartmánů v průměru 25 procent nebo dokonce více. Můžete si skutečně všimnout dopadu těžkopádnějších apartmá.

Testování ochrany Firewallu

Kvantifikovat úspěch brány firewall není tak snadné, protože různí výrobci mají různé představy o tom, co by měl firewall dělat. Přesto existuje řada testů, které můžeme použít na většinu z nich.

Brána firewall má obvykle dvě úlohy, které chrání počítač před vnějším útokem a zajišťují, aby programy nezneužívaly síťové připojení. K testování ochrany před útokem používáme fyzický počítač, který se připojuje prostřednictvím portu DMZ routeru. Výsledkem je účinek počítače připojeného přímo k internetu. To je důležité pro testování, protože počítač připojený prostřednictvím routeru je na Internetu prakticky neviditelný. Zasáhli jsme testovací systém skenováním portů a dalšími webovými testy. Ve většině případů zjistíme, že firewall zcela skryje testovací systém před těmito útoky a všechny porty uvede do tajného režimu.

Vestavěný firewall systému Windows zpracovává skrytí všech portů, takže tento test je pouze základní. Ale i zde jsou různé názory. Návrháři společnosti Kaspersky nevidí žádnou hodnotu ve skrytých portech, pokud jsou porty zavřené a brána firewall aktivně brání útoku.

Kontrola programů v nejranějších osobních firewallech byla extrémně praktická. Pokaždé, když se neznámý program pokusil o přístup k síti, firewall objevil dotaz s dotazem uživatele, zda povolit přístup. Tento přístup není příliš účinný, protože uživatel obecně netuší, jaká akce je správná. Většina z nich prostě umožní vše. Ostatní pokaždé klepnou na tlačítko Blokovat, dokud nepřeruší nějaký důležitý program; poté vše povolí. Provádíme praktickou kontrolu této funkce pomocí malého nástroje prohlížeče kódovaného za hodinu, který bude vždy považován za neznámý program.

Některé škodlivé programy se pokoušejí obejít tento druh jednoduchého řízení programů manipulací nebo maskováním jako důvěryhodné programy. Když narazíme na firewall staré školy, testujeme jeho dovednosti pomocí nástrojů zvaných testy těsnosti. Tyto programy používají stejné techniky k vyhýbání se řízení programu, ale bez škodlivého užitečného zatížení. Najdeme méně a méně testů těsnosti, které stále fungují v moderních verzích Windows.

Na druhém konci spektra nejlepší brány firewall automaticky konfigurují síťová oprávnění pro známé dobré programy, odstraňují známé špatné programy a zvyšují dohled nad neznámými. Pokud se neznámý program pokusí o podezřelé připojení, firewall se v tom okamžiku spustí, aby jej zastavil.

Software není a nemůže být dokonalý, takže zlí lidé tvrdě pracují na tom, aby našli bezpečnostní díry v oblíbených operačních systémech, prohlížečích a aplikacích. Vymýšlejí o zneužití, aby ohrozili zabezpečení systému pomocí zranitelných míst, která najdou. Výrobce přirozeně vydávaného produktu vydává bezpečnostní opravu co nejdříve, ale dokud tuto opravu skutečně nepoužijete, jste zranitelní.

Nejchytřejší brány firewall zachycují tyto zneužívané útoky na úrovni sítě, takže nikdy nedosáhnou vašeho počítače. Dokonce i pro ty, kteří neskenují na úrovni sítě, antivirová komponenta v mnoha případech vymaže užitečnou zátěž škodlivého softwaru exploitu. Pomocí penetračního nástroje CORE Impact narazíme na každý testovací systém přibližně 30 nedávnými zneužitími a zaznamenáváme, jak dobře je bezpečnostní produkt odrazil.

Nakonec provedeme kontrolu zdravého rozumu, abychom zjistili, zda kodér malwaru může snadno deaktivovat bezpečnostní ochranu. Hledáme vypínač v registru a otestujeme, zda jej lze použít k vypnutí ochrany (i když je to už roky, co jsme našli produkt zranitelný tímto útokem). Pokusíme se ukončit procesy zabezpečení pomocí Správce úloh. A kontrolujeme, zda je možné zastavit nebo deaktivovat základní služby systému Windows pro daný produkt.

Testování rodičovské kontroly

Rodičovská kontrola a monitorování zahrnuje širokou škálu programů a funkcí. Typický nástroj pro rodičovskou kontrolu chrání děti před nechtěnými stránkami, sleduje jejich používání internetu a umožňuje rodičům určit, kdy a na jak dlouho mohou děti každý den používat internet. Další funkce sahají od omezování kontaktů chatu po hlídání příspěvků na Facebooku pro riziková témata.

Vždy kontrolujeme zdravý rozum, abychom se ujistili, že filtr obsahu skutečně funguje. Jak se ukazuje, zjištění porno stránek pro testování je hračka. Téměř každá adresa URL složená z přídavného jména velikosti a název normálně zakryté části těla je již porno stránkou. Tento test selže jen velmi málo produktů.

K ověření, zda je filtrování obsahu nezávislé na prohlížeči, používáme malý nástroj interního prohlížeče. Vydáváme tříslovný příkaz k síti (ne, nezveřejňujeme jej zde), který zakáže některé snadno smýšlející filtry obsahu. A kontrolujeme, zda se můžeme vyhnout filtru pomocí zabezpečeného anonymního proxy serveru.

Stanovení časových limitů na používání dětského počítače nebo internetu je účinné pouze v případě, že děti nemohou zasahovat do měření času. Ověřujeme, že funkce časového plánování funguje, a zkuste se jí vyhnout resetováním systémového data a času. Nejlepší produkty se nespoléhají na systémové hodiny, pokud jde o jejich datum a čas.

Poté je to prostě otázka testování funkcí, které program tvrdí. Pokud slibuje schopnost blokovat použití konkrétních programů, zapojíme tuto funkci a pokusíme se ji přerušit přesunutím, kopírováním nebo přejmenováním programu. Pokud to říká, že odstraní špatná slova z e-mailu nebo rychlých zpráv, přidáme do seznamu blokovaných náhodných slov a ověříme, že se neodesílají. Pokud tvrdí, že to může omezit kontakty chatu, zahájili jsme konverzaci mezi dvěma našimi účty a poté jeden z nich zakázali. Ať už program ovládá nebo monitoruje sílu, kterou program slibuje, snažíme se jej otestovat.

Interpretace testů antivirových laboratoří

Nemáme prostředky k provádění takových vyčerpávajících antivirových testů prováděných nezávislými laboratořemi po celém světě, takže jejich nálezům věnujeme velkou pozornost. Sledujeme dvě laboratoře, které vydávají certifikáty, a čtyři laboratoře, které pravidelně zveřejňují výsledky testů. Jejich výsledky pomáhají informovat naše recenze.

ICSA Labs a West Coast Labs nabízejí širokou škálu bezpečnostních certifikačních testů. Konkrétně se řídíme jejich certifikacemi pro detekci malwaru a odstraňování malwaru. Prodejci zabezpečení platí za to, že své výrobky testují, a tento proces zahrnuje pomoc od laboratoří k vyřešení problémů, které brání certifikaci. Zde se díváme na skutečnost, že laboratoř zjistila, že produkt je dostatečně významný, aby mohl být testován, a prodejce byl ochoten za testování zaplatit.

AV-Test Institute se sídlem v Magdeburgu v Německu neustále provádí antivirové programy prostřednictvím různých testů. Test, na který se zaměřujeme, je třídílný test, který uděluje až 6 bodů v každé ze tří kategorií: Ochrana, Výkon a Použitelnost. K dosažení certifikace musí produkt získat celkem 10 bodů bez nulových hodnot. Nejlepší produkty si v tomto testu vezmou dokonalých 18 bodů.

Pro testování ochrany vědci vystavují každý produkt referenční sadě AV-Testu s více než 100 000 vzorky a několika tisícům extrémně rozšířených vzorků. Produkty získávají uznání za to, že zabránily napadení v jakékoli fázi, ať už blokují přístup k adrese URL hostující malware, detekují malware pomocí podpisů nebo zabraňují spuštění škodlivého softwaru. Nejlepší produkty v tomto testu často dosahují 100% úspěchu.

Výkon je důležitý - pokud antivirus znatelně přetáhne výkon systému, někteří uživatelé jej vypnou. Vědci AV-Testu měří časový rozdíl potřebný k provedení 13 běžných systémových akcí s přítomným bezpečnostním produktem a bez něj. Mezi tyto akce patří stahování souborů z Internetu, kopírování souborů lokálně i v síti a spouštění běžných programů. Při průměrování více běhů mohou identifikovat, jaký dopad má každý produkt.

Test použitelnosti není nutně tím, co si myslíte. Nemá to nic společného s jednoduchostí použití nebo návrhem uživatelského rozhraní. Namísto toho měří problémy s použitelností, ke kterým dochází, když antivirový program omylem označí legitimní program nebo web za škodlivý nebo podezřelý. Vědci aktivně instalují a provozují neustále se měnící sbírku populárních programů, přičemž zaznamenávají jakékoli zvláštní chování antiviru. Samostatný test pouze pro kontrolu kontroluje, zda antivirus neidentifikuje žádný z více než 600 000 legitimních souborů jako malware.

Shromažďujeme výsledky ze čtyř (dříve pěti) z mnoha testů pravidelně vydávaných společností AV-Comparatives, která sídlí v Rakousku a úzce spolupracuje s University of Innsbruck. Bezpečnostní nástroje, které projdou testem, dostávají standardní certifikaci; ti, kteří selhají, jsou označeni pouze jako testovaní. Pokud program přesáhne nezbytné minimum, může získat certifikaci Advanced nebo Advanced +.

Test detekce souborů AV-Comparatives je jednoduchý, statický test, který kontroluje každý antivirus proti asi 100 000 vzorkům malwaru, s testem falešně pozitivních, aby byla zajištěna přesnost. Test výkonu, podobně jako u AV-Testu, měří jakýkoli dopad na výkon systému. Dříve jsme zahrnuli heuristický / behaviorální test; tento test byl zrušen.

Za nejvýznamnější považujeme dynamický test produktů AV-Comparatives. Cílem tohoto testu je co nejtěsněji simulovat skutečnou zkušenost uživatele a umožnit všem součástem bezpečnostního produktu jednat proti malwaru. A konečně, remediační test začíná kolekcí malwaru, o kterém je známo, že všechny testované produkty detekují, a napadá bezpečnostní produkty, aby obnovily zamořený systém a malware zcela odstranily.

Tam, kde AV-Test a AV-Comparatives obvykle zahrnují 20 až 24 produktů při testování, SE Labs obecně hlásí ne více než 10. To je z velké části kvůli povaze tohoto laboratorního testu. Vědci zachycují webové stránky hostující malware v reálném světě a používají techniku ​​opakovaného přehrávání tak, aby každý produkt narazil přesně na stejný disk pro stažení nebo jiný webový útok. Je to velmi realistické, ale namáhavé.

Program, který zcela blokuje jeden z těchto útoků, získává tři body. Pokud to podniklo kroky po zahájení útoku, ale podařilo se mu odstranit všechny spustitelné stopy, stojí za to dva body. A pokud útok pouze ukončil, bez úplného vyčištění, dostane ještě jeden bod. V případě, že se malware v testovacím systému spustí zdarma, ztrácí testovaný produkt pět bodů. Z tohoto důvodu mají některé výrobky skóry pod nulou.

V samostatném testu vědci vyhodnotí, jak dobře se každý produkt vyhýbá chybné identifikaci platného softwaru jako škodlivého, zvažuje výsledky na základě prevalence každého platného programu a na tom, jaký dopad bude mít falešná pozitivní identifikace. Kombinují výsledky těchto dvou testů a certifikují výrobky na jedné z pěti úrovní: AAA, AA, A, B a C.

• Nejlepší bezpečnostní soupravy pro rok 2019 Nejlepší bezpečnostní soupravy pro rok 2019
• Nejlepší antivirová ochrana pro rok 2019 Nejlepší antivirová ochrana pro rok 2019
• Nejlepší bezplatná antivirová ochrana pro rok 2019 Nejlepší bezplatná antivirová ochrana pro rok 2019

Už nějakou dobu jsme v našem praktickém testu blokování škodlivých adres URL používali zdroj vzorků dodávaný společností MRG-Effitas. Tato laboratoř také vydává čtvrtletní výsledky pro dva konkrétní testy, které sledujeme. Test 360 Assessment & Certification simuluje ochranu v reálném světě proti současnému malwaru, podobně jako dynamický test v reálném světě používaný společností AV-Comparatives. Produkt, který zcela zabraňuje napadení vzorkem, obdrží certifikaci úrovně 1. Certifikace úrovně 2 znamená, že alespoň některé vzorky malwaru vysadily soubory a další stopy v testovacím systému, ale tyto stopy byly odstraněny v době příštího restartu. Certifikace online bankovnictví velmi konkrétně testuje ochranu před finančním malwarem a botnety.

Přicházet s celkovým souhrnem laboratorních výsledků není snadné, protože laboratoře ne všechny testují stejnou sbírku programů. Navrhli jsme systém, který normalizuje skóre každé laboratoře na hodnotu od 0 do 10. Naše souhrnná tabulka výsledků laboratoře uvádí průměr těchto skóre, počet testů v laboratořích a počet obdržených certifikací. Pokud pouze jedna laboratoř zahrnuje testovací produkt, považujeme to za nedostatečné informace pro celkové skóre.

Možná jste si všimli, že tento seznam testovacích metod nezahrnuje virtuální soukromé sítě nebo VPN. Testování VPN se velmi liší od testování jakékoli jiné části sady zabezpečení, proto jsme poskytli samostatné vysvětlení, jak testujeme služby VPN.