League of Antivirus - Kaspersky Internet Security 2021 vs Malicious URLs, Phishing URLs, Malware Samples
- Autor tematu SE7EN
- Rozpoczęty
Zalezy od metodologii testu... i paru innych spraw.
Mnie sie personalnie nie podoba testowanie nieaktualnej wersji (data premiery na YT: 20.12.2020, patch (a), podczas gdy ponad tydzien wczesniej (11.12.2020) zostal wydany (b) (
Zaloguj
lub
Zarejestruj się
aby zobaczyć!
) ale nie wnikam po co Autor testu odpial Kasperskyego od aktualizacji bazy danych i heurystyki (inaczej by sie zaktualizowalo do (b) automatem).Moze ma jaies ukrtyte przeslanie, np: program antywirusowy odpiety od aktualizacji nie wypada najlepiej?
Nie wiem, nie znam sie....
- Dołączył
- 27 Maj 2010
- Posty
- 1124
- Reakcje/Polubienia
- 114
Czyli teoretycznie KIS powinien się zaktualizować do wersji B, ale tego nie zrobił. Test miał wykazać jaki jest współczynnik wykrywalności danego dnia. Nie jestem stronniczy w tych testach, sam nie używam żadnego z testowanych AV.
Ostatnia edycja:
Polemizowalbym patrzac an paczke linkow/plikow do testow.
Ale to kazdy przeciez moze sobie porownac, patrzac np. na link poprzez VT.
- Dołączył
- 27 Maj 2010
- Posty
- 1124
- Reakcje/Polubienia
- 114
Biorę złośliwe linki za kolejnością, a paczki (~10-30k świeżych sampli dziennie, rożne typy plików) mam z dobrego źródła, testuję na plikach wykonywalnych z paczki. W ten sam dzień testowałem też G-DATA IS i uzyskał on nawet gorszy wynik niż KIS. Może w ten dzień mieli jakieś świąteczne potańcówki. Poza tym wynik powyżej 80% w tego typu testach należy traktować jako dobry. W League of Antivirus będzie taki podział 0-79/100 LOAV TESTED, 80-84/100 LOAV +, 85-89/100 LOAV ++, 90-94/100 LOAV +++, 95-99/100 LOAV TOP, 100/100 LOAV 1st.
Wierze Ci. Zapewne to przypadek ze probka ktorej nie wykrywa ani Norton, ani Kaspersky (bo de facto to narzedzie a nie malware) - trafila tylko do Koasperskyego?
(mowie o hxxp://easydown.stnts.com/acc_download/Speeder_1.0.0.3_qd13.exe )?
Nawiasem mowiac, z listy ktora umiescilem w sasiednim watku w jakies 30-40min w warunkach domowych moge skompilowac zestaw np 20-30 probek ktory dla DOWOLNEGO produktu AV wykaze sie zerowym wskaznikiem wykrywalnosci (np. zestaw probek malware dla ktorego stopien detekcji Dr.Web ORAZ Bitdefender wyniesie zero przecinek zero a dla ktorego Kaspersky wykrywalnosc ma 100% to na chwile obecna:
hxxp://103.130.219.121/1az01dc/oni1.arm6
hxxp://107.173.125.167/jackmyarmv6
hxxp://107.173.125.167/jackmymipsel
hxxp://185.172.110.205/bins/f.x86
hxxp://185.239.242.147/pXdN91.i586
hxxp://ads.adwords-com.promotion.adwords-fr-en.eu.home.login.peggycross.com/wa71zf.pdf
hxxp://afonyaporta.hu/bxzdfj/55555555555.jpg
i tak dalej (mowilem juz ze leniwy jestem? no wlasnie...).
DLATEGO probka ma byc taka sama dla wszystkich, inaczej to po prostu nie ma najmniejszego sensu.
Podsumowujac: PODSTAWOWE zasady OBIEKTYWNYCH testow to:
- ujednolicenie danych wsadowych, tj. ta sama grupa malware testowana na wszystkich produktach poddanych testowi;
- przetestowanie ww bazy na wszystkich produktach na dany dzien (przykladem moze byc ww probka. Rok temu na VT wykrywaly ja 3 produkty. Na wczoraj wykrywalo ja 8 sztuk. Na dzis - nie chce mi sie sprawdzac ale cos sie moglo zmienic)
- przeprowadzenie testu dla ujednoliconych ustawien (typu: heurystyka, ochrona w chmurze itp. np poprzez podlaczenie Kasperskyego do KSN)
- przetestowanie w TAKIM SAMYM srodowisku (system ten sam build, te same ustawienia, BEZ maszyny wirtualnej [wskazowka praktyczna: zgranie swiezego obrazu systemu i wgrywanie czystego obrazu na kazda z maszyn testowych]
Profesjonalnie, test wykonywany jest na kilkunastu maszynach o takim samym HW/SW jednoczesnie, co jak rozumiem jest dosc trudne w warunkach domowych. Dlaczego nie mozna np. zrobic obrazu, przetestowac, format, wgranie obrazu i jedziemy nastepny produkt? Bo sie NIE DA, w domowych warunkach. Musialbys "zamrozic" nie tylko baze definicji programu AV na dany dzien i czas, ale takze zrobic mirror ochrony w hmurze co w domowych warunkach bez dedykowanego wsparcia dostawcy i odpowiedniego lokalnego serwera jest awykonalne technicznie i kosztowo.
Dopiero wynik tak wykonanego testu moze byc uznany za podstawe do porownania produktow lub ich ratingu porownawczego.
Bez elementow wspomnianych wyzej bedzie to subiektywna, niejednolita impresja na temat odczucia uzycia produktu w odniesieniu do scisle okeslonej, niejednorodnej probki malware.
Niestety, sa to ograniczenia warunkow domowych.
Jezeli jestes autorem tych filmow to przemysl podejscie. Na profesjonalne testy nie masz ani kasy, ani czasu jak mniemam. Ale subiektywnymi wrazeniami z uzycia jak najbardziej mozesz sie dzielic, byle nie porownywac (tak jak pokazalem wyzej przyklady probek wykrywanych przez jedne, a nie wykrywanych przez inne produkty, moge znalezc probki ktore wczoraj nie byly wykrywane a ktore sa wykrywane obecnie... i odwrotnie zreszta, FP to codziennosc. Znam program do skanowania ad-hoc uzywany w skanach forensic ktory z uporem maniaka traktuje Total Commandera w wersji 64bit jako malware.. niereformowalne bydle ale to akurat dygresja).
Decyzja jest Twoja of course.
- Dołączył
- 27 Maj 2010
- Posty
- 1124
- Reakcje/Polubienia
- 114
Podać adres do przelewów? Te testy jednak coś pokazują, sumując wyniki wielu testów można uzyskać rzetelny wynik. Poza tym teraz robię testy na zasadzie turniejowej gdzie porównywane są dwa produkty na tych samych zagrożeniach, który wykryje więcej z paczki przechodzi dalej. W wielkim finale okaże się który jest najlepszy. Wszystkie testy są nagrywane więc można ocenić czy coś było manipulowane.
Dlaczego klamiesz? W powyzszym poscie wskazalem Ci ze poddajesz kazdy soft INNEMU zestawowi probek oraz w Innym czasie = test NIE jest rzetelny jezeli porownujesz jeden produkt z innym.
Z kazdym testem zmienasz jego warunki co przeczy wprost rzetelnosci.
W wielkim finale znajdzie sie ten, ktoremu podczas doboru zestawu probek dasz najwiecej szans.
Co do oceny manipulacji... hmm... moze Ci umknelo: https://programyzadarmo.net.pl/thre...a-czyli-jak-manipulowac-wynikami-testu.45300/
Widze ze masz problemy z czytaniem ze zrozumieniem wiec powtorze: "test" nie bylby manipulowany gdybys przeprowadzal go w tych samych warunkach dla kazdego programu.Widzę że twój ulubieniec słabo wypadł. Nic nie jest manipulowane. A te narzędzia które pominął Kaspersky to niestety Trojany
A tego nie robisz.
Poniewaz nie zakladam ze z glupoty, przyczyna moze byc tylko jedna.
PS: zadaj sobie trud i sprawdz swojego "Trojana":
hxxp://easydown.stnts.com/acc_download/Speeder_1.0.0.3_qd13.exe
(dla opornych:zastapic hxxp http w powyzszym linku)
Zaloguj
lub
Zarejestruj się
aby zobaczyć!
i przeanalizuj co ten "trojan" robi:
Comodo Valkyrie Verdict
media sharing
Dr.Web
known infection source
Forcepoint ThreatSeeker
games
sophos
voice and video calls
Innymi slowy takim samym trojanem jest dowolny klient torrenta lub IDM
- Dołączył
- 27 Maj 2010
- Posty
- 1124
- Reakcje/Polubienia
- 114
Faktycznie nie ma różnicy. Tu wynik IDM:
Dla pewności wysłałem go do Microsoft i powiedzieli że to Trojan:Win32/Zpevdo.A , ale co oni mogą wiedzieć, przecież jakiś anonimek z internetu wie lepiej Pozdro!
Zaloguj
lub
Zarejestruj się
aby zobaczyć!
A tu tego trojana:
Zaloguj
lub
Zarejestruj się
aby zobaczyć!
Dla pewności wysłałem go do Microsoft i powiedzieli że to Trojan:Win32/Zpevdo.A , ale co oni mogą wiedzieć, przecież jakiś anonimek z internetu wie lepiej
Pozdro!Wtrącę nieśmiało w tym wątku -nie ujmuję nikomu fachowości-zaangażowania-bo to widać w pracy włożonej w testowanie tych aplikacji AV/IS i oboje jesteście wspaniali(!) w tym że przybliżacie nam zagadnienia bardzo istotne dla użytkowników kompów! Sedno "sporu" tutaj jest takie że faktycznie nie dajesz "identycznych" forów podczas testów, a to już nie pozwala na klasyfikację który jest "lepsiejszy a który be" bo może i z "bloków wystartowali razem ale płotki poustawiano różniście"
dlatego zgadzam się że Laboratoria mają łatwiej, bo testy odpalają na jednakowych konfigach i wszystkie testowane programy zaliczają identyczne symulacje! Pomimo mojego małego "wtrętu" dzięki i wielki szacun dla @spamtrash, jak i dla @SE7EN !
dlatego zgadzam się że Laboratoria mają łatwiej, bo testy odpalają na jednakowych konfigach i wszystkie testowane programy zaliczają identyczne symulacje! Pomimo mojego małego "wtrętu" dzięki i wielki szacun dla @spamtrash, jak i dla @SE7EN !
Faktycznie nie ma różnicy. Tu wynik IDM:
Zaloguj lub Zarejestruj się aby zobaczyć!A tu tego trojana:
Zaloguj lub Zarejestruj się aby zobaczyć!
Dla pewności wysłałem go do Microsoft i powiedzieli że to Trojan:Win32/Zpevdo.A , ale co oni mogą wiedzieć, przecież jakiś anonimek z internetu wie lepiej
TEGO "trojana"? TEN "trojan" ktorego wrzuciles w TESCIE to
Zaloguj
lub
Zarejestruj się
aby zobaczyć!
a nie to co podales, nawet nazwa exe sie nie zgadza. Dla pewnosci, jest to link numer 13 na liscie zrobionej ze screenu Twojego "testu", a nie 12.
Ale podziwiam, malo osob by sie zorientowalo w "pomylce", a to przeciez Ci chodzi, nieprawdaz?
Podobne tematy:
