Block e White List per Pi-hole e Ad Blocker

Sicuramente conoscete già il mio forte sostengo al progetto Pi-hole, ne ho ampiamente parlato sul mio blog e su Twitter. Un progetto opensource installabile facilmente su Raspberry per filtrare contenuti indesiderati a livello di networking tramite il blocco delle richieste DNS.

TL;DR – Le blocklist che uso sono:

ADS and Privacy
https://adaway.org/hosts.txt
https://v.firebog.net/hosts/AdguardDNS.txt https://filtri-dns.ga/filtri.txt

ADS and Privacy more aggressive (they can block regular traffic)
https://v.firebog.net/hosts/Easylist.txt
https://raw.githubusercontent.com/anudeepND/blacklist/master/adservers.txt

Malware https://urlhaus.abuse.ch/downloads/rpz/ or https://urlhaus.abuse.ch/downloads/hostfile/ https://infosec.cert-pa.it/analyze/listdomains.txt https://infosharing.cybersaiyan.it/feeds/CS-PIHOLE Phishing https://phishing.army/download/phishing_army_blocklist_extended.txt Cryptojacking
https://zerodot1.gitlab.io/CoinBlockerLists/hosts_browser

Dopo i primi problemi nella navigazione quotidiana (mancato caricamento di immagini, video o script javascript) causati dalle Block List predefinite di Pi-Hole ho iniziato a documentarmi andando alla ricerca di nuove liste.

Le Block List predefinite di Pi-hole sono:

https://raw.githubusercontent.com/StevenBlack/hosts/master/hosts
https://mirror1.malwaredomains.com/files/justdomains
https://s3.amazonaws.com/lists.disconnect.me/simple_tracking.txt
https://s3.amazonaws.com/lists.disconnect.me/simple_ad.txt
https://hosts-file.net/ad_servers.txt
http://sysctl.org/cameleon/hosts

Se le analizziamo singolarmente troviamo già qualche dettaglio interessante:

  1. Hosts: è un progetto di Steven Black che raggruppa diverse Block List (Awdware, Malware, Fraud, Scam, Spam, Tracking e Cryptomining) eliminando falsi positivi e costantemente aggiornate. Eventualmente offre anche Block List integrative come Social, Porn, Fake News e Gambling;
  2. Malwaredomains: aggiornate giornalmente con i principali dominii sfruttanti per diffondere malware;
  3. Lists.disconnect.me: L’ultimo aggiornamento risale al 2016 e non è noto chi le gestisca;
  4. Hosts-file: Lista aggiornata costantemente ma i falsi positivi sono all’ordine del giorno probabilmente non vi è alcuna verifica dei dominii riportati, molto spesso inoltre contiene duplicati della lista di Steven Black;
  5. Sysctl.org: Aggiornate a marzo 2018 e anche in questo caso i dati riportati risultano spesso analoghi alla lista di Steven Black.

Così ho deciso di eliminare le ultime tre liste per i motivi sopra esposti, lasciando solo le prime tre citate. La situazione è migliorata decisamente, non notavo più problemi e tutto sembrava risolto.

Però la curiosità è bastarda e ho iniziato a cercare altre Block List online, sono incappato in una discussione su Reddit in cui vengono messe in evidenza alcune Block List con relativi commenti.

Inizialmente ho provato il progetto Tspprs, caricando le liste base (Main, Ads, Malware, Fraud, Scam, Spam, Tracking e Crypto) ho avuto un colpo al cuore quando il Raspberry Pi dopo 120gg di uptime è andato in blocco costringendomi ad un reboot forzato. Al riavvio ho scoperto che la lista dei dominii bloccati era passata da circa 130mila a 3milioni! ? La cosa mi puzzava tremendamente, dopo 10 minuti di navigazione il risultato è stato il seguente:

  • gstatic.com era contenuto nella lista dei Malware più volte (oltre ovviamente ad essere nella corretta lista Ads);
  • *.amazonaws.com era contenuto nella lista dei Malware;
  • Tutti gli shorturl (bit.ly, bit.do, ecc) erano bloccati;
  • ecc, ecc.

Praticamente non riuscivo più ad usare Internet, non ho proseguito la navigazione e sono tornato alle precedenti Block List. Ho capito che il progetto conta a fare dei numeri ma con pochissima qualità.

Successivamente ho scoperto il progetto Firebog, ovvero un fantastico raccoglitore di Block List gratuite. Bene ma ora sono a punto e capo, se le carico tutte rischio di fare la fine di Tspprs, ovvero ottenere una Block List enorme che esponenzialmente mi andrà a creare dei falsi positivi.

Ho quindi deciso di fare dei test tramite il plugin Firefox Lightbeam per identificare lacune e pregi delle diverse Block List citate su Firebog man mano che le provavo.

Hosts di Steven Black: probabilmente la Block List di più successo e storica, raccoglie in un unico file diverse tipologie di dominii (Ads, Malware, Phishing, Scam, ecc) e questa grande varietà di dati porta spesso a dei falsi positivi. Ho preferito eliminarla dopo un anno di prove.

Squidblacklist è un società che offre Block List gratuite (Ads, Facebook e Malicious) e a pagamento (Clickbait, Porn, Proxies, Tor, ecc ecc) ma che mi sembrano veramente ben realizzate, addirittura in diversi formati (Standard, compatibili con Squid o RouterOS). Dopo un anno di utilizzo non credo siano fondamentali.

anudeepND blacklist: credo che attualmente sia la migliore Block List per quanto riguarda la categoria Ads e Privacy in un anno di utilizzo mai un falso positivo o una pubblicità visualizzata.

Phishing.army: Per il contrasto del Phishing uso la Block List che personalmente genero.

Malware: per il contrasto dei malware sto provando diverse Block List e ci tengo a precisare che è ancora la categoria dove ho più lacune, noto spesso dei falsi positivi. Quindi usate le liste indicate con cautela.

White List

Voglio inoltre segnalarvi un interessante progetto di Anudeep che permette di aggiungere a PiHole una White List (di default è possibile solo l’inserimento manuale uno ad uno) tramite una lista da lui prestabilita e in costante aggiornamento.

Il suo progetto è disponibile su GitHub dove trovate anche le informazioni per l’installazione.

Porn

Se volete bloccare i siti porno potete usare la Block List estesa di Steven Black oppure quella di Chad Mayfield.

Donate e Tricks Interessanti

Ci tengo a ricordarvi di sostenere il progetto e anche le diverse Block List menzionate perché se iniziate ad usarlo difficilmente ne farete a meno e quindi una donazione agli sviluppatori è d’obbligo.

Infine per chi è alla ricerca di qualche progetto più corposo da fare con Pi-hole vi segnalo due articoli:

[AGGIORNAMENTO]

  • Articolo aggiornato il 27 Dicembre 2018
  • Articolo aggiornato il 16 Marzo 2019
  • Articolo aggiornato il 18 Febbraio 2020
  • Articolo aggiornato il 22 Marzo 2020
  • Articolo aggiornato il 15 Maggio 2020 aggiungendo la BlockList di Adguard (Thanks jcritical for the tip)
  • Articolo aggiornato il 16 Luglio 2020 aggiungendo la Blocklist di Adaway e creata una separazione tra liste più e meno aggressive sul ADS/Tracking.
  • Articolo aggiornato il 25 Ottobre 2020 sostitutendo la NoCoin Filter List di hoshsadiq con quella di zerodot1
  • Articolo aggiornato il 12 Febbrario 2021 rimuovendo la blocklist di malwaredomains
5 1 vote
Article Rating
Subscribe
Notificami
guest
28 Commenti
più votati
più nuovi più vecchi
Inline Feedbacks
View all comments
poncho!
poncho!
28/11/2018 09:39

Segnalo le liste di Energized Protection, attive di default in Blockada, il miglior adblock per Android!

https://github.com/EnergizedProtection/block

E.B.
E.B.
23/11/2018 09:58

ciao avevo letto con interesse il tuo articolo di conf per la pi-hole, e leggo ora anche questo.. solo che non mi é chiaro il comportamento della stessa … mi spiego attualmente uso ad-block plus e noscript per filtrare le pubblicità e altre menate .. lo svantaggio oramai che molti siti facendo un check sulla presenza di questi software bloccano ovviamente la visualizzazione stessa del sito equindi di volta in volta sono costretto alla disabilitazione momentanea , a quanto mi é dato intendere la PI-Hole invece filtra a priori determinati domini..ma la domanda é viene intercettata dalle linee di codice… Leggi il resto »

E.B.
E.B.
23/11/2018 10:29

grazie della risposta infatti il mio dubbio era sul metodo utilizzato che mi hai spiegato ora …appena ho tempo monto una rasp di test ..nel frattempo androidworld punto it.. questo sito ad esempio mostra una pagina di avvertimento bloccando la visualizzazione dello stesso….ho messo il primo che ricordo…
sulla protezione Lan sono daccordo ..é uno dei motivi di un fltraggio a monte che pensavo..
saluti

E.B.
E.B.
23/11/2018 10:48

Grazie molto interessante …proveremo …
Saluti

Stefano
Stefano
30/03/2019 15:27

Ciao! Grazie per la condivisione della tua esperienza con pihole. Sono diventato addicted anche io, tant’e’ che ne ho messi 2 in rete, cosi’ da evitare uscite sul dns secondario non gradite e ho preso spunto dalla tua selezione di liste per aggiornare le mie.

walker
walker
19/04/2019 17:04

aggiunto la tua lista, grazie!

walker
walker
30/12/2020 15:07
Reply to  walker
https://mirror1.malwaredomains.com/files/justdomains

sembrerebbe non piu’ disponibile…

walker
walker
10/01/2021 18:26

un utente ha salvato una copia poco prima della rimozione:
https://gitlab.com/gerowen/old-malware-domains-ad-list

saluti,

trackback

[…] approfondimento su blocklist e whitelist, a cura di Andrea Draghetti, curatore, fra le varie cose, della lista Phishing Army (lavoro notevole, complimenti davvero ad Andrea!); […]

rashanda
rashanda
27/05/2019 16:44

Ciao Andrea, grazie mille per questa pagina! Mi sapresti dire se intendi tenerla aggiornata? Così ogni tanto ci butto un’occhio! E poi un’altra domanda: le liste che usi filtrano anche domini italiani noti come i siti della galassia .today.it, repubblica.it, corriere.it, etc.? Grazie!

Gianluca
Gianluca
30/09/2019 20:40

Mi sembra di capire che Zeustracker non è più mantenuta

mario
mario
14/11/2020 09:27

ciao e grazie come al solito. una info. quindi le nuove blocklist sostituiscono Le Block List predefinite di Pi-hole ? grazie

mario
mario
14/11/2020 13:35

ciao. ma se utilizzo il mio pi1 anche per fare da vpn server.. devo cmq acquistare 2 servizi.. ma ho un dubbio … a livello di prestazioni sembra che anche un pi0 possa fare bene… un pi2 o pi3 addirittura sprecato per uso pi hole confermi?

ho provveduto a sostituire quelli di default… grazie Andrea per ogni suggerimento sempre ben accetto

mario
mario
14/11/2020 13:40

volevo allegare anche un file che ho aggiunto al pihole che mi scarica una whitelist . inoltre ho un altro file che fa da update.sh che volevo condividere con te. mi fai sapere come posso? (se ti va)grazie

luca
luca
10/02/2021 01:51

ciao ho messo le tue liste ma mi escono ancora dei pop up si possono levare?

luca
luca
12/02/2021 23:29

apre anche pagine vuote ma spesso

luca
luca
12/02/2021 23:36

oppure tipo cose non sono riuscito a trovare il sito pero apre una pagina nuova

Andrea
01/04/2021 12:00

Grazie andrea per mantenere aggiornate le liste!