Sicuramente conoscete già il mio forte sostengo al progetto Pi-hole, ne ho ampiamente parlato sul mio blog e su Twitter. Un progetto opensource installabile facilmente su Raspberry per filtrare contenuti indesiderati a livello di networking tramite il blocco delle richieste DNS.
TL;DR – Le blocklist che uso sono:
ADS and Privacy
https://adaway.org/hosts.txt
https://v.firebog.net/hosts/AdguardDNS.txt
ADS and Privacy more aggressive (they can block regular traffic)
https://v.firebog.net/hosts/Easylist.txt
Malware
https://urlhaus.abuse.ch/downloads/hostfile/
Phishing
https://phishing.army/download/phishing_army_blocklist_extended.txt
Dopo i primi problemi nella navigazione quotidiana (mancato caricamento di immagini, video o script javascript) causati dalle Block List predefinite di Pi-Hole ho iniziato a documentarmi andando alla ricerca di nuove liste.
Le Block List predefinite di Pi-hole sono:
https://raw.githubusercontent.com/StevenBlack/hosts/master/hosts
https://mirror1.malwaredomains.com/files/justdomains
https://s3.amazonaws.com/lists.disconnect.me/simple_tracking.txt
https://s3.amazonaws.com/lists.disconnect.me/simple_ad.txt
https://hosts-file.net/ad_servers.txt
http://sysctl.org/cameleon/hosts
Se le analizziamo singolarmente troviamo già qualche dettaglio interessante:
- Hosts: è un progetto di Steven Black che raggruppa diverse Block List (Awdware, Malware, Fraud, Scam, Spam, Tracking e Cryptomining) eliminando falsi positivi e costantemente aggiornate. Eventualmente offre anche Block List integrative come Social, Porn, Fake News e Gambling;
- Malwaredomains: aggiornate giornalmente con i principali dominii sfruttanti per diffondere malware;
- Lists.disconnect.me: L’ultimo aggiornamento risale al 2016 e non è noto chi le gestisca;
- Hosts-file: Lista aggiornata costantemente ma i falsi positivi sono all’ordine del giorno probabilmente non vi è alcuna verifica dei dominii riportati, molto spesso inoltre contiene duplicati della lista di Steven Black;
- Sysctl.org: Aggiornate a marzo 2018 e anche in questo caso i dati riportati risultano spesso analoghi alla lista di Steven Black.
Così ho deciso di eliminare le ultime tre liste per i motivi sopra esposti, lasciando solo le prime tre citate. La situazione è migliorata decisamente, non notavo più problemi e tutto sembrava risolto.
Però la curiosità è bastarda e ho iniziato a cercare altre Block List online, sono incappato in una discussione su Reddit in cui vengono messe in evidenza alcune Block List con relativi commenti.
Inizialmente ho provato il progetto Tspprs, caricando le liste base (Main, Ads, Malware, Fraud, Scam, Spam, Tracking e Crypto) ho avuto un colpo al cuore quando il Raspberry Pi dopo 120gg di uptime è andato in blocco costringendomi ad un reboot forzato. Al riavvio ho scoperto che la lista dei dominii bloccati era passata da circa 130mila a 3milioni! ? La cosa mi puzzava tremendamente, dopo 10 minuti di navigazione il risultato è stato il seguente:
- gstatic.com era contenuto nella lista dei Malware più volte (oltre ovviamente ad essere nella corretta lista Ads);
- *.amazonaws.com era contenuto nella lista dei Malware;
- Tutti gli shorturl (bit.ly, bit.do, ecc) erano bloccati;
- ecc, ecc.
Praticamente non riuscivo più ad usare Internet, non ho proseguito la navigazione e sono tornato alle precedenti Block List. Ho capito che il progetto conta a fare dei numeri ma con pochissima qualità.
Successivamente ho scoperto il progetto Firebog, ovvero un fantastico raccoglitore di Block List gratuite. Bene ma ora sono a punto e capo, se le carico tutte rischio di fare la fine di Tspprs, ovvero ottenere una Block List enorme che esponenzialmente mi andrà a creare dei falsi positivi.
Ho quindi deciso di fare dei test tramite il plugin Firefox Lightbeam per identificare lacune e pregi delle diverse Block List citate su Firebog man mano che le provavo.
Hosts di Steven Black: probabilmente la Block List di più successo e storica, raccoglie in un unico file diverse tipologie di dominii (Ads, Malware, Phishing, Scam, ecc) e questa grande varietà di dati porta spesso a dei falsi positivi. Ho preferito eliminarla dopo un anno di prove.
Squidblacklist è un società che offre Block List gratuite (Ads, Facebook e Malicious) e a pagamento (Clickbait, Porn, Proxies, Tor, ecc ecc) ma che mi sembrano veramente ben realizzate, addirittura in diversi formati (Standard, compatibili con Squid o RouterOS). Dopo un anno di utilizzo non credo siano fondamentali.
anudeepND blacklist: credo che attualmente sia la migliore Block List per quanto riguarda la categoria Ads e Privacy in un anno di utilizzo mai un falso positivo o una pubblicità visualizzata.
Phishing.army: Per il contrasto del Phishing uso la Block List che personalmente genero.
Malware: per il contrasto dei malware sto provando diverse Block List e ci tengo a precisare che è ancora la categoria dove ho più lacune, noto spesso dei falsi positivi. Quindi usate le liste indicate con cautela.
White List
Voglio inoltre segnalarvi un interessante progetto di Anudeep che permette di aggiungere a PiHole una White List (di default è possibile solo l’inserimento manuale uno ad uno) tramite una lista da lui prestabilita e in costante aggiornamento.
Il suo progetto è disponibile su GitHub dove trovate anche le informazioni per l’installazione.
Porn
Se volete bloccare i siti porno potete usare la Block List estesa di Steven Black oppure quella di Chad Mayfield.
Donate e Tricks Interessanti
Ci tengo a ricordarvi di sostenere il progetto e anche le diverse Block List menzionate perché se iniziate ad usarlo difficilmente ne farete a meno e quindi una donazione agli sviluppatori è d’obbligo.
Infine per chi è alla ricerca di qualche progetto più corposo da fare con Pi-hole vi segnalo due articoli:
- Configurare un Pi-hole portale di Luigi, in cui vi spiega passo per passo come si è costruito il suo Portable Pi-hole;
- VPPN: Virtual Private “Pi-Holed” Network di Gabry, in cui vi spiega come anche da smartphone in rete 4G lui permane collegato e protetto da Pi-hole grazie alla sua VPN.
AGGIORNAMENTI
- Articolo aggiornato il 27 Dicembre 2018
- Articolo aggiornato il 16 Marzo 2019
- Articolo aggiornato il 18 Febbraio 2020
- Articolo aggiornato il 22 Marzo 2020
- Articolo aggiornato il 15 Maggio 2020 aggiungendo la BlockList di Adguard (Thanks jcritical for the tip)
- Articolo aggiornato il 16 Luglio 2020 aggiungendo la Blocklist di Adaway e creata una separazione tra liste più e meno aggressive sul ADS/Tracking.
- Articolo aggiornato il 25 Ottobre 2020 sostitutendo la NoCoin Filter List di hoshsadiq con quella di zerodot1
- Articolo aggiornato il 12 Febbrario 2021, rimossa la blocklist di malwaredomains
- Articolo aggiornato il 29 Ottobre 2021, rimossa la lista del Cert-PA in quanto non più diffusa.
- Articolo aggiornato il 20 Settembre 2022, update delle liste disponibili.
- Articolo aggiornato il 2 Luglio 2024, rimuovendo “filtri-dns.ga”.
Segnalo le liste di Energized Protection, attive di default in Blockada, il miglior adblock per Android!
https://github.com/EnergizedProtection/block
Grazie 😉 non conoscevo!
ciao avevo letto con interesse il tuo articolo di conf per la pi-hole, e leggo ora anche questo.. solo che non mi é chiaro il comportamento della stessa … mi spiego attualmente uso ad-block plus e noscript per filtrare le pubblicità e altre menate .. lo svantaggio oramai che molti siti facendo un check sulla presenza di questi software bloccano ovviamente la visualizzazione stessa del sito equindi di volta in volta sono costretto alla disabilitazione momentanea , a quanto mi é dato intendere la PI-Hole invece filtra a priori determinati domini..ma la domanda é viene intercettata dalle linee di codice… Leggi il resto »
Ciao, la risposta è “ni” poiché dipende dal codice JavaScript che effettua la verifica. In alcuni casi l’allert non viene mostrato ed in altri sì. Un AdBlocker sul Browser rimuove il contenuto pubblicitario eliminando la parte del codice caricata, mentre PiHole ne impedisce l’effettivo caricamento poiché interrompe la comunicazione con il server che “contiene” la pubblicità. Usualmente uno script di allert verifica la presenza del codice, con un AdBlocker sul Browser tale codice viene rimosso e quindi genera l’avviso con PiHole il codice persiste nella pagina ma non essendoci comunicazione con l’host non vedrai il banner pubblicitario. Se vuoi darmi… Leggi il resto »
grazie della risposta infatti il mio dubbio era sul metodo utilizzato che mi hai spiegato ora …appena ho tempo monto una rasp di test ..nel frattempo androidworld punto it.. questo sito ad esempio mostra una pagina di avvertimento bloccando la visualizzazione dello stesso….ho messo il primo che ricordo…
sulla protezione Lan sono daccordo ..é uno dei motivi di un fltraggio a monte che pensavo..
saluti
Ecco come lo vedo io e senza alcun avviso!
Grazie molto interessante …proveremo …
Saluti
Ciao! Grazie per la condivisione della tua esperienza con pihole. Sono diventato addicted anche io, tant’e’ che ne ho messi 2 in rete, cosi’ da evitare uscite sul dns secondario non gradite e ho preso spunto dalla tua selezione di liste per aggiornare le mie.
? bene, mi fa piacere vedere nuovi utilizzatori di PiHole!
aggiunto la tua lista, grazie!
sembrerebbe non piu’ disponibile…
Grazie mille per la segnalazione, non me ne ero accorto! 🙁 ora bisogna cercare un sostituto!
un utente ha salvato una copia poco prima della rimozione:
https://gitlab.com/gerowen/old-malware-domains-ad-list
saluti,
Grazie io ho richiesto se la lista è stata dismessa ufficialmente o è solo un disservizio temporaneo. Vediamo cosa mi rispondono…
Ciao Andrea, grazie mille per questa pagina! Mi sapresti dire se intendi tenerla aggiornata? Così ogni tanto ci butto un’occhio! E poi un’altra domanda: le liste che usi filtrano anche domini italiani noti come i siti della galassia .today.it, repubblica.it, corriere.it, etc.? Grazie!
Ciao,
conto di tenerla aggiornata (ho già fatto alcune variazioni rispetto alla prima versione dell’articolo).
Sì, filtrano tranquillamente anche i contenuti Italiani.
Mi sembra di capire che Zeustracker non è più mantenuta
Si, confermo! Conto di pubblicare qualche novità a breve…sto provando altre BlockList! Appena finito i test pubblico tutto!
ciao e grazie come al solito. una info. quindi le nuove blocklist sostituiscono Le Block List predefinite di Pi-hole ? grazie
Ciao Mario,
si ho totalmente sostituto quelle di default con l’elenco proposto.
Ora ad essere sinceri uso NextDNS (trovi un altro articolo a tal proposito) ma uso sempre le medesime blocklist.
ciao. ma se utilizzo il mio pi1 anche per fare da vpn server.. devo cmq acquistare 2 servizi.. ma ho un dubbio … a livello di prestazioni sembra che anche un pi0 possa fare bene… un pi2 o pi3 addirittura sprecato per uso pi hole confermi?
ho provveduto a sostituire quelli di default… grazie Andrea per ogni suggerimento sempre ben accetto
volevo allegare anche un file che ho aggiunto al pihole che mi scarica una whitelist . inoltre ho un altro file che fa da update.sh che volevo condividere con te. mi fai sapere come posso? (se ti va)grazie
ciao ho messo le tue liste ma mi escono ancora dei pop up si possono levare?
Luca, bisogna che mi descrivi quali pop-up vedi e su che siti…così non riesco ad aiutarti!
apre anche pagine vuote ma spesso
oppure tipo cose non sono riuscito a trovare il sito pero apre una pagina nuova
Grazie andrea per mantenere aggiornate le liste!
mi aggrego ai ringraziamenti!
io ho due bimbi piccoli…. fondamentale per me , grazie ancora