Projekt Pi-hole – blokowanie reklam, ale bez Pi-hole, za to w samym Mikrotiku

[Silas Mariusz]

Ostatni wpis na blogu @grzenio oraz temat na forum Projekt - Bezpieczne i wolne od reklam przeglądanie stron Web (Internet - Filtrowanie treści) [piszę...] wywołały spore zainteresowanie blokowaniem reklam za pomocą Pi-hole, który można uruchomić na QNAP.

Jak działa Pi-hole?
Pi-hole to nic innego jak blokowanie reklam w internecie, ale w przeciwieństwie do filtrowania treści (które jest bardziej skuteczne), blokuje on zapytania do domen, które odpowiedzialne są za linki do reklam. Jest to dość wystarczająca metoda, aby przeglądać współczesny internet dość swobodnie.

Pytanie czy warto?
Warto!

Ale w temacie blokowania reklam padły też słowa...

Sprzedaj Asusa, kup Mikrotika...

ta zakochaj sie w MT, potem cokolwiek innego jest ... po prostu za biedne

Co to ten Mikrotik?
Mikrotik - mamy na myśli routery, które pozwalają na odrobine skryptowania.

I tak właśnie ja też zrobiłem. Listy z Pi-hole przekonwertowałem w notatniku na format dla Mikrotik. A więc mam blokowanie reklam z Pi-Hole, bez Pi-hole na samym Mikrotiku.

@_Toem zadał mi pytanie jak często aktualizowana jest moja lista. Odp. do tej pory w ogóle
Ale dziś napisałem konwerter na kolanie w bashu. Możesz korzystać z moich list lub postawić mój konwerter na QNAP lub dowolnym innym Linuxie i uruchamiać go z harmonogramu cron. Zatem jeśli masz router Mikrotik, to możesz też filtrować reklamy w internecie bez potrzeby instalacji Pi-hole.


Co musisz zrobić w Mikrotik aby blokować reklamy w internecie?

1. Połącz sie z Mikrotik za pomocą Winbox
   
   
2. Uruchom terminal
   
   
3. Pobierz skrypt dodający inne skrypty oraz harmonogram:
   

   /tool fetch url="http://pool.qnapclub.pl/projects/tools/mikrotik-pihole-adlists/mikrotik_adblock_updater.rsc" mode=http;

   
   
4. Uruchom pobrany skrypt:
   

   /import mikrotik_adblock_updater.rsc

   
   
   
   
   
   
5. Przejdź do zakładki System > Scripts i z listy:
   
   • Zaznacz DownloadAdsBlockList i kliknij Run Script
     
     
   • Zaznacz ReplaceAdsBlockList i kliknij Run Script
     
     
6. Voila
   
   

To właściwie tyle, jeśli chcesz używać mojej listy.



Jeśli chcesz używać własne listy, albo postawić sobie updater samemu, to do udziału sieciowego Web na QNAP'ie postaw skrypt i uruchamiaj go z crontaba (o crontabie czytaj w innym temacie na forum)

cd /share/Public
wget http://pool.qnapclub.pl/projects/tools/mikrotik-pihole-adlists/adlst_updater.sh
chmod +x adlst_updater.sh
./adlst_updater.sh

Zostanie wygenerowany plik mikrotik_pihole_adlists.rsc, który nalezy aktualizować w Mikrotiku za pomocą innego skryptu:
(pamiętaj aby podstawić adres URL do skryptu na Twoim QNAP)

# Script which will download the drop list as a text file
/system script add name="DownloadAdsBlockList" source={
/tool fetch url="http://pool.qnapclub.pl/projects/tools/mikrotik-pihole-adlists/mikrotik_pihole_adlists.rsc" mode=http;
:log info "Downloaded mikrotik_pihole_adlists.rsc from pool.qnapclub.pl";
}

# Script which will Remove old AdsBlockList list and add new one
/system script add name="ReplaceAdsBlockList" source={
/ip dns static remove [find where ttl=600w]
/import file-name=mikrotik_pihole_adlists.rsc;
:log info "Removed old AdsBlockList records and imported new list";
}

# Schedule the download and application of the AdsBlockList list
/system scheduler add comment="Download AdsBlock list" interval=1d \
  name="DownloadAdsBlockListList" on-event=DownloadAdsBlockList \
  start-date=jan/01/1970 start-time=08:15:39
/system scheduler add comment="Apply AdsBlock List" interval=1d \
  name="InstallAdsBlockListList" on-event=ReplaceAdsBlockList \
  start-date=jan/01/1970 start-time=08:20:39

Co jest źródłem listy blokowanych adresów?
Przyjrzyjcie się na nagłówek mojego konwertera pi-hole:

#!/bin/sh

# exclude microsoft windows connectivity test domains
EXCL_WHITELIST="'(excl.domain.example|v.wpimg.pl|msftncsi.com|msftconnecttest.com|login.live.com|windowsupdate.com|displaycatalog.mp.microsoft.com|dl.delivery.mp.microsoft.com|sls.update.microsoft.com)'"
EXCL_DEFAULTS="'(localhost|localdomain|local|router|broadcast)'"

adlists_online=( "http://pool.qnapclub.pl/projects/tools/mikrotik-pihole-adlists/list_crack_adobe.txt" )
adlists_online+=( "http://pool.qnapclub.pl/projects/tools/mikrotik-pihole-adlists/list_crack_netsrang_xshell.txt" )
adlists_online+=( "http://pool.qnapclub.pl/projects/tools/mikrotik-pihole-adlists/list_microsoft_skype_ads.txt" )
adlists_online+=( "https://raw.githubusercontent.com/MajkiIT/polish-ads-filter/master/polish-pihole-filters/hostfile.txt" )
adlists_online+=( "https://raw.githubusercontent.com/xxcriticxx/.pl-host-file/master/hosts.txt" )
# add more external lists here line by line
#adlists_online+=( "http://..." )



# Get content from the lists
_script_file=mikrotik_pihole_adlists.rsc
rm -f $_script_file 2>/dev/null 1>/dev/null
rm -f "${_script_file}.tmp" 2>/dev/null 1>/dev/null
rm -f "${_script_file}.tmp.tmp" 2>/dev/null 1>/dev/null

for ((i=0; i<${#adlists_online[@]}; i++)); do
        if [ $((${#adlists_online[@]}-$i)) -gt 1 ]; then
                curl -sL ${adlists_online[$i]} >> ${_script_file}.tmp
        else
                curl -sL ${adlists_online[$i]} >> ${_script_file}.tmp
        fi
        if [ $? -ne 0 ]; then
                echo "ERROR! Can't get online adlists:"
                echo "       ${adlists_online[$i]}"
                exit 1
        fi
done


# Convert to unix format
dos2unix ${_script_file}.tmp

# Expand aliases
#shopt -s expand_aliases

LC_ALL=C


# Help aliases
alias excl_defaults="egrep -v $EXCL_DEFAULTS"
alias excl_whitelist="egrep -v $EXCL_WHITELIST"

alias incl_ipaddr="egrep -e '([0-9]|[0-9][0-9]|[0-9][0-9][0-9])\.([0-9]|[0-9][0-9]|[0-9][0-9][0-9])\.([0-9]|[0-9][0-9]|[0-9][0-9][0-9])\.([0-9]|[0-9][0-9]|[0-9][0-9][0-9]).*'"

alias strip_comment="sed 's/#.*//'"
alias remove_empty_lines="sed -r '/^\s*$/d'"

alias excl_regex_rules="grep -v '\\$'"
alias incl_regex_rules="grep '\\$'"

# real cmd rule: sed -e 's/\\/\\\\/g' -e 's/\$//g'
alias conv_expr_2_rsc_fmt="sed -e 's/\\\/\\\\\\\/g' -e 's/\\$//g'"

alias conv_2_alphanumeric="tr -cd '[:alnum:]._\-\n-'"
alias conv_2_alphanumexpr="tr -cd '[:alnum:].+*[]_\-\\\(|^$)\n-'"


# Help func
prnt_col_2()
{
        awk '{print $2}'
}


# Convert plain name rules
cat ${_script_file}.tmp         \
        | remove_empty_lines    \
        | excl_whitelist        \
        | excl_defaults         \
        | incl_ipaddr           \
        | prnt_col_2            \
        | strip_comment         \
        | excl_regex_rules      \
        | conv_2_alphanumeric   \
        | sed -e 's/^/\/ip dns static add address=127.0.0.1 name=/i'    \
        | sed -e 's/$/ ttl=600w/i'                                      \
        >> "${_script_file}.tmp.tmp"

# Convert regexp name rules
cat ${_script_file}.tmp         \
        | remove_empty_lines    \
        | excl_whitelist        \
        | excl_defaults         \
        | incl_ipaddr           \
        | prnt_col_2            \
        | strip_comment         \
        | incl_regex_rules      \
        | conv_2_alphanumexpr   \
        | conv_expr_2_rsc_fmt   \
        | sed -e 's/^/\/ip dns static add address=127.0.0.1 regexp="/i' \
        | sed -e 's/$/" ttl=600w/i'                                     \
        >> "${_script_file}.tmp.tmp"

sync

# Sort and remove doubles - keep unique lines
sort -u "${_script_file}.tmp.tmp" > "${_script_file}"

rm -f ${_script_file}.tmp.tmp 2>/dev/null 1>/dev/null
rm -f ${_script_file}.tmp 2>/dev/null 1>/dev/null

Jak zauważycie listy źródłowe dodaje się w nagłówku: adlists_online+:-( "http://..." )

Mam nadzieje, że pomogłem wielu

Pozdrówki dla fanów Mikrotików

PS. Logman na forum potrafi też informować po gadu-gadu działania na mikrotiku takie jak dzierżawa DHCP, niepoprawne logowanie do MT, etc. etc.

 

[Usunięty użytkownik pigers]

na debcu jest ten sam błąd
poprawienie shebang na basha,wypluwa coraz wiecej bledów :

aliasy sie nie wczytały u mnie

 

[MajkiIT]

na debcu jest ten sam błąd
poprawienie shebang na basha,wypluwa coraz wiecej bledów :

aliasy sie nie wczytały u mnie

Dałem . Dzięki
https://raw.githubusercontent.com/M...olish-mikrotik-filters/addHoleCertDomains.rsc
Dla potomnych ==> może kogoś zainteresuje Blokowanie domen z listy HoleCert na Mikrotik, Pihole - ...::: CertyficateIT :::...

 

[Silas Mariusz]

Dla potomnych ==> może kogoś zainteresuje Blokowanie domen z listy HoleCert na Mikrotik, Pihole - ...::: CertyficateIT :::...

Spoko ale zamien to na automat. Scheduler ktory robi fetch, remove starych i dodaje nowe
Po za tym masz bugi...
/ip dns static remove [/ip dns static find comment~”addHoleCertDomains”]
Twój cudzysłów nie jest standardowy.
Powinno być:
/ip dns static remove [/ip dns static find comment~"addHoleCertDomains"]

tak to widze finalnie...

# Script which will download the drop list as a text file
/system script add name="DownloadAddHoleCertDomains" source={
/tool fetch url="https://raw.githubusercontent.com/MajkiIT/polish-ads-filter/master/polish-mikrotik-filters/addHoleCertDomains.rsc" mode=http;
:log info "Downloaded addHoleCertDomains.rsc from MajkiIT";
}

# Script which will Remove old addHoleCertDomains list and add new one
/system script add name="ReplaceAddHoleCertDomains" source={
/ip dns static remove [/ip dns static find comment~"addHoleCertDomains"]
/import file-name=addHoleCertDomains.rsc;
:log info "Removed old addHoleCertDomains records and imported new list";
}

# Schedule the download and application of the addHoleCertDomains list
/system scheduler add comment="Download AdsBlock list" interval=1d \
  name="DownloadAddHoleCertDomainsList" on-event=DownloadAddHoleCertDomains \
  start-date=jan/01/1970 start-time=08:15:39
/system scheduler add comment="Apply AdsBlock List" interval=1d \
  name="InstallAddHoleCertDomainsList" on-event=ReplaceAddHoleCertDomains \
  start-date=jan/01/1970 start-time=08:20:39

Aaaa okay widze, robisz automat - sorry nie doczytalem

W oknie nowego skryptu podajemy nazwę: scriptUpdateHoleCertDomains, uprawnienia ftp, reboot, read, write, policy, test, password, sniff, sensitive . A w treści:

 

[Silas Mariusz]

@MajkiIT zapodałem na RB4011iGS+5HacQ2HnD liste z Twoimi listami all.
mikrotik-pihole-adlists.rb4011

RAM jest. CPU Load 0%.

 

[Usunięty użytkownik pigers]

1 GB ramu T-T.. zazdrość

a wgrałem tylko custome listy :/

 

[Silas Mariusz]

Dobre i to

 

[_Toem]

To może ktoś się pokusi i udostępni na zbudowanie list - tych najważniejszych wpisów - dla danach sprawdzonych modeli / dostępnej pamięci MT ?

 

[MajkiIT]

@MajkiIT zapodałem na RB4011iGS+5HacQ2HnD liste z Twoimi listami all.
mikrotik-pihole-adlists.rb4011

RAM jest. CPU Load 0%.

No to super ...

 

[Usunięty użytkownik pigers]

To może ktoś się pokusi i udostępni na zbudowanie list - tych najważniejszych wpisów

rozwiń myśl

 

[_Toem]

Z forum widać że testuje się różne listy w różnych konfiguracjach - a wiadomo że nie każdy MT jet najnowszy czy najsilniejszy - starsze rozwiązania mają słabsze możliwości czy chociażby zasoby pamięci. teoretycznie gdyby listy nawet te największe były by wgrane na medium np karta a nie do pamięci była by większa szansa , ale to ruch ze strony samego MT pewnie by musiał być.

Ja podglądam i korzystam również z waszych pomysłów ale jak wcześniej pisałem po zamuleniu testowego MT szukam rozwiązań typu najczęściej pojawiające się zapytanie. Dlatego wpiąłem w środowisko do psucia RB z pi-holem żeby wpisywać na listy do MT te zapytania które są na topie w sieci.
Do tego skrypt który pociąga sobie z aktualnej [ręcznej] list wpisy i aplikuje do wszystkich MT.

 

[MajkiIT]

Z forum widać że testuje się różne listy w różnych konfiguracjach - a wiadomo że nie każdy MT jet najnowszy czy najsilniejszy - starsze rozwiązania mają słabsze możliwości czy chociażby zasoby pamięci. teoretycznie gdyby listy nawet te największe były by wgrane na medium np karta a nie do pamięci była by większa szansa , ale to ruch ze strony samego MT pewnie by musiał być.

Tutaj potrzebny jest RAM, bo my wpisujemy stałe wpisy do DNS na MT. Każdy jest indywidualny, ale można coś wysupłać co najczęściej występuje.

 

[Usunięty użytkownik pigers]

Dlatego wpiąłem w środowisko do psucia RB z pi-holem żeby wpisywać na listy do MT te zapytania które są na topie w sieci.

Ma to wadę że lecą ci zapisy na flashu w MT

 

[_Toem]

W zasadzie masz rację ale ..."lecą ci zapisy na flashu w MT"
Czym się różni zapisz z

 /tool fetch url="https://raw.githubusercontent.com.../addHoleCertDomains.rsc" mode=http;

od zapisu z lokalnego ftp-a? skoro scheduler

interval=1d

i tak co dziennie zapisuje !? zobacz przedstawiony skrypt do MT, choć u siebie mam 7dni chyba ze duże zmiany to z reki

 

[Usunięty użytkownik pigers]

/tool fetch url="https://raw.githubusercontent.com.../addHoleCertDomains.rsc" mode=http;

i to zapisuje to do twojej pamięci nand

dlatego wole to zadanie oddelegować do malinki

 

[_Toem]

Słuszność jest Malinka się spełnia tam gdzie może a w innych przypadkach ? - wykorzystanie wyuczonej listy , wpis do MT ograniczy pazerność reklam i nie tylko

 

[evangelion69]

Dzień Dobry

Lista blokowanych domen z pierwszego wątku jest w miarę często aktualizowana?

 

[Usunięty użytkownik pigers]

Lista blokowanych domen z pierwszego wątku jest w miarę często aktualizowana?

Która ?

@Silas Mariusz - masz to w cronie wrzucone ?

 

[evangelion69]

Ta źródłowa (/projects/tools/mikrotik-pihole-adlists/mikrotik_pihole_adlists.rsc). Bo widzę że ostatnia wersja jest chyba z lutego. Router aktualizuje mi ją raz dziennie, ale czy źródło jest aktualizowane?

 

[Silas Mariusz]

Od jutra będzie aktualizowana. Nie dodałem do crona.

 

[evangelion69]

Możnaby dodać na początku linijkę ### z datą aktualizacji, lub jako pierwszą alfabetycznie domenę dodawać z datą w nazwie. Tak czy inaczej, super sprawa.