Projekt Pi-hole – blokowanie reklam, ale bez Pi-hole, za to w samym Mikrotiku

Discussion in 'Oh'Linux? Software hacking' started by Silas Mariusz, Feb 22, 2020.

Loading...
  1. Silas Mariusz
    Offline

    Silas Mariusz SysOp Administrator

    Joined:
    Apr 5, 2008
    Messages:
    7,815
    Local Time:
    12:06 AM
    Ratings:
    +1,669 / 34 / -7
    Followers:
    32
    QNAP:
    TS-x77
    Ethernet:
    1 GbE
    TS-x77 1 GbE
    Ostatni wpis na blogu @grzenio@grzenio oraz temat na forum Projekt - Bezpieczne i wolne od reklam przeglądanie stron Web (Internet - Filtrowanie treści) [piszę...] wywołały spore zainteresowanie blokowaniem reklam za pomocą Pi-hole, który można uruchomić na QNAP.

    Jak działa Pi-hole?
    Pi-hole to nic innego jak blokowanie reklam w internecie, ale w przeciwieństwie do filtrowania treści (które jest bardziej skuteczne), blokuje on zapytania do domen, które odpowiedzialne są za linki do reklam. Jest to dość wystarczająca metoda, aby przeglądać współczesny internet dość swobodnie.

    abrianchristner.io_content_images_2019_03_pihole_traditional_dns_1024x630.

    Pytanie czy warto?
    Warto!


    Ale w temacie blokowania reklam padły też słowa...


    Co to ten Mikrotik?
    Mikrotik - mamy na myśli routery, które pozwalają na odrobine skryptowania.

    I tak właśnie ja też zrobiłem. Listy z Pi-hole przekonwertowałem w notatniku na format dla Mikrotik. A więc mam blokowanie reklam z Pi-Hole, bez Pi-hole na samym Mikrotiku.

    @_Toem@_Toem zadał mi pytanie jak często aktualizowana jest moja lista. Odp. do tej pory w ogóle :)
    Ale dziś napisałem konwerter na kolanie w bashu. Możesz korzystać z moich list lub postawić mój konwerter na QNAP lub dowolnym innym Linuxie i uruchamiać go z harmonogramu cron. Zatem jeśli masz router Mikrotik, to możesz też filtrować reklamy w internecie bez potrzeby instalacji Pi-hole.


    Co musisz zrobić w Mikrotik aby blokować reklamy w internecie?
    1. Połącz sie z Mikrotik za pomocą Winbox

    2. Uruchom terminal

    3. Pobierz skrypt dodający inne skrypty oraz harmonogram:
      Code (Text):
      1. /tool fetch url="http://pool.qnapclub.pl/projects/tools/mikrotik-pihole-adlists/mikrotik_adblock_updater.rsc" mode=http;
    4. Uruchom pobrany skrypt:
      Code (Text):
      1. /import mikrotik_adblock_updater.rsc
      upload_2020-2-22_14-45-0.

    5. Przejdź do zakładki System > Scripts i z listy:
      • Zaznacz DownloadAdsBlockList i kliknij Run Script

      • Zaznacz ReplaceAdsBlockList i kliknij Run Script

    6. Voila
      upload_2020-2-22_15-0-46.

    To właściwie tyle, jeśli chcesz używać mojej listy.



    Jeśli chcesz używać własne listy, albo postawić sobie updater samemu, to do udziału sieciowego Web na QNAP'ie postaw skrypt i uruchamiaj go z crontaba (o crontabie czytaj w innym temacie na forum)
    Code (Bash):
    1. cd /share/Public
    2. wget http://pool.qnapclub.pl/projects/tools/mikrotik-pihole-adlists/adlst_updater.sh
    3. chmod +x adlst_updater.sh
    4. ./adlst_updater.sh
    Zostanie wygenerowany plik mikrotik_pihole_adlists.rsc, który nalezy aktualizować w Mikrotiku za pomocą innego skryptu:
    (pamiętaj aby podstawić adres URL do skryptu na Twoim QNAP)
    Code (Text):
    1. # Script which will download the drop list as a text file
    2. /system script add name="DownloadAdsBlockList" source={
    3. /tool fetch url="http://pool.qnapclub.pl/projects/tools/mikrotik-pihole-adlists/mikrotik_pihole_adlists.rsc" mode=http;
    4. :log info "Downloaded mikrotik_pihole_adlists.rsc from pool.qnapclub.pl";
    5. }
    6.  
    7. # Script which will Remove old AdsBlockList list and add new one
    8. /system script add name="ReplaceAdsBlockList" source={
    9. /ip dns static remove [find where ttl=600w]
    10. /import file-name=mikrotik_pihole_adlists.rsc;
    11. :log info "Removed old AdsBlockList records and imported new list";
    12. }
    13.  
    14. # Schedule the download and application of the AdsBlockList list
    15. /system scheduler add comment="Download AdsBlock list" interval=1d \
    16.   name="DownloadAdsBlockListList" on-event=DownloadAdsBlockList \
    17.   start-date=jan/01/1970 start-time=08:15:39
    18. /system scheduler add comment="Apply AdsBlock List" interval=1d \
    19.   name="InstallAdsBlockListList" on-event=ReplaceAdsBlockList \
    20.   start-date=jan/01/1970 start-time=08:20:39


    Co jest źródłem listy blokowanych adresów?
    Przyjrzyjcie się na nagłówek mojego konwertera pi-hole:
    Jak zauważycie listy źródłowe dodaje się w nagłówku: adlists_online+:-( "http://..." )

    Mam nadzieje, że pomogłem wielu ;)

    Pozdrówki dla fanów Mikrotików :)

    PS. Logman na forum potrafi też informować po gadu-gadu działania na mikrotiku takie jak dzierżawa DHCP, niepoprawne logowanie do MT, etc. etc.
     
    • Lubię to! Lubię to! x 1
    • Wygrany! Wygrany! x 1
  2. pigers
    Online

    pigers [PowerUser] - nie wiem i nie znam się Administrator

    Joined:
    Jul 26, 2013
    Messages:
    9,355
    Local Time:
    12:06 AM
    Ratings:
    +1,381 / 36 / -15
    Followers:
    5
    QNAP:
    TS-453 PRO
    Ethernet:
    1 GbE
    TS-453 PRO 1 GbE
    Ważna informacja :
    jeśli coś zostanie zablokowane - to bedzie to widoczne jako brak możliwości załadowania strony (dla komputerów)

    upload_2020-2-22_15-29-18.
     
    • Lubię to! Lubię to! x 1
  3. MajkiIT
    Offline

    MajkiIT System Engineer Q Specialist

    Joined:
    Mar 2, 2020
    Messages:
    17
    Local Time:
    12:06 AM
    Ratings:
    +3 / 0 / -0
    Followers:
    0
    QNAP:
    TS-210
    Ethernet:
    802.11ad
    TS-210 802.11ad
    @Silas Mariusz Dziękuję, że dodałeś moje filtry, ale zastanawiam się czy nie lepsze by było użycie filtrów
    https://raw.githubusercontent.com/MajkiIT/polish-ads-filter/master/polish-pihole-filters/all_ads_filters.txt bo zawierają wszystkie listy jakie przerabiam, czyli takie all in one.

    Więcej filtrów jest na stronie ==>https://github.com/MajkiIT/polish-ads-filter/tree/master/polish-pihole-filters
     
    • Lubię to! Lubię to! x 1
  4. Silas Mariusz
    Offline

    Silas Mariusz SysOp Administrator

    Joined:
    Apr 5, 2008
    Messages:
    7,815
    Local Time:
    12:06 AM
    Ratings:
    +1,669 / 34 / -7
    Followers:
    32
    QNAP:
    TS-x77
    Ethernet:
    1 GbE
    TS-x77 1 GbE
    Bardzo dziękuje za aktualizacje.
    Ale takiej ilości myśle, że MT na bank nie przemieli.
    index · nas.devspark.pl
     
  5. MajkiIT
    Offline

    MajkiIT System Engineer Q Specialist

    Joined:
    Mar 2, 2020
    Messages:
    17
    Local Time:
    12:06 AM
    Ratings:
    +3 / 0 / -0
    Followers:
    0
    QNAP:
    TS-210
    Ethernet:
    802.11ad
    TS-210 802.11ad
    No właśnie sam się zastanawiam nad tym, dlatego sprawdzę u siebie wieczorem i dam znać.
     
  6. Silas Mariusz
    Offline

    Silas Mariusz SysOp Administrator

    Joined:
    Apr 5, 2008
    Messages:
    7,815
    Local Time:
    12:06 AM
    Ratings:
    +1,669 / 34 / -7
    Followers:
    32
    QNAP:
    TS-x77
    Ethernet:
    1 GbE
    TS-x77 1 GbE
    Sprawdzilem na hAP ac ... braklo pamieci. :p
     
  7. MajkiIT
    Offline

    MajkiIT System Engineer Q Specialist

    Joined:
    Mar 2, 2020
    Messages:
    17
    Local Time:
    12:06 AM
    Ratings:
    +3 / 0 / -0
    Followers:
    0
    QNAP:
    TS-210
    Ethernet:
    802.11ad
    TS-210 802.11ad
    Na CCR1009-7G-1C przeszło :p , ale tak jak mówisz to sztuka dla sztuki. Można by bardziej użyć tego do blokowania podejrzanych stron lub dodawać wybrane listy.
     
  8. Silas Mariusz
    Offline

    Silas Mariusz SysOp Administrator

    Joined:
    Apr 5, 2008
    Messages:
    7,815
    Local Time:
    12:06 AM
    Ratings:
    +1,669 / 34 / -7
    Followers:
    32
    QNAP:
    TS-x77
    Ethernet:
    1 GbE
    TS-x77 1 GbE
    Ja używam Twojej podstawowej listy - za którą bardzo dziękuje, i powiem Ci na 100% duzo duzo przyjemniej się przegląda internet. Jeszcze tylko jakbym wyciął reklamy w aplikacjach na telefonach to byłoby zaje... bi... :p
     
  9. MajkiIT
    Offline

    MajkiIT System Engineer Q Specialist

    Joined:
    Mar 2, 2020
    Messages:
    17
    Local Time:
    12:06 AM
    Ratings:
    +3 / 0 / -0
    Followers:
    0
    QNAP:
    TS-210
    Ethernet:
    802.11ad
    TS-210 802.11ad
    No to się cieszę :D . W tych listach staram się spełnić potrzeby jak największej ilości osób. Jedna osoba chce filtracji wyskakujących okienek na stronach przed filmami a ktoś inny tak jak ty mniej reklam na polskich stronach a kolejna aby linki do trackingu były wycięte.

    A o jakiś konkretnie apkach myślisz? Tak może będzie łatwiej :D
     
  10. z-ka
    Offline

    z-ka Moderator Contributor

    Joined:
    Feb 5, 2009
    Messages:
    273
    Local Time:
    12:06 AM
    Ratings:
    +19 / 1 / -0
    Followers:
    1
    QNAP:
    TS-x53Be
    Ethernet:
    1 GbE
    TS-x53Be 1 GbE
    Ja wiem, ze temat jest aby postawic adblockera na MT, ale czy faktycznie nie jest to sztuka dla sztuki tym bardziej ze postawienie pihole na dockerze rozwiazuje wszystkie problemy o jakich tutaj mowa?

    BTW. MajkiIT robisz wspaniala robote. Dzieki!
     
  11. Silas Mariusz
    Offline

    Silas Mariusz SysOp Administrator

    Joined:
    Apr 5, 2008
    Messages:
    7,815
    Local Time:
    12:06 AM
    Ratings:
    +1,669 / 34 / -7
    Followers:
    32
    QNAP:
    TS-x77
    Ethernet:
    1 GbE
    TS-x77 1 GbE
    Zaskoczę Was bo ta podstawowa na Mt działa naprawdę dobrze.
     
  12. MajkiIT
    Offline

    MajkiIT System Engineer Q Specialist

    Joined:
    Mar 2, 2020
    Messages:
    17
    Local Time:
    12:06 AM
    Ratings:
    +3 / 0 / -0
    Followers:
    0
    QNAP:
    TS-210
    Ethernet:
    802.11ad
    TS-210 802.11ad
    @z-ka@z-ka Ale chwała Wam, że kombinujecie i próbujecie coś zrobić. Nie krytykuje a doceniam starania i podziwiam. Im będzie więcej możliwości aby blokować reklamy to tym lepiej ktoś się zdecyduje. Dla mnie bomba i super pomysł. Dzięki za docenienie i cieszę się, że to co robię i reszta zespołu Wam się przydaje.
    --- Połączono posty, Mar 2, 2020, Data oryginalnego postu: Mar 2, 2020 ---
    No to dobrze ... jeśli to spełnia to twoje potrzeby to super a na pewno komuś też będzie to pasować.
     
  13. Silas Mariusz
    Offline

    Silas Mariusz SysOp Administrator

    Joined:
    Apr 5, 2008
    Messages:
    7,815
    Local Time:
    12:06 AM
    Ratings:
    +1,669 / 34 / -7
    Followers:
    32
    QNAP:
    TS-x77
    Ethernet:
    1 GbE
    TS-x77 1 GbE
    Twój CCR ma 2GB RAM tak?
    Nie wiesz ile RAM zostało po wgraniu tej listy?
    index · QNAP Club Repository Pool: pool.qnapclub.pl
     
  14. pigers
    Online

    pigers [PowerUser] - nie wiem i nie znam się Administrator

    Joined:
    Jul 26, 2013
    Messages:
    9,355
    Local Time:
    12:06 AM
    Ratings:
    +1,381 / 36 / -15
    Followers:
    5
    QNAP:
    TS-453 PRO
    Ethernet:
    1 GbE
    TS-453 PRO 1 GbE
    mt hp ac2 ma 128 MB ramu - więc duża lista zapycha ram.
     
  15. _Toem
    Online

    _Toem Entry Technician Q Associate

    Joined:
    Dec 7, 2010
    Messages:
    79
    Local Time:
    11:06 PM
    Ratings:
    +9 / 0 / -0
    Followers:
    0
    QNAP:
    TS-410
    Ethernet:
    null
    TS-410 null
    Po wgraniu list (MT-ki się prztykały) rozpoczęły się poszukiwania co by tu zepsuć i tak testując- listy w MT zapisane jako AddressList -(wpisy w postaci nazwy) mały skrypt i wpisy do DNS- tylko te które zostały użyte w sieci. a tu dla ciekawych https://mikrotikforum.pl/viewtopic.php?f=1&t=119115 linka do problemu ;) ale to nie na tym forum, w końcu tu jest Qnap a tam MT
     
  16. Silas Mariusz
    Offline

    Silas Mariusz SysOp Administrator

    Joined:
    Apr 5, 2008
    Messages:
    7,815
    Local Time:
    12:06 AM
    Ratings:
    +1,669 / 34 / -7
    Followers:
    32
    QNAP:
    TS-x77
    Ethernet:
    1 GbE
    TS-x77 1 GbE
    Twoje zalozenie moze byc bledne i to bardzo. Co jesli wytniesz caly serwer, na ktorym sa tez inne strony nie tylko reklamy.
    Pamietaj ze jeden IP (hosting) moze miec tysiace domen. Jesli wytniesz jedna domene-czyli caly IP to stracisz dostep do innych zasobow serwera.
     
  17. pigers
    Online

    pigers [PowerUser] - nie wiem i nie znam się Administrator

    Joined:
    Jul 26, 2013
    Messages:
    9,355
    Local Time:
    12:06 AM
    Ratings:
    +1,381 / 36 / -15
    Followers:
    5
    QNAP:
    TS-453 PRO
    Ethernet:
    1 GbE
    TS-453 PRO 1 GbE
    biedne CDNy - keycdn/amazon/cloudflare/ovh/l3 ... wycięte
     
  18. _Toem
    Online

    _Toem Entry Technician Q Associate

    Joined:
    Dec 7, 2010
    Messages:
    79
    Local Time:
    11:06 PM
    Ratings:
    +9 / 0 / -0
    Followers:
    0
    QNAP:
    TS-410
    Ethernet:
    null
    TS-410 null
    Hm
    skoro listy są po nazwie ..to wpisując do DNS i tak będzie blokowane wszystko co pod nią się kryje.
     
  19. Silas Mariusz
    Offline

    Silas Mariusz SysOp Administrator

    Joined:
    Apr 5, 2008
    Messages:
    7,815
    Local Time:
    12:06 AM
    Ratings:
    +1,669 / 34 / -7
    Followers:
    32
    QNAP:
    TS-x77
    Ethernet:
    1 GbE
    TS-x77 1 GbE
    bedzie blokowalo tylko domene a nie caly hosting.
     
  20. _Toem
    Online

    _Toem Entry Technician Q Associate

    Joined:
    Dec 7, 2010
    Messages:
    79
    Local Time:
    11:06 PM
    Ratings:
    +9 / 0 / -0
    Followers:
    0
    QNAP:
    TS-410
    Ethernet:
    null
    TS-410 null
    Czekajcie bo się pogubiłem !??
    jeżeli z listy mamy np:
    /ip dns static add address=127.0.0.1 name=ads.bluelithium.com ttl=600w

    a zamiast niej robiąc wpis
    /ip firewall address-list add address="ads.bluelithium.com" comment="ads.bluelithium.com" list=DNStatic
    dostaje dodatkowo dynamicznie -informacyjnie
    87.248.118.22 - ads.bluelithium.com
    87.248.118.23 - ads.bluelithium.com
    to i tak blokuję ads.bluelithium.com

    No dobra co kombinujesz [pewnie można łatwiej]- a już - próbuje nauczyć MT-ka
    Sprawdzam obecny IP czy jest na liście DNStatic (ważne 7dni) - a jeżeli jest to go cap do listy Temp i co dalej skrypt przegląda sobie listę Temp po wpisach czyli IP i dopasowuje do niego nazwę zapisana w liście DNStatic. Ooo jest to ciach wpis statyczny add address=127.0.0.1 name=nazwa-od-IP ttl=100w a przy okazji odchudzam stosowne AdresListy. Co to dało - a tyle w danym okresie (np 7 dni) jeżeli nie skorzystano to wpis znika, a gdyby skorzystano to jest już w dns-ie
    jeżeli lista wzorcowa ma 6000 wpisów to DNS ma raptem 80 (na tą chwilę) -bo któryś user miał chęć zobaczyć przysłowiową "reklamę"
     

Users found this page by searching for:

  1. https://forum.qnap.net.pl/threads/pi-hole-%E2%80%93-blokowanie-reklam-ale-bez-pi-hole-za-to-w-samym-mikrotiku.27017/