Jump to content
Калькуляторы
Блокировка веб ресурса  

538 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

у меня было дело в нагрузке на nfq. хоть по процу процессы и не упирались.. но похоже процесс не успевал за потоком сознания.. покажите правило в таблесах ?

 

Много трафика попадает на фильтр? У меня редко до 20% доходит на виртуалке с одним cpu.

Если по какой-то причине nfqfilter не будет успевать обрабатывать пакеты, то в сислоге будет соответствующая запись от ядра. Здесь в разделе Misc есть описание как посмотреть что происходит с очередью и были ли переполнения и дропы:

nfnetlink_queue has a dedicated entry in /proc: /proc/net/netfilter/nfnetlink_queue

cat /proc/net/netfilter/nfnetlink_queue 
  40  23948     0 2 65531     0     0      106  1

The content is the following:

   queue number
   peer portid: good chance it is process ID of software listening to the queue
   queue total: current number of packets waiting in the queue
   copy mode: 0 and 1 only message only provide meta data. If 2 message provide a part of packet of size copy range.
   copy range: length of packet data to put in message
   queue dropped: number of packets dropped because queue was full
   user dropped: number of packets dropped because netlink message could not be sent to userspace. If this counter is not zero, try to increase netlink buffer size. On the application side, you will see gap in packet id if netlink message are lost.
   id sequence: packet id of last packet
   1

Share this post


Link to post
Share on other sites

у меня на небольшом даже трафике user dropped..

%Cpu0  :  0.9 us,  1.9 sy,  0.0 ni, 95.8 id,  0.0 wa,  0.0 hi,  1.4 si,  0.0 st
%Cpu1  :  0.4 us,  0.4 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu2  :  0.4 us,  0.4 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu3  :  0.3 us,  0.3 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

root     14326  0.1  4.6 346248 88000 ?        Ssl  19:20   0:16 /usr/local/bin/nfqfilter1 --daemon --pidfile=/var/run/nfqfilter4.pid -c /opt/nfqfilter/nfqfilter4.ini
root     14995  6.7  4.6 346340 87840 ?        Ssl  21:03   2:40 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter.pid -c /opt/nfqfilter/nfqfilter.ini
root     14999  5.9  4.6 346340 87840 ?        Ssl  21:03   2:21 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter1.pid -c /opt/nfqfilter/nfqfilter1.ini
root     15003  4.8  4.6 346336 87836 ?        Ssl  21:03   1:55 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter2.pid -c /opt/nfqfilter/nfqfilter2.ini
root     15008  7.6  4.6 346336 87836 ?        Ssl  21:03   3:02 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter3.pid -c /opt/nfqfilter/nfqfilter3.ini
root     15012  0.4  4.6 346336 87840 ?        Ssl  21:03   0:10 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter9.pid -c /opt/nfqfilter/nfqfilter9.ini

cat /proc/net/netfilter/nfnetlink_queue
   0  14995     0 2 65531     0     0  3307661  1
   1  14999     0 2 65531     0     0  2649857  1
   2  15003     0 2 65531     0     0  2006770  1
   3  15008     0 2 65531     0     0  4012015  1
   4  14326     0 2 65531     0     0    45923  1
   9  15012     0 2 65531     0     0    77457  1

 

и числа растут.. причем в 4 очереди сейчас только 1 адрес с которого работает проверялка ркн в 20 (!) потоков (в дистрибе там 100).

Edited by zhenya`

Share this post


Link to post
Share on other sites

у меня на небольшом даже трафике user dropped..

%Cpu0  :  0.9 us,  1.9 sy,  0.0 ni, 95.8 id,  0.0 wa,  0.0 hi,  1.4 si,  0.0 st
%Cpu1  :  0.4 us,  0.4 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu2  :  0.4 us,  0.4 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu3  :  0.3 us,  0.3 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

root     14326  0.1  4.6 346248 88000 ?        Ssl  19:20   0:16 /usr/local/bin/nfqfilter1 --daemon --pidfile=/var/run/nfqfilter4.pid -c /opt/nfqfilter/nfqfilter4.ini
root     14995  6.7  4.6 346340 87840 ?        Ssl  21:03   2:40 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter.pid -c /opt/nfqfilter/nfqfilter.ini
root     14999  5.9  4.6 346340 87840 ?        Ssl  21:03   2:21 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter1.pid -c /opt/nfqfilter/nfqfilter1.ini
root     15003  4.8  4.6 346336 87836 ?        Ssl  21:03   1:55 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter2.pid -c /opt/nfqfilter/nfqfilter2.ini
root     15008  7.6  4.6 346336 87836 ?        Ssl  21:03   3:02 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter3.pid -c /opt/nfqfilter/nfqfilter3.ini
root     15012  0.4  4.6 346336 87840 ?        Ssl  21:03   0:10 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter9.pid -c /opt/nfqfilter/nfqfilter9.ini

cat /proc/net/netfilter/nfnetlink_queue
   0  14995     0 2 65531     0     0  3307661  1
   1  14999     0 2 65531     0     0  2649857  1
   2  15003     0 2 65531     0     0  2006770  1
   3  15008     0 2 65531     0     0  4012015  1
   4  14326     0 2 65531     0     0    45923  1
   9  15012     0 2 65531     0     0    77457  1

 

и числа растут.. причем в 4 очереди сейчас только 1 адрес с которого работает проверялка ркн в 20 (!) потоков (в дистрибе там 100).

 

Я не вижу user dropped - у вас все по нулям.

Share this post


Link to post
Share on other sites

а блин.. индексы спутал :( сорри. сейчас то все корректно работает. я выкинул лишний трафик с nfq.

Share this post


Link to post
Share on other sites

Версия nfqfilter последняя (я вчера выкладывал обновление)?

обновил, пересобрался nDPI, теперь всё ок, спасибо! =)

 

только вот прога которой проверяет РКН кричит "доступен" где в домене присутствуют заглавные буквы, но nfqfilter их блокирует, это уже баг проги

Edited by yKpon

Share this post


Link to post
Share on other sites

yKpon, приветствую, где взять прогу, которой проверяет РКН ?

 

max1976, приветствую. Покажи пожалуйста, что у тебя в дебаге nfqfilter при открытии например http://www.originals-diploms.com/ ?

Edited by Zarin

Share this post


Link to post
Share on other sites

уже лучше

Всего доступно URL: 95 (0,49%). Реестровых записей: 79 (0,44%)

авторские права 30. Реестровых записей: 14 (17,72%)

азартные игры 1. Реестровых записей: 1 (1,27%)

детская порнография 2. Реестровых записей: 2 (2,53%)

наркотические средства 9. Реестровых записей: 9 (11,39%)

прочее 43. Реестровых записей: 43 (54,43%)

суицид 1. Реестровых записей: 1 (1,27%)

экстремизм 9. Реестровых записей: 9 (11,39%)

 

http://al-wayi.blogspot.ru/ есть в реестре, но почему-то не блокируется

Share this post


Link to post
Share on other sites

Всем доброго. Используем SCE2000, так и не решили как блокировать https трафик. Вариантов вижу три:

 

1) Использовать nfqfilter, загонять на него только https трафик. Можно не весь, а только IP тех записей реестра, которые https. Блокировать будет домены, а не урлы, правильно? Интересно, заглушка будет работать, если поместить её на сайте с https?

2) Блокировать на маршрутизаторе IP тех записей реестра, которые https. Тут понятно, что заглушки нет. Минусом идёт блокирование левых сайтов на одном IP.

3) Резолвить https записи из реестра куда-нибудь в нули или на локалхост. Можно попробовать резолвить на https сайт с заглушкой. Дополнительно придётся закрыть использование внешних DNS, что может вызвать (обязательно вызовет) кучу проблем у абонентов - на роутерах, ммобильных девайсах частенько прописаны гугловские DNS сервера. Как вариант можно перенаправлять DNS запросы на свои сервера.

 

Может ещё какие есть способы, о которых я не знаю? Поделитесь, пожалуйста. И вообще, интересно, кто как справляется с https трафиком.

 

Интересно, а SCE может разбирать DNS запросы по аналогии с HTTP и дропать или перенаправлять нужные? Это так, в порядке бреда.

 

Сам пока склоняюсь к тому, чтобы перенаправлять DNS запросы на свой DNS сервер, который будет резолвить нужные домены на https сайт с заглушкой. Но и посматриваю на nfqfilter.

Edited by Voronok

Share this post


Link to post
Share on other sites

yKpon включи дебаг, покажи как nfqfilter их определяет.

Share this post


Link to post
Share on other sites

yKpon включи дебаг, покажи как nfqfilter их определяет.

cat nfqfilter.log | grep konan-vesti.blogspot.ru

2016-03-10 14:47:45.947 [5601] Debug nfqThread - URL seek occupied 80 us for uri openstat.net/cnt?cid=1&p=8&pg=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&pvid=0e4ae7b8-00bb-4f31-b847-54ae782a4ede&name=mousemove&data=%7B%22duration%22%3A536%2C%22distance%22%3A1965%7D&rn=0.024105438962578773
2016-03-10 14:47:46.775 [5601] Debug nfqThread - URL seek occupied 32 us for uri counter.yadro.ru/hit;All_da_nnn_dn_realty?r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;0.1462625723797828
2016-03-10 14:47:46.821 [5601] Debug nfqThread - URL seek occupied 107 us for uri vk.com/widget_community.php?app=0&width=220px&_ver=1&gid=48361621&mode=1&color1=FFFFFF&color2=2B587A&color3=5B7FA6&class_name=&height=200&url=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&referrer=&title=%D0%9C%D0%BE%D0%B8%20%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B8%3A%20%22%D0%A1%D0%BA%D0%BE%D1%80%D0%BE%2C%20%D0%BE%D1%87%D0%B5%D0%BD%D1%8C%20%D1%81%D0%BA%D0%BE%D1%80%D0%BE%20%D0%BA%D1%80%D0%BE%D0%B2%D1%8C%20%D0%BF%D0%BE%D0%BB%D1%8C%D0%B5%D1%82%D1%81%D1%8F%20%D0%BC%D0%BE%D1%80%D0%B5%D0%BC%22%20%3A%20%D0%BC%D1%83%D0%B7%D1%8B%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5%20%D0%BF%D0%BE%D1%81%D0%BB%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%80%D0%BE...&153605af892
2016-03-10 14:47:46.875 [5601] Debug nfqThread - URL seek occupied 43 us for uri counter.yadro.ru/hit?t27.17;r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;0.30519999470561743
2016-03-10 14:47:46.922 [5601] Debug nfqThread - URL seek occupied 49 us for uri counter.yadro.ru/hit;All_da_nnn_dn_realty?r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;0.3049088635016233
2016-03-10 14:47:46.955 [5601] Debug nfqThread - URL seek occupied 86 us for uri openstat.net/cnt?cid=1&c=1&fr=1&fl=21.0&px=24&wh=1920x1080&j=N&t=-180&h5=111111&pg=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&r=&title=%D0%9C%D0%BE%D0%B8%20%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B8%3A%20%22%D0%A1%D0%BA%D0%BE%D1%80%D0%BE%2C%20%D0%BE%D1%87%D0%B5%D0%BD%D1%8C%20%D1%81%D0%BA%D0%BE%D1%80%D0%BE%20%D0%BA%D1%80%D0%BE%D0%B2%D1%8C%20%D0%BF%D0%BE%D0%BB%D1%8C%D0%B5%D1%82%D1%81%D1%8F%20%D0%BC%D0%BE%D1%80%D0%B5%D0%BC%22%20%3A%20%D0%BC%D1%83%D0%B7%D1%8B%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5%20%D0%BF%D0%BE%D1%81%D0%BB%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%80%D0%BE%D1%81%D1%81%D0%B8%D1%8F%D0%BD%D0%B0%D0%BC%20%D0%BE%D1%82%20%D0%98%D0%93%D0%98%D0%9B%20(%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE%2018%2B).&rn=0.08858534041792154
2016-03-10 14:47:47.006 [5601] Debug nfqThread - URL seek occupied 68 us for uri counter.yadro.ru/hit;PLUSO?r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;hМои%20новости%3A%20%22Скоро%2C%20очень%20скоро%20кровь%20польется%20морем%22%20%3A%20музыкальное%20послание%20ро;1
2016-03-10 14:47:47.016 [5601] Debug nfqThread - URL seek occupied 255 us for uri 8vco9o7nuj5c2siebikqjj1a53konthn-a-fc-opensocial.googleusercontent.com/gadgets/ifr?url=http://bloggerplugins.org/scripts/recent_posts_with_thumbnails_and_more_from_www.bloggerplugins.org.xml&container=peoplesense&parent=http://konan-vesti.blogspot.ru/&mid=0&view=profile&libs=google.blog&d=0.1-7cab53c9_b20982aa_f81fe7c7_06c25136_6024baab.7〈=ru&view-params=%7B%22p%22:false,%22a%22:%2210%22,%22b%22:%2260%22,%22c%22:%222%22,%22d%22:false,%22e%22:%22150%22,%22f%22:false,%22g%22:false,%22h%22:false,%22i%22:true,%22k%22:false,%22l%22:false,%22skin%22:%7B%22FACE_SIZE%22:%2232%22,%22HEIGHT%22:%22200%22,%22BORDER_COLOR%22:%22transparent%22,%22ENDCAP_BG_COLOR%22:%22transparent%22,%22ENDCAP_TEXT_COLOR%22:%22%23131127%22,%22ENDCAP_LINK_COLOR%22:%22%23fc0069%22,%22CONTENT_BG_COLOR%22:%22transparent%22,%22CONTENT_LINK_COLOR%22:%22%23fc0069%22,%22CONTENT_TEXT_COLOR%22:%22%23131127%22,%22CONTENT_SECONDARY_LINK_COLOR%22:%22%23fc0069%22,%22CONTENT_SECONDARY_TEXT_COLOR%22:%22%23666666%22,%22CONTENT_HEADLINE_COLOR%22:%22%236100ae%22%7D%7D&up_a=10&up_b=60&up_c=2&up_d=0&up_e=150&up_f=0&up_g=0&up_h=0&up_i=1&up_j&up_k=0&up_l=0&up_m&up_n&up_o&up_p=0&up_q&communityId=07469117048984955303&caller=http://konan-vesti.blogspot.ru/2015/11/18.html
2016-03-10 14:47:47.018 [5601] Debug nfqThread - URL seek occupied 66 us for uri share.pluso.ru/process?act=counter&u=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&w=1920&h=1080&ref=&uid=7946660921632912563&k=gEJtKyMUBbFdRoUF&first=1
2016-03-10 14:47:47.192 [5601] Debug nfqThread - URL seek occupied 231 us for uri www.google-analytics.com/__utm.gif?utmwv=5.6.7&utms=4&utmn=1741165010&utmhn=www-blogger-opensocial.googleusercontent.com&utmcs=UTF-8&utmsr=1920x1080&utmvp=206x363&utmsc=24-bit&utmul=ru&utmje=0&utmfl=21.0%20r0&utmhid=331776042&utmr=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&utmp=%2Fgadgets%2Fifr%3Furl%3Dhttp%3A%2F%2Fhosting.gmodules.com%2Fig%2Fgadgets%2Ffile%2F102529245987050581532%2Fweb-cam.xml%26container%3Dblogger%26view%3Ddefault%26lang%3Dru%26country%3DALL%26sanitize%3D0%26v%3D37cb0b0866f88e48%26libs%3Danalytics%3Acore%3Asetprefs%26parent%3Dkonan-vesti.blogspot.ru%2F%26up_interval%3D15%26mid%3D2&utmht=1457610488354&utmac=UA-9164799-2&utmcc=__utma%3D7433012.1965128883.1457608346.1457608346.1457610223.2%3B%2B__utmz%3D7433012.1457610223.2.2.utmcsr%3Dkonan-vesti.blogspot.ru%7Cutmccn%3D(referral)%7Cutmcmd%3Dreferral%7Cutmcct%3D%2F2015%2F11%2F18.html%3B&utmjid=&utmu=qAAAAAAAAAAAAAAAAAAAAAAE~
2016-03-10 14:47:47.251 [5601] Debug nfqThread - URL seek occupied 53 us for uri widget3.linkwithin.com/show_widget?site_id=1263947&url=http%3A//konan-vesti.blogspot.ru/2015/11/18.html&callback=LW.sw&widget_id=0&permalink=http%3A//konan-vesti.blogspot.ru/2015/11/18.html&width=696&version=35
2016-03-10 14:47:47.286 [5601] Debug nfqThread - URL seek occupied 27 us for uri kitbit.net/s.js?u=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html
2016-03-10 14:47:47.286 [5601] Debug nfqThread - URL seek occupied 76 us for uri kitbit.net/h.gif?r=&s=1920*1080*24&u=http%3A//konan-vesti.blogspot.ru/2015/11/18.html&h=Мои%20новости%3A%20%22Скоро%2C%20очень%20скоро%20кровь%20польется%20морем%22%20%3A%20музыкальное%20послание%20ро%26kbuid%3D5EFC831F175ACD5689B7E11602C7A73D
2016-03-10 14:47:47.424 [5601] Debug nfqThread - URL seek occupied 124 us for uri t.insigit.com/8fe1a90e434004cb9823641ceb64b783/3696d9c5412d7dbcbaf1f52aba44c40f?event=info&time=1457610488405&__v=76723&url=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&cookie=DA_test%3D1%3B%20_ym_uid%3D1457608346626510916%3B%20_ym_isad%3D0&user_agent=Mozilla%2F5.0%20(Windows%20NT%206.1%3B%20WOW64)%20AppleWebKit%2F537.36%20(KHTML%2C%20like%20Gecko)%20Chrome%2F48.0.2564.116%20Safari%2F537.36
2016-03-10 14:47:47.437 [5601] Debug nfqThread - URL seek occupied 206 us for uri www.google-analytics.com/collect?v=1&_v=j41&a=1188874402&t=pageview&_s=1&dl=http%3A%2F%2Fwww.webcams.travel%2Fservices%2Fgadget%2Fiframe_ad.php&dr=http%3A%2F%2Fwww-blogger-opensocial.googleusercontent.com%2Fgadgets%2Fifr%3Furl%3Dhttp%3A%2F%2Fhosting.gmodules.com%2Fig%2Fgadgets%2Ffile%2F102529245987050581532%2Fweb-cam.xml%26container%3Dblogger%26view%3Ddefault%26lang%3Dru%26country%3DALL%26sanitize%3D0%26v%3D37cb0b0866f88e48%26libs%3Danalytics%3Acore%3Asetprefs%26parent%3Dkonan-vesti.blogspot.ru%2F%26up_interval%3D15%26mid%3D2&ul=ru&de=UTF-8&sd=24-bit&sr=1920x1080&vp=234x60&je=0&fl=21.0%20r0&_u=AACAAEABI~&jid=&cid=1404016693.1457608346&tid=UA-128472-20&z=1575345843
2016-03-10 14:47:47.458 [5601] Debug nfqThread - URL seek occupied 48 us for uri counter.yadro.ru/hit;All_da_nnn_dn_realty?r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;0.12194654648192227
2016-03-10 14:47:47.756 [5601] Debug nfqThread - URL seek occupied 144 us for uri www.google-analytics.com/__utm.gif?utmwv=1.4&utmn=1177979653&utmcs=UTF-8&utmsr=1920x1080&utmsc=24-bit&utmul=ru&utmje=0&utmfl=21.0%20r0&utmhn=www-blogger-opensocial.googleusercontent.com&utmhid=331776042&utmr=http://konan-vesti.blogspot.ru/2015/11/18.html&utmp=/gadget/randomwebcam&utmac=UA-6819136-1&utmcc=__utma%3D7433012.1965128883.1457608346.1457608346.1457610223.2%3B%2B__utmz%3D7433012.1457610223.2.2.utmcsr%3Dkonan-vesti.blogspot.ru%7Cutmccn%3D(referral)%7Cutmcmd%3Dreferral%7Cutmcct%3D%2F2015%2F11%2F18.html%3B%2B
2016-03-10 14:47:48.038 [5601] Debug nfqThread - URL seek occupied 73 us for uri openstat.net/cnt?cid=1&p=7&pg=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&pues=305&puee=307&pfs=5&pdls=5&pdle=5&pcs=5&pce=5&prqs=11&prss=291&prse=305&pdl=335&pdi=911&pdcs=911&pdce=920&pdc=1925&ples=1925&plee=1932&rn=0.4915612356271595

Edited by yKpon

Share this post


Link to post
Share on other sites
... в целом подход надо менять...

 

Offtopic: Как там было в старом советском анекдоте, где сантехник, вызванный в горком, сказал - "О! Да тут надо всю систему менять!" :)

Share this post


Link to post
Share on other sites

yKpon, а вот этот ресурс http://konan-vesti.blogspot.ru/2015/11/18.html ?

+1

 

url есть в выгрузке, не блокируется

 

konan-vesti.blogspot.ru находится на IP 173.194.219.132

 

Если посмотреть в исходники ndpi src/lib/ndpi_content_match.c.inc, то видно это

 /*
   Google
   173.194.0.0/16
   64.233.160.0/19
 */
 { 0xADC20000 /* 173.194.0.0 */, 16, NDPI_SERVICE_GOOGLE },
 { 0x40E91600 /* 64.233.160.0 */, 19, NDPI_SERVICE_GOOGLE },

 

Соответсвенно NDPI определяет этот ресурс как NDPI_SERVICE_GOOGLE.

 

Я у себя полностью вычистил файл src/lib/ndpi_content_match.c.inc стало меньше проблем с блокировкой.

Если нужно то вот мое содержимое этого файла

/*
* ndpi_content_match.c
*
* Copyright (C) 2011-15 - ntop.org
*
* nDPI is free software: you can redistribute it and/or modify
* it under the terms of the GNU Lesser General Public License as published by
* the Free Software Foundation, either version 3 of the License, or
* (at your option) any later version.
*
* nDPI is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
* GNU Lesser General Public License for more details.
*
* You should have received a copy of the GNU Lesser General Public License
* along with nDPI.  If not, see <http://www.gnu.org/licenses/>.
*
*/

typedef struct {
 char *string_to_match, *proto_name;
 int protocol_id;
 ndpi_protocol_breed_t protocol_breed;
} ndpi_protocol_match;

typedef struct {
 u_int32_t network;
 u_int8_t cidr;
 u_int8_t value;
} ndpi_network;

/* ****************************************************** */

static ndpi_network host_protocol_list[] = {
 { 0x0, 0, 0 }
};

/* ****************************************************** */

/*
 Host-based match

 HTTP:  Server: field
 HTTPS: Server certificate name
*/

ndpi_protocol_match host_match[] = {
 { NULL, 0 }
};


/*
 Mime-type content match match
*/
ndpi_protocol_match content_match[] = {
 { NULL, 0 }
};

/* ****************************************************** */

static const char *ndpi_en_bigrams[] = {
 "aa", "ba", "ca", "da", "ea", "fa", "ga", "ha", "ia", "ja", "ka", "la", "ma", "na", "oa", "pa", "qa",
 "ra", "sa", "ta", "ua", "va", "wa", "xa", "ya", "za", "ab", "bb", "db", "eb", "fb", "gb", "hb", "ib",
 "kb", "lb", "mb", "nb", "ob", "pb", "rb", "sb", "tb", "ub", "wb", "yb", "ac", "bc", "cc", "dc", "ec",
 "fc", "gc", "hc", "ic", "kc", "lc", "mc", "nc", "oc", "pc", "rc", "sc", "tc", "uc", "wc", "xc", "yc",
 "ad", "bd", "cd", "dd", "ed", "fd", "gd", "hd", "id", "kd", "ld", "md", "nd", "od", "pd", "rd", "sd",
 "td", "ud", "wd", "xd", "yd", "zd", "ae", "be", "ce", "de", "ee", "fe", "ge", "he", "ie", "je", "ke",
 "le", "me", "ne", "oe", "pe", "re", "se", "te", "ue", "ve", "we", "xe", "ye", "ze", "af", "bf", "df",
 "ef", "ff", "gf", "hf", "if", "kf", "lf", "mf", "nf", "of", "pf", "rf", "sf", "tf", "uf", "wf", "xf",
 "yf", "zf", "ag", "bg", "dg", "eg", "fg", "gg", "hg", "ig", "kg", "lg", "ng", "og", "pg", "rg", "sg",
 "tg", "ug", "wg", "yg", "ah", "bh", "ch", "dh", "eh", "fh", "gh", "hh", "ih", "kh", "lh", "mh", "nh",
 "oh", "ph", "rh", "sh", "th", "uh", "wh", "xh", "yh", "ai", "bi", "ci", "di", "ei", "fi", "gi", "hi",
 "ii", "ji", "ki", "li", "mi", "ni", "oi", "pi", "qi", "ri", "si", "ti", "ui", "vi", "wi", "xi", "yi",
 "zi", "aj", "bj", "dj", "ej", "fj", "gj", "hj", "ij", "jj", "kj", "lj", "nj", "oj", "pj", "rj", "sj",
 "tj", "uj", "wj", "yj", "ak", "ck", "dk", "ek", "gk", "ik", "kk", "lk", "mk", "nk", "ok", "pk", "rk",
 "sk", "tk", "uk", "wk", "yk", "zk", "al", "bl", "cl", "dl", "el", "fl", "gl", "hl", "il", "kl", "ll",
 "ml", "nl", "ol", "pl", "rl", "sl", "tl", "ul", "vl", "wl", "xl", "yl", "zl", "am", "bm", "cm", "dm",
 "em", "fm", "gm", "hm", "im", "km", "lm", "mm", "nm", "om", "pm", "rm", "sm", "tm", "um", "wm", "xm",
 "ym", "zm", "an", "bn", "cn", "dn", "en", "fn", "gn", "hn", "in", "kn", "ln", "mn", "nn", "on", "pn",
 "rn", "sn", "tn", "un", "wn", "xn", "yn", "ao", "bo", "co", "do", "eo", "fo", "go", "ho", "io", "jo",
 "ko", "lo", "mo", "no", "oo", "po", "ro", "so", "to", "uo", "vo", "wo", "xo", "yo", "zo", "ap", "bp",
 "dp", "ep", "fp", "gp", "hp", "ip", "kp", "lp", "mp", "np", "op", "pp", "rp", "sp", "tp", "up", "wp",
 "xp", "yp", "zp", "aq", "cq", "dq", "eq", "hq", "iq", "nq", "oq", "qq", "rq", "sq", "uq", "xq", "ar",
 "br", "cr", "dr", "er", "fr", "gr", "hr", "ir", "kr", "lr", "mr", "nr", "or", "pr", "rr", "sr", "tr",
 "ur", "vr", "wr", "xr", "yr", "as", "bs", "cs", "ds", "es", "fs", "gs", "hs", "is", "ks", "ls", "ms",
 "ns", "os", "ps", "rs", "ss", "ts", "us", "vs", "ws", "xs", "ys", "at", "bt", "ct", "dt", "et", "ft",
 "gt", "ht", "it", "kt", "lt", "mt", "nt", "ot", "pt", "rt", "st", "tt", "ut", "wt", "xt", "yt", "zt",
 "au", "bu", "cu", "du", "eu", "fu", "gu", "hu", "iu", "ju", "ku", "lu", "mu", "nu", "ou", "pu", "qu",
 "ru", "su", "tu", "uu", "vu", "wu", "xu", "yu", "zu", "av", "bv", "dv", "ev", "iv", "lv", "mv", "nv",
 "ov", "rv", "sv", "tv", "uv", "vv", "zv", "aw", "bw", "dw", "ew", "fw", "gw", "hw", "iw", "kw", "lw",
 "mw", "nw", "ow", "pw", "rw", "sw", "tw", "uw", "ww", "xw", "yw", "zw", "ax", "ex", "ix", "nx", "ox",
 "rx", "ux", "xx", "yx", "ay", "by", "cy", "dy", "ey", "fy", "gy", "hy", "ky", "ly", "my", "ny", "oy",
 "py", "ry", "sy", "ty", "uy", "vy", "wy", "xy", "yy", "zy", "az", "bz", "cz", "dz", "ez", "gz", "iz",
 "lz", "nz", "oz", "pz", "rz", "tz", "uz", "zz", NULL };

static const char *ndpi_en_impossible_bigrams[] = {
 "bk", "bq", "bx", "cb", "cf", "cg", "cj", "cp", "cv", "cw", "cx", "dx", "fk", "fq", "fv", "fx", "ee",
 "fz", "gq", "gv", "gx", "hh", "hk", "hv", "hx", "hz", "iy", "jb", "jc", "jd", "jf", "jg", "jh", "jk",
 "jl", "jm", "jn", "jp", "jq", "jr", "js", "jt", "jv", "jw", "jx", "jy", "jz", "kg", "kq", "kv", "kx",
 "kz", "lq", "lx", "mg", "mj", "mq", "mx", "mz", "pq", "pv", "px", "qb", "qc", "qd", "qe", "qf", "ii",
 "qg", "qh", "qj", "qk", "ql", "qm", "qn", "qo", "qp", "qr", "qs", "qt", "qv", "qw", "qx", "qy", "uu",
 "qz", "sx", "sz", "tq", "tx", "vb", "vc", "vd", "vf", "vg", "vh", "vj", "vk", "vm", "vn", "vp", "bw",
 "vq", "vt", "vw", "vx", "vz", "wq", "wv", "wx", "wz", "xb", "xg", "xj", "xk", "xv", "xz", "xw", "yd", "yp",
 "yj", "yq", "yv", "yz", "yw", "zb", "zc", "zg", "zh", "zj", "zn", "zq", "zr", "zs", "zx", "wh", "wk",
 "wb", "zk", "kp", "zk", "xy",
 NULL };

Share this post


Link to post
Share on other sites

Сделал экспериментальную версию nfqfilter. Произведена оптимизация некоторых алгоритмов.

На данной версии с blogspot и подобными сервисами проблема не появляется.

Edited by max1976

Share this post


Link to post
Share on other sites

max1976, изменения связанны с тем, что для blogspot и подобных не определялся master_protocol ? Я просто уже все перерыл и начал косить на nf_queue. А между делом, сделал как overty.

Писал об этом ранее. :)

Share this post


Link to post
Share on other sites

to max1976

Экспериментальная версия что-то не собирается

Making all in src
make[1]: Entering directory '/root/nfqfilter-experimental/src'
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp
mv -f .deps/main.Tpo .deps/main.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -MT nfqstatistictask.o -MD -MP -MF .deps/nfqstatistictask.Tpo -c -o nfqstatistictask.o nfqstatistictask.cpp
mv -f .deps/nfqstatistictask.Tpo .deps/nfqstatistictask.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -MT nfqthread.o -MD -MP -MF .deps/nfqthread.Tpo -c -o nfqthread.o nfqthread.cpp
nfqthread.cpp:42:25: fatal error: ndpiwrapper.h: No such file or directory
#include "ndpiwrapper.h"
                        ^
compilation terminated.
Makefile:357: recipe for target 'nfqthread.o' failed
make[1]: *** [nfqthread.o] Error 1
make[1]: Leaving directory '/root/nfqfilter-experimental/src'
Makefile:339: recipe for target 'all-recursive' failed
make: *** [all-recursive] Error 1

Share this post


Link to post
Share on other sites

to max1976

Экспериментальная версия что-то не собирается

 

Добавил недостающий файл.

Share this post


Link to post
Share on other sites

2max1976, новый конфигуратор творит чудеса! Спасибо!

C утра запилил решение от overty, запустил тест "проблемных" ссылок. почти все прорвались, но блогспот - порезало.

Сейчас запустип новый конфигуратор - из "проблемных" ссылок осталась лишь одна.

Share this post


Link to post
Share on other sites

2max1976, новый конфигуратор творит чудеса! Спасибо!

C утра запилил решение от overty, запустил тест "проблемных" ссылок. почти все прорвались, но блогспот - порезало.

Сейчас запустип новый конфигуратор - из "проблемных" ссылок осталась лишь одна.

 

Проверьте экспериментальную версию.

Share this post


Link to post
Share on other sites

max1976, экспериментальная версия и новый конфигуратор из вчерашнего проблемного списка порезали всё, кроме одной ссылки.

Сейчас запустил полный тест сегодняшней выгрузки. Пока прорвались две ссылки.

Попробую запустить эту связку на основном блокировщике.

Share this post


Link to post
Share on other sites

max1976, экспериментальная версия и новый конфигуратор из вчерашнего проблемного списка порезали всё, кроме одной ссылки.

Сейчас запустил полный тест сегодняшней выгрузки. Пока прорвались две ссылки.

Попробую запустить эту связку на основном блокировщике.

 

Пришлите ссылки.

Share this post


Link to post
Share on other sites

Добавил недостающий файл.

Что то таже самая ошибка. Что за ndpiwrapper?

Making all in src
make[1]: Entering directory '/root/nfqfilter-experimental/src'
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp
mv -f .deps/main.Tpo .deps/main.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -MT nfqstatistictask.o -MD -MP -MF .deps/nfqstatistictask.Tpo -c -o nfqstatistictask.o nfqstatistictask.cpp
mv -f .deps/nfqstatistictask.Tpo .deps/nfqstatistictask.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -MT nfqthread.o -MD -MP -MF .deps/nfqthread.Tpo -c -o nfqthread.o nfqthread.cpp
nfqthread.cpp:42:25: fatal error: ndpiwrapper.h: No such file or directory
#include "ndpiwrapper.h"
                        ^
compilation terminated.
Makefile:357: recipe for target 'nfqthread.o' failed
make[1]: *** [nfqthread.o] Error 1
make[1]: Leaving directory '/root/nfqfilter-experimental/src'
Makefile:339: recipe for target 'all-recursive' failed
make: *** [all-recursive] Error 1

Edited by nma

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now