Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем


Блокировка сайтов провайдерами маневры с DNS

Ответить

max1976   

max1976
Опубликовано · Жалоба

у меня было дело в нагрузке на nfq. хоть по процу процессы и не упирались.. но похоже процесс не успевал за потоком сознания.. покажите правило в таблесах ?

 

Много трафика попадает на фильтр? У меня редко до 20% доходит на виртуалке с одним cpu.

Если по какой-то причине nfqfilter не будет успевать обрабатывать пакеты, то в сислоге будет соответствующая запись от ядра. Здесь в разделе Misc есть описание как посмотреть что происходит с очередью и были ли переполнения и дропы:

nfnetlink_queue has a dedicated entry in /proc: /proc/net/netfilter/nfnetlink_queue

cat /proc/net/netfilter/nfnetlink_queue 
  40  23948     0 2 65531     0     0      106  1

The content is the following:

   queue number
   peer portid: good chance it is process ID of software listening to the queue
   queue total: current number of packets waiting in the queue
   copy mode: 0 and 1 only message only provide meta data. If 2 message provide a part of packet of size copy range.
   copy range: length of packet data to put in message
   queue dropped: number of packets dropped because queue was full
   user dropped: number of packets dropped because netlink message could not be sent to userspace. If this counter is not zero, try to increase netlink buffer size. On the application side, you will see gap in packet id if netlink message are lost.
   id sequence: packet id of last packet
   1

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

zhenya`   

zhenya`
Опубликовано (изменено) · Жалоба

у меня на небольшом даже трафике user dropped..

%Cpu0  :  0.9 us,  1.9 sy,  0.0 ni, 95.8 id,  0.0 wa,  0.0 hi,  1.4 si,  0.0 st
%Cpu1  :  0.4 us,  0.4 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu2  :  0.4 us,  0.4 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu3  :  0.3 us,  0.3 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

root     14326  0.1  4.6 346248 88000 ?        Ssl  19:20   0:16 /usr/local/bin/nfqfilter1 --daemon --pidfile=/var/run/nfqfilter4.pid -c /opt/nfqfilter/nfqfilter4.ini
root     14995  6.7  4.6 346340 87840 ?        Ssl  21:03   2:40 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter.pid -c /opt/nfqfilter/nfqfilter.ini
root     14999  5.9  4.6 346340 87840 ?        Ssl  21:03   2:21 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter1.pid -c /opt/nfqfilter/nfqfilter1.ini
root     15003  4.8  4.6 346336 87836 ?        Ssl  21:03   1:55 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter2.pid -c /opt/nfqfilter/nfqfilter2.ini
root     15008  7.6  4.6 346336 87836 ?        Ssl  21:03   3:02 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter3.pid -c /opt/nfqfilter/nfqfilter3.ini
root     15012  0.4  4.6 346336 87840 ?        Ssl  21:03   0:10 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter9.pid -c /opt/nfqfilter/nfqfilter9.ini


cat /proc/net/netfilter/nfnetlink_queue
   0  14995     0 2 65531     0     0  3307661  1
   1  14999     0 2 65531     0     0  2649857  1
   2  15003     0 2 65531     0     0  2006770  1
   3  15008     0 2 65531     0     0  4012015  1
   4  14326     0 2 65531     0     0    45923  1
   9  15012     0 2 65531     0     0    77457  1

 

и числа растут.. причем в 4 очереди сейчас только 1 адрес с которого работает проверялка ркн в 20 (!) потоков (в дистрибе там 100).

Изменено пользователем zhenya`

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

max1976   

max1976
Опубликовано · Жалоба

у меня на небольшом даже трафике user dropped..

%Cpu0  :  0.9 us,  1.9 sy,  0.0 ni, 95.8 id,  0.0 wa,  0.0 hi,  1.4 si,  0.0 st
%Cpu1  :  0.4 us,  0.4 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu2  :  0.4 us,  0.4 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu3  :  0.3 us,  0.3 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

root     14326  0.1  4.6 346248 88000 ?        Ssl  19:20   0:16 /usr/local/bin/nfqfilter1 --daemon --pidfile=/var/run/nfqfilter4.pid -c /opt/nfqfilter/nfqfilter4.ini
root     14995  6.7  4.6 346340 87840 ?        Ssl  21:03   2:40 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter.pid -c /opt/nfqfilter/nfqfilter.ini
root     14999  5.9  4.6 346340 87840 ?        Ssl  21:03   2:21 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter1.pid -c /opt/nfqfilter/nfqfilter1.ini
root     15003  4.8  4.6 346336 87836 ?        Ssl  21:03   1:55 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter2.pid -c /opt/nfqfilter/nfqfilter2.ini
root     15008  7.6  4.6 346336 87836 ?        Ssl  21:03   3:02 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter3.pid -c /opt/nfqfilter/nfqfilter3.ini
root     15012  0.4  4.6 346336 87840 ?        Ssl  21:03   0:10 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter9.pid -c /opt/nfqfilter/nfqfilter9.ini


cat /proc/net/netfilter/nfnetlink_queue
   0  14995     0 2 65531     0     0  3307661  1
   1  14999     0 2 65531     0     0  2649857  1
   2  15003     0 2 65531     0     0  2006770  1
   3  15008     0 2 65531     0     0  4012015  1
   4  14326     0 2 65531     0     0    45923  1
   9  15012     0 2 65531     0     0    77457  1

 

и числа растут.. причем в 4 очереди сейчас только 1 адрес с которого работает проверялка ркн в 20 (!) потоков (в дистрибе там 100).

 

Я не вижу user dropped - у вас все по нулям.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

zhenya`   

zhenya`
Опубликовано · Жалоба

а блин.. индексы спутал :( сорри. сейчас то все корректно работает. я выкинул лишний трафик с nfq.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

yKpon   

yKpon
Опубликовано (изменено) · Жалоба

Версия nfqfilter последняя (я вчера выкладывал обновление)?

обновил, пересобрался nDPI, теперь всё ок, спасибо! =)

 

только вот прога которой проверяет РКН кричит "доступен" где в домене присутствуют заглавные буквы, но nfqfilter их блокирует, это уже баг проги

Изменено пользователем yKpon

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Zarin   

Zarin
Опубликовано (изменено) · Жалоба

yKpon, приветствую, где взять прогу, которой проверяет РКН ?

 

max1976, приветствую. Покажи пожалуйста, что у тебя в дебаге nfqfilter при открытии например http://www.originals-diploms.com/ ?

Изменено пользователем Zarin

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

yKpon   

yKpon
Опубликовано · Жалоба

yKpon, приветствую, где взять прогу, которой проверяет РКН ?

доброго

 

http://forum.nag.ru/forum/index.php?showtopic=79886&view=findpost&p=1252877

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

yKpon   

yKpon
Опубликовано · Жалоба

уже лучше

Всего доступно URL: 95 (0,49%). Реестровых записей: 79 (0,44%)

авторские права 30. Реестровых записей: 14 (17,72%)

азартные игры 1. Реестровых записей: 1 (1,27%)

детская порнография 2. Реестровых записей: 2 (2,53%)

наркотические средства 9. Реестровых записей: 9 (11,39%)

прочее 43. Реестровых записей: 43 (54,43%)

суицид 1. Реестровых записей: 1 (1,27%)

экстремизм 9. Реестровых записей: 9 (11,39%)

 

http://al-wayi.blogspot.ru/ есть в реестре, но почему-то не блокируется

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Voronok   

Voronok
Опубликовано (изменено) · Жалоба

Всем доброго. Используем SCE2000, так и не решили как блокировать https трафик. Вариантов вижу три:

 

1) Использовать nfqfilter, загонять на него только https трафик. Можно не весь, а только IP тех записей реестра, которые https. Блокировать будет домены, а не урлы, правильно? Интересно, заглушка будет работать, если поместить её на сайте с https?

2) Блокировать на маршрутизаторе IP тех записей реестра, которые https. Тут понятно, что заглушки нет. Минусом идёт блокирование левых сайтов на одном IP.

3) Резолвить https записи из реестра куда-нибудь в нули или на локалхост. Можно попробовать резолвить на https сайт с заглушкой. Дополнительно придётся закрыть использование внешних DNS, что может вызвать (обязательно вызовет) кучу проблем у абонентов - на роутерах, ммобильных девайсах частенько прописаны гугловские DNS сервера. Как вариант можно перенаправлять DNS запросы на свои сервера.

 

Может ещё какие есть способы, о которых я не знаю? Поделитесь, пожалуйста. И вообще, интересно, кто как справляется с https трафиком.

 

Интересно, а SCE может разбирать DNS запросы по аналогии с HTTP и дропать или перенаправлять нужные? Это так, в порядке бреда.

 

Сам пока склоняюсь к тому, чтобы перенаправлять DNS запросы на свой DNS сервер, который будет резолвить нужные домены на https сайт с заглушкой. Но и посматриваю на nfqfilter.

Изменено пользователем Voronok

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Zarin   

Zarin
Опубликовано · Жалоба

yKpon, а вот этот ресурс http://konan-vesti.blogspot.ru/2015/11/18.html ?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

yKpon   

yKpon
Опубликовано · Жалоба

yKpon, а вот этот ресурс http://konan-vesti.blogspot.ru/2015/11/18.html ?

+1

 

url есть в выгрузке, не блокируется

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Zarin   

Zarin
Опубликовано · Жалоба

yKpon включи дебаг, покажи как nfqfilter их определяет.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

yKpon   

yKpon
Опубликовано (изменено) · Жалоба

yKpon включи дебаг, покажи как nfqfilter их определяет.

cat nfqfilter.log | grep konan-vesti.blogspot.ru

2016-03-10 14:47:45.947 [5601] Debug nfqThread - URL seek occupied 80 us for uri openstat.net/cnt?cid=1&p=8&pg=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&pvid=0e4ae7b8-00bb-4f31-b847-54ae782a4ede&name=mousemove&data=%7B%22duration%22%3A536%2C%22distance%22%3A1965%7D&rn=0.024105438962578773
2016-03-10 14:47:46.775 [5601] Debug nfqThread - URL seek occupied 32 us for uri counter.yadro.ru/hit;All_da_nnn_dn_realty?r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;0.1462625723797828
2016-03-10 14:47:46.821 [5601] Debug nfqThread - URL seek occupied 107 us for uri vk.com/widget_community.php?app=0&width=220px&_ver=1&gid=48361621&mode=1&color1=FFFFFF&color2=2B587A&color3=5B7FA6&class_name=&height=200&url=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&referrer=&title=%D0%9C%D0%BE%D0%B8%20%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B8%3A%20%22%D0%A1%D0%BA%D0%BE%D1%80%D0%BE%2C%20%D0%BE%D1%87%D0%B5%D0%BD%D1%8C%20%D1%81%D0%BA%D0%BE%D1%80%D0%BE%20%D0%BA%D1%80%D0%BE%D0%B2%D1%8C%20%D0%BF%D0%BE%D0%BB%D1%8C%D0%B5%D1%82%D1%81%D1%8F%20%D0%BC%D0%BE%D1%80%D0%B5%D0%BC%22%20%3A%20%D0%BC%D1%83%D0%B7%D1%8B%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5%20%D0%BF%D0%BE%D1%81%D0%BB%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%80%D0%BE...&153605af892
2016-03-10 14:47:46.875 [5601] Debug nfqThread - URL seek occupied 43 us for uri counter.yadro.ru/hit?t27.17;r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;0.30519999470561743
2016-03-10 14:47:46.922 [5601] Debug nfqThread - URL seek occupied 49 us for uri counter.yadro.ru/hit;All_da_nnn_dn_realty?r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;0.3049088635016233
2016-03-10 14:47:46.955 [5601] Debug nfqThread - URL seek occupied 86 us for uri openstat.net/cnt?cid=1&c=1&fr=1&fl=21.0&px=24&wh=1920x1080&j=N&t=-180&h5=111111&pg=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&r=&title=%D0%9C%D0%BE%D0%B8%20%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B8%3A%20%22%D0%A1%D0%BA%D0%BE%D1%80%D0%BE%2C%20%D0%BE%D1%87%D0%B5%D0%BD%D1%8C%20%D1%81%D0%BA%D0%BE%D1%80%D0%BE%20%D0%BA%D1%80%D0%BE%D0%B2%D1%8C%20%D0%BF%D0%BE%D0%BB%D1%8C%D0%B5%D1%82%D1%81%D1%8F%20%D0%BC%D0%BE%D1%80%D0%B5%D0%BC%22%20%3A%20%D0%BC%D1%83%D0%B7%D1%8B%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5%20%D0%BF%D0%BE%D1%81%D0%BB%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%80%D0%BE%D1%81%D1%81%D0%B8%D1%8F%D0%BD%D0%B0%D0%BC%20%D0%BE%D1%82%20%D0%98%D0%93%D0%98%D0%9B%20(%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE%2018%2B).&rn=0.08858534041792154
2016-03-10 14:47:47.006 [5601] Debug nfqThread - URL seek occupied 68 us for uri counter.yadro.ru/hit;PLUSO?r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;hМои%20новости%3A%20%22Скоро%2C%20очень%20скоро%20кровь%20польется%20морем%22%20%3A%20музыкальное%20послание%20ро;1
2016-03-10 14:47:47.016 [5601] Debug nfqThread - URL seek occupied 255 us for uri 8vco9o7nuj5c2siebikqjj1a53konthn-a-fc-opensocial.googleusercontent.com/gadgets/ifr?url=http://bloggerplugins.org/scripts/recent_posts_with_thumbnails_and_more_from_www.bloggerplugins.org.xml&container=peoplesense&parent=http://konan-vesti.blogspot.ru/&mid=0&view=profile&libs=google.blog&d=0.1-7cab53c9_b20982aa_f81fe7c7_06c25136_6024baab.7〈=ru&view-params=%7B%22p%22:false,%22a%22:%2210%22,%22b%22:%2260%22,%22c%22:%222%22,%22d%22:false,%22e%22:%22150%22,%22f%22:false,%22g%22:false,%22h%22:false,%22i%22:true,%22k%22:false,%22l%22:false,%22skin%22:%7B%22FACE_SIZE%22:%2232%22,%22HEIGHT%22:%22200%22,%22BORDER_COLOR%22:%22transparent%22,%22ENDCAP_BG_COLOR%22:%22transparent%22,%22ENDCAP_TEXT_COLOR%22:%22%23131127%22,%22ENDCAP_LINK_COLOR%22:%22%23fc0069%22,%22CONTENT_BG_COLOR%22:%22transparent%22,%22CONTENT_LINK_COLOR%22:%22%23fc0069%22,%22CONTENT_TEXT_COLOR%22:%22%23131127%22,%22CONTENT_SECONDARY_LINK_COLOR%22:%22%23fc0069%22,%22CONTENT_SECONDARY_TEXT_COLOR%22:%22%23666666%22,%22CONTENT_HEADLINE_COLOR%22:%22%236100ae%22%7D%7D&up_a=10&up_b=60&up_c=2&up_d=0&up_e=150&up_f=0&up_g=0&up_h=0&up_i=1&up_j&up_k=0&up_l=0&up_m&up_n&up_o&up_p=0&up_q&communityId=07469117048984955303&caller=http://konan-vesti.blogspot.ru/2015/11/18.html
2016-03-10 14:47:47.018 [5601] Debug nfqThread - URL seek occupied 66 us for uri share.pluso.ru/process?act=counter&u=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&w=1920&h=1080&ref=&uid=7946660921632912563&k=gEJtKyMUBbFdRoUF&first=1
2016-03-10 14:47:47.192 [5601] Debug nfqThread - URL seek occupied 231 us for uri www.google-analytics.com/__utm.gif?utmwv=5.6.7&utms=4&utmn=1741165010&utmhn=www-blogger-opensocial.googleusercontent.com&utmcs=UTF-8&utmsr=1920x1080&utmvp=206x363&utmsc=24-bit&utmul=ru&utmje=0&utmfl=21.0%20r0&utmhid=331776042&utmr=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&utmp=%2Fgadgets%2Fifr%3Furl%3Dhttp%3A%2F%2Fhosting.gmodules.com%2Fig%2Fgadgets%2Ffile%2F102529245987050581532%2Fweb-cam.xml%26container%3Dblogger%26view%3Ddefault%26lang%3Dru%26country%3DALL%26sanitize%3D0%26v%3D37cb0b0866f88e48%26libs%3Danalytics%3Acore%3Asetprefs%26parent%3Dkonan-vesti.blogspot.ru%2F%26up_interval%3D15%26mid%3D2&utmht=1457610488354&utmac=UA-9164799-2&utmcc=__utma%3D7433012.1965128883.1457608346.1457608346.1457610223.2%3B%2B__utmz%3D7433012.1457610223.2.2.utmcsr%3Dkonan-vesti.blogspot.ru%7Cutmccn%3D(referral)%7Cutmcmd%3Dreferral%7Cutmcct%3D%2F2015%2F11%2F18.html%3B&utmjid=&utmu=qAAAAAAAAAAAAAAAAAAAAAAE~
2016-03-10 14:47:47.251 [5601] Debug nfqThread - URL seek occupied 53 us for uri widget3.linkwithin.com/show_widget?site_id=1263947&url=http%3A//konan-vesti.blogspot.ru/2015/11/18.html&callback=LW.sw&widget_id=0&permalink=http%3A//konan-vesti.blogspot.ru/2015/11/18.html&width=696&version=35
2016-03-10 14:47:47.286 [5601] Debug nfqThread - URL seek occupied 27 us for uri kitbit.net/s.js?u=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html
2016-03-10 14:47:47.286 [5601] Debug nfqThread - URL seek occupied 76 us for uri kitbit.net/h.gif?r=&s=1920*1080*24&u=http%3A//konan-vesti.blogspot.ru/2015/11/18.html&h=Мои%20новости%3A%20%22Скоро%2C%20очень%20скоро%20кровь%20польется%20морем%22%20%3A%20музыкальное%20послание%20ро%26kbuid%3D5EFC831F175ACD5689B7E11602C7A73D
2016-03-10 14:47:47.424 [5601] Debug nfqThread - URL seek occupied 124 us for uri t.insigit.com/8fe1a90e434004cb9823641ceb64b783/3696d9c5412d7dbcbaf1f52aba44c40f?event=info&time=1457610488405&__v=76723&url=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&cookie=DA_test%3D1%3B%20_ym_uid%3D1457608346626510916%3B%20_ym_isad%3D0&user_agent=Mozilla%2F5.0%20(Windows%20NT%206.1%3B%20WOW64)%20AppleWebKit%2F537.36%20(KHTML%2C%20like%20Gecko)%20Chrome%2F48.0.2564.116%20Safari%2F537.36
2016-03-10 14:47:47.437 [5601] Debug nfqThread - URL seek occupied 206 us for uri www.google-analytics.com/collect?v=1&_v=j41&a=1188874402&t=pageview&_s=1&dl=http%3A%2F%2Fwww.webcams.travel%2Fservices%2Fgadget%2Fiframe_ad.php&dr=http%3A%2F%2Fwww-blogger-opensocial.googleusercontent.com%2Fgadgets%2Fifr%3Furl%3Dhttp%3A%2F%2Fhosting.gmodules.com%2Fig%2Fgadgets%2Ffile%2F102529245987050581532%2Fweb-cam.xml%26container%3Dblogger%26view%3Ddefault%26lang%3Dru%26country%3DALL%26sanitize%3D0%26v%3D37cb0b0866f88e48%26libs%3Danalytics%3Acore%3Asetprefs%26parent%3Dkonan-vesti.blogspot.ru%2F%26up_interval%3D15%26mid%3D2&ul=ru&de=UTF-8&sd=24-bit&sr=1920x1080&vp=234x60&je=0&fl=21.0%20r0&_u=AACAAEABI~&jid=&cid=1404016693.1457608346&tid=UA-128472-20&z=1575345843
2016-03-10 14:47:47.458 [5601] Debug nfqThread - URL seek occupied 48 us for uri counter.yadro.ru/hit;All_da_nnn_dn_realty?r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;0.12194654648192227
2016-03-10 14:47:47.756 [5601] Debug nfqThread - URL seek occupied 144 us for uri www.google-analytics.com/__utm.gif?utmwv=1.4&utmn=1177979653&utmcs=UTF-8&utmsr=1920x1080&utmsc=24-bit&utmul=ru&utmje=0&utmfl=21.0%20r0&utmhn=www-blogger-opensocial.googleusercontent.com&utmhid=331776042&utmr=http://konan-vesti.blogspot.ru/2015/11/18.html&utmp=/gadget/randomwebcam&utmac=UA-6819136-1&utmcc=__utma%3D7433012.1965128883.1457608346.1457608346.1457610223.2%3B%2B__utmz%3D7433012.1457610223.2.2.utmcsr%3Dkonan-vesti.blogspot.ru%7Cutmccn%3D(referral)%7Cutmcmd%3Dreferral%7Cutmcct%3D%2F2015%2F11%2F18.html%3B%2B
2016-03-10 14:47:48.038 [5601] Debug nfqThread - URL seek occupied 73 us for uri openstat.net/cnt?cid=1&p=7&pg=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&pues=305&puee=307&pfs=5&pdls=5&pdle=5&pcs=5&pce=5&prqs=11&prss=291&prse=305&pdl=335&pdi=911&pdcs=911&pdce=920&pdc=1925&ples=1925&plee=1932&rn=0.4915612356271595

Изменено пользователем yKpon

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

vop   

vop
Опубликовано · Жалоба
... в целом подход надо менять...

 

Offtopic: Как там было в старом советском анекдоте, где сантехник, вызванный в горком, сказал - "О! Да тут надо всю систему менять!" :)

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

overty   

overty
Опубликовано · Жалоба

yKpon, а вот этот ресурс http://konan-vesti.blogspot.ru/2015/11/18.html ?

+1

 

url есть в выгрузке, не блокируется

 

konan-vesti.blogspot.ru находится на IP 173.194.219.132

 

Если посмотреть в исходники ndpi src/lib/ndpi_content_match.c.inc, то видно это

 /*
   Google
   173.194.0.0/16
   64.233.160.0/19
 */
 { 0xADC20000 /* 173.194.0.0 */, 16, NDPI_SERVICE_GOOGLE },
 { 0x40E91600 /* 64.233.160.0 */, 19, NDPI_SERVICE_GOOGLE },

 

Соответсвенно NDPI определяет этот ресурс как NDPI_SERVICE_GOOGLE.

 

Я у себя полностью вычистил файл src/lib/ndpi_content_match.c.inc стало меньше проблем с блокировкой.

Если нужно то вот мое содержимое этого файла

/*
* ndpi_content_match.c
*
* Copyright (C) 2011-15 - ntop.org
*
* nDPI is free software: you can redistribute it and/or modify
* it under the terms of the GNU Lesser General Public License as published by
* the Free Software Foundation, either version 3 of the License, or
* (at your option) any later version.
*
* nDPI is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
* GNU Lesser General Public License for more details.
*
* You should have received a copy of the GNU Lesser General Public License
* along with nDPI.  If not, see <http://www.gnu.org/licenses/>.
*
*/

typedef struct {
 char *string_to_match, *proto_name;
 int protocol_id;
 ndpi_protocol_breed_t protocol_breed;
} ndpi_protocol_match;

typedef struct {
 u_int32_t network;
 u_int8_t cidr;
 u_int8_t value;
} ndpi_network;

/* ****************************************************** */

static ndpi_network host_protocol_list[] = {
 { 0x0, 0, 0 }
};

/* ****************************************************** */

/*
 Host-based match

 HTTP:  Server: field
 HTTPS: Server certificate name
*/

ndpi_protocol_match host_match[] = {
 { NULL, 0 }
};


/*
 Mime-type content match match
*/
ndpi_protocol_match content_match[] = {
 { NULL, 0 }
};

/* ****************************************************** */

static const char *ndpi_en_bigrams[] = {
 "aa", "ba", "ca", "da", "ea", "fa", "ga", "ha", "ia", "ja", "ka", "la", "ma", "na", "oa", "pa", "qa",
 "ra", "sa", "ta", "ua", "va", "wa", "xa", "ya", "za", "ab", "bb", "db", "eb", "fb", "gb", "hb", "ib",
 "kb", "lb", "mb", "nb", "ob", "pb", "rb", "sb", "tb", "ub", "wb", "yb", "ac", "bc", "cc", "dc", "ec",
 "fc", "gc", "hc", "ic", "kc", "lc", "mc", "nc", "oc", "pc", "rc", "sc", "tc", "uc", "wc", "xc", "yc",
 "ad", "bd", "cd", "dd", "ed", "fd", "gd", "hd", "id", "kd", "ld", "md", "nd", "od", "pd", "rd", "sd",
 "td", "ud", "wd", "xd", "yd", "zd", "ae", "be", "ce", "de", "ee", "fe", "ge", "he", "ie", "je", "ke",
 "le", "me", "ne", "oe", "pe", "re", "se", "te", "ue", "ve", "we", "xe", "ye", "ze", "af", "bf", "df",
 "ef", "ff", "gf", "hf", "if", "kf", "lf", "mf", "nf", "of", "pf", "rf", "sf", "tf", "uf", "wf", "xf",
 "yf", "zf", "ag", "bg", "dg", "eg", "fg", "gg", "hg", "ig", "kg", "lg", "ng", "og", "pg", "rg", "sg",
 "tg", "ug", "wg", "yg", "ah", "bh", "ch", "dh", "eh", "fh", "gh", "hh", "ih", "kh", "lh", "mh", "nh",
 "oh", "ph", "rh", "sh", "th", "uh", "wh", "xh", "yh", "ai", "bi", "ci", "di", "ei", "fi", "gi", "hi",
 "ii", "ji", "ki", "li", "mi", "ni", "oi", "pi", "qi", "ri", "si", "ti", "ui", "vi", "wi", "xi", "yi",
 "zi", "aj", "bj", "dj", "ej", "fj", "gj", "hj", "ij", "jj", "kj", "lj", "nj", "oj", "pj", "rj", "sj",
 "tj", "uj", "wj", "yj", "ak", "ck", "dk", "ek", "gk", "ik", "kk", "lk", "mk", "nk", "ok", "pk", "rk",
 "sk", "tk", "uk", "wk", "yk", "zk", "al", "bl", "cl", "dl", "el", "fl", "gl", "hl", "il", "kl", "ll",
 "ml", "nl", "ol", "pl", "rl", "sl", "tl", "ul", "vl", "wl", "xl", "yl", "zl", "am", "bm", "cm", "dm",
 "em", "fm", "gm", "hm", "im", "km", "lm", "mm", "nm", "om", "pm", "rm", "sm", "tm", "um", "wm", "xm",
 "ym", "zm", "an", "bn", "cn", "dn", "en", "fn", "gn", "hn", "in", "kn", "ln", "mn", "nn", "on", "pn",
 "rn", "sn", "tn", "un", "wn", "xn", "yn", "ao", "bo", "co", "do", "eo", "fo", "go", "ho", "io", "jo",
 "ko", "lo", "mo", "no", "oo", "po", "ro", "so", "to", "uo", "vo", "wo", "xo", "yo", "zo", "ap", "bp",
 "dp", "ep", "fp", "gp", "hp", "ip", "kp", "lp", "mp", "np", "op", "pp", "rp", "sp", "tp", "up", "wp",
 "xp", "yp", "zp", "aq", "cq", "dq", "eq", "hq", "iq", "nq", "oq", "qq", "rq", "sq", "uq", "xq", "ar",
 "br", "cr", "dr", "er", "fr", "gr", "hr", "ir", "kr", "lr", "mr", "nr", "or", "pr", "rr", "sr", "tr",
 "ur", "vr", "wr", "xr", "yr", "as", "bs", "cs", "ds", "es", "fs", "gs", "hs", "is", "ks", "ls", "ms",
 "ns", "os", "ps", "rs", "ss", "ts", "us", "vs", "ws", "xs", "ys", "at", "bt", "ct", "dt", "et", "ft",
 "gt", "ht", "it", "kt", "lt", "mt", "nt", "ot", "pt", "rt", "st", "tt", "ut", "wt", "xt", "yt", "zt",
 "au", "bu", "cu", "du", "eu", "fu", "gu", "hu", "iu", "ju", "ku", "lu", "mu", "nu", "ou", "pu", "qu",
 "ru", "su", "tu", "uu", "vu", "wu", "xu", "yu", "zu", "av", "bv", "dv", "ev", "iv", "lv", "mv", "nv",
 "ov", "rv", "sv", "tv", "uv", "vv", "zv", "aw", "bw", "dw", "ew", "fw", "gw", "hw", "iw", "kw", "lw",
 "mw", "nw", "ow", "pw", "rw", "sw", "tw", "uw", "ww", "xw", "yw", "zw", "ax", "ex", "ix", "nx", "ox",
 "rx", "ux", "xx", "yx", "ay", "by", "cy", "dy", "ey", "fy", "gy", "hy", "ky", "ly", "my", "ny", "oy",
 "py", "ry", "sy", "ty", "uy", "vy", "wy", "xy", "yy", "zy", "az", "bz", "cz", "dz", "ez", "gz", "iz",
 "lz", "nz", "oz", "pz", "rz", "tz", "uz", "zz", NULL };

static const char *ndpi_en_impossible_bigrams[] = {
 "bk", "bq", "bx", "cb", "cf", "cg", "cj", "cp", "cv", "cw", "cx", "dx", "fk", "fq", "fv", "fx", "ee",
 "fz", "gq", "gv", "gx", "hh", "hk", "hv", "hx", "hz", "iy", "jb", "jc", "jd", "jf", "jg", "jh", "jk",
 "jl", "jm", "jn", "jp", "jq", "jr", "js", "jt", "jv", "jw", "jx", "jy", "jz", "kg", "kq", "kv", "kx",
 "kz", "lq", "lx", "mg", "mj", "mq", "mx", "mz", "pq", "pv", "px", "qb", "qc", "qd", "qe", "qf", "ii",
 "qg", "qh", "qj", "qk", "ql", "qm", "qn", "qo", "qp", "qr", "qs", "qt", "qv", "qw", "qx", "qy", "uu",
 "qz", "sx", "sz", "tq", "tx", "vb", "vc", "vd", "vf", "vg", "vh", "vj", "vk", "vm", "vn", "vp", "bw",
 "vq", "vt", "vw", "vx", "vz", "wq", "wv", "wx", "wz", "xb", "xg", "xj", "xk", "xv", "xz", "xw", "yd", "yp",
 "yj", "yq", "yv", "yz", "yw", "zb", "zc", "zg", "zh", "zj", "zn", "zq", "zr", "zs", "zx", "wh", "wk",
 "wb", "zk", "kp", "zk", "xy",
 NULL };

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

max1976   

max1976
Опубликовано (изменено) · Жалоба

Сделал экспериментальную версию nfqfilter. Произведена оптимизация некоторых алгоритмов.

На данной версии с blogspot и подобными сервисами проблема не появляется.

Изменено пользователем max1976

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Zarin   

Zarin
Опубликовано · Жалоба

max1976, изменения связанны с тем, что для blogspot и подобных не определялся master_protocol ? Я просто уже все перерыл и начал косить на nf_queue. А между делом, сделал как overty.

Писал об этом ранее. :)

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

nma   

nma
Опубликовано · Жалоба

to max1976

Экспериментальная версия что-то не собирается

Making all in src
make[1]: Entering directory '/root/nfqfilter-experimental/src'
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp
mv -f .deps/main.Tpo .deps/main.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -MT nfqstatistictask.o -MD -MP -MF .deps/nfqstatistictask.Tpo -c -o nfqstatistictask.o nfqstatistictask.cpp
mv -f .deps/nfqstatistictask.Tpo .deps/nfqstatistictask.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -MT nfqthread.o -MD -MP -MF .deps/nfqthread.Tpo -c -o nfqthread.o nfqthread.cpp
nfqthread.cpp:42:25: fatal error: ndpiwrapper.h: No such file or directory
#include "ndpiwrapper.h"
                        ^
compilation terminated.
Makefile:357: recipe for target 'nfqthread.o' failed
make[1]: *** [nfqthread.o] Error 1
make[1]: Leaving directory '/root/nfqfilter-experimental/src'
Makefile:339: recipe for target 'all-recursive' failed
make: *** [all-recursive] Error 1

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

max1976   

max1976
Опубликовано · Жалоба

to max1976

Экспериментальная версия что-то не собирается

 

Добавил недостающий файл.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

max1976   

max1976
Опубликовано · Жалоба

Обновлён конфигуратор. Теперь блокируются url в оригинальном виде из списка.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

dnvk   

dnvk
Опубликовано · Жалоба

2max1976, новый конфигуратор творит чудеса! Спасибо!

C утра запилил решение от overty, запустил тест "проблемных" ссылок. почти все прорвались, но блогспот - порезало.

Сейчас запустип новый конфигуратор - из "проблемных" ссылок осталась лишь одна.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

max1976   

max1976
Опубликовано · Жалоба

2max1976, новый конфигуратор творит чудеса! Спасибо!

C утра запилил решение от overty, запустил тест "проблемных" ссылок. почти все прорвались, но блогспот - порезало.

Сейчас запустип новый конфигуратор - из "проблемных" ссылок осталась лишь одна.

 

Проверьте экспериментальную версию.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

dnvk   

dnvk
Опубликовано · Жалоба

max1976, экспериментальная версия и новый конфигуратор из вчерашнего проблемного списка порезали всё, кроме одной ссылки.

Сейчас запустил полный тест сегодняшней выгрузки. Пока прорвались две ссылки.

Попробую запустить эту связку на основном блокировщике.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

max1976   

max1976
Опубликовано · Жалоба

max1976, экспериментальная версия и новый конфигуратор из вчерашнего проблемного списка порезали всё, кроме одной ссылки.

Сейчас запустил полный тест сегодняшней выгрузки. Пока прорвались две ссылки.

Попробую запустить эту связку на основном блокировщике.

 

Пришлите ссылки.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

nma   

nma
Опубликовано (изменено) · Жалоба

Добавил недостающий файл.

Что то таже самая ошибка. Что за ndpiwrapper?

Making all in src
make[1]: Entering directory '/root/nfqfilter-experimental/src'
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp
mv -f .deps/main.Tpo .deps/main.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -MT nfqstatistictask.o -MD -MP -MF .deps/nfqstatistictask.Tpo -c -o nfqstatistictask.o nfqstatistictask.cpp
mv -f .deps/nfqstatistictask.Tpo .deps/nfqstatistictask.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -MT nfqthread.o -MD -MP -MF .deps/nfqthread.Tpo -c -o nfqthread.o nfqthread.cpp
nfqthread.cpp:42:25: fatal error: ndpiwrapper.h: No such file or directory
#include "ndpiwrapper.h"
                        ^
compilation terminated.
Makefile:357: recipe for target 'nfqthread.o' failed
make[1]: *** [nfqthread.o] Error 1
make[1]: Leaving directory '/root/nfqfilter-experimental/src'
Makefile:339: recipe for target 'all-recursive' failed
make: *** [all-recursive] Error 1

Изменено пользователем nma

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
Перейти к списку тем Программное обеспечение, биллинг и *unix системы