max1976 Опубликовано 9 марта, 2016 · Жалоба у меня было дело в нагрузке на nfq. хоть по процу процессы и не упирались.. но похоже процесс не успевал за потоком сознания.. покажите правило в таблесах ? Много трафика попадает на фильтр? У меня редко до 20% доходит на виртуалке с одним cpu. Если по какой-то причине nfqfilter не будет успевать обрабатывать пакеты, то в сислоге будет соответствующая запись от ядра. Здесь в разделе Misc есть описание как посмотреть что происходит с очередью и были ли переполнения и дропы: nfnetlink_queue has a dedicated entry in /proc: /proc/net/netfilter/nfnetlink_queue cat /proc/net/netfilter/nfnetlink_queue 40 23948 0 2 65531 0 0 106 1 The content is the following: queue number peer portid: good chance it is process ID of software listening to the queue queue total: current number of packets waiting in the queue copy mode: 0 and 1 only message only provide meta data. If 2 message provide a part of packet of size copy range. copy range: length of packet data to put in message queue dropped: number of packets dropped because queue was full user dropped: number of packets dropped because netlink message could not be sent to userspace. If this counter is not zero, try to increase netlink buffer size. On the application side, you will see gap in packet id if netlink message are lost. id sequence: packet id of last packet 1 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 9 марта, 2016 (изменено) · Жалоба у меня на небольшом даже трафике user dropped.. %Cpu0 : 0.9 us, 1.9 sy, 0.0 ni, 95.8 id, 0.0 wa, 0.0 hi, 1.4 si, 0.0 st %Cpu1 : 0.4 us, 0.4 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st %Cpu2 : 0.4 us, 0.4 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st %Cpu3 : 0.3 us, 0.3 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st root 14326 0.1 4.6 346248 88000 ? Ssl 19:20 0:16 /usr/local/bin/nfqfilter1 --daemon --pidfile=/var/run/nfqfilter4.pid -c /opt/nfqfilter/nfqfilter4.ini root 14995 6.7 4.6 346340 87840 ? Ssl 21:03 2:40 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter.pid -c /opt/nfqfilter/nfqfilter.ini root 14999 5.9 4.6 346340 87840 ? Ssl 21:03 2:21 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter1.pid -c /opt/nfqfilter/nfqfilter1.ini root 15003 4.8 4.6 346336 87836 ? Ssl 21:03 1:55 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter2.pid -c /opt/nfqfilter/nfqfilter2.ini root 15008 7.6 4.6 346336 87836 ? Ssl 21:03 3:02 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter3.pid -c /opt/nfqfilter/nfqfilter3.ini root 15012 0.4 4.6 346336 87840 ? Ssl 21:03 0:10 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter9.pid -c /opt/nfqfilter/nfqfilter9.ini cat /proc/net/netfilter/nfnetlink_queue 0 14995 0 2 65531 0 0 3307661 1 1 14999 0 2 65531 0 0 2649857 1 2 15003 0 2 65531 0 0 2006770 1 3 15008 0 2 65531 0 0 4012015 1 4 14326 0 2 65531 0 0 45923 1 9 15012 0 2 65531 0 0 77457 1 и числа растут.. причем в 4 очереди сейчас только 1 адрес с которого работает проверялка ркн в 20 (!) потоков (в дистрибе там 100). Изменено 9 марта, 2016 пользователем zhenya` Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 9 марта, 2016 · Жалоба у меня на небольшом даже трафике user dropped.. %Cpu0 : 0.9 us, 1.9 sy, 0.0 ni, 95.8 id, 0.0 wa, 0.0 hi, 1.4 si, 0.0 st %Cpu1 : 0.4 us, 0.4 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st %Cpu2 : 0.4 us, 0.4 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st %Cpu3 : 0.3 us, 0.3 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st root 14326 0.1 4.6 346248 88000 ? Ssl 19:20 0:16 /usr/local/bin/nfqfilter1 --daemon --pidfile=/var/run/nfqfilter4.pid -c /opt/nfqfilter/nfqfilter4.ini root 14995 6.7 4.6 346340 87840 ? Ssl 21:03 2:40 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter.pid -c /opt/nfqfilter/nfqfilter.ini root 14999 5.9 4.6 346340 87840 ? Ssl 21:03 2:21 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter1.pid -c /opt/nfqfilter/nfqfilter1.ini root 15003 4.8 4.6 346336 87836 ? Ssl 21:03 1:55 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter2.pid -c /opt/nfqfilter/nfqfilter2.ini root 15008 7.6 4.6 346336 87836 ? Ssl 21:03 3:02 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter3.pid -c /opt/nfqfilter/nfqfilter3.ini root 15012 0.4 4.6 346336 87840 ? Ssl 21:03 0:10 /usr/local/bin/nfqfilter --daemon --pidfile=/var/run/nfqfilter9.pid -c /opt/nfqfilter/nfqfilter9.ini cat /proc/net/netfilter/nfnetlink_queue 0 14995 0 2 65531 0 0 3307661 1 1 14999 0 2 65531 0 0 2649857 1 2 15003 0 2 65531 0 0 2006770 1 3 15008 0 2 65531 0 0 4012015 1 4 14326 0 2 65531 0 0 45923 1 9 15012 0 2 65531 0 0 77457 1 и числа растут.. причем в 4 очереди сейчас только 1 адрес с которого работает проверялка ркн в 20 (!) потоков (в дистрибе там 100). Я не вижу user dropped - у вас все по нулям. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 9 марта, 2016 · Жалоба а блин.. индексы спутал :( сорри. сейчас то все корректно работает. я выкинул лишний трафик с nfq. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 9 марта, 2016 (изменено) · Жалоба Версия nfqfilter последняя (я вчера выкладывал обновление)? обновил, пересобрался nDPI, теперь всё ок, спасибо! =) только вот прога которой проверяет РКН кричит "доступен" где в домене присутствуют заглавные буквы, но nfqfilter их блокирует, это уже баг проги Изменено 9 марта, 2016 пользователем yKpon Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Zarin Опубликовано 10 марта, 2016 (изменено) · Жалоба yKpon, приветствую, где взять прогу, которой проверяет РКН ? max1976, приветствую. Покажи пожалуйста, что у тебя в дебаге nfqfilter при открытии например http://www.originals-diploms.com/ ? Изменено 10 марта, 2016 пользователем Zarin Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 10 марта, 2016 · Жалоба yKpon, приветствую, где взять прогу, которой проверяет РКН ? доброго http://forum.nag.ru/forum/index.php?showtopic=79886&view=findpost&p=1252877 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 10 марта, 2016 · Жалоба уже лучше Всего доступно URL: 95 (0,49%). Реестровых записей: 79 (0,44%)авторские права 30. Реестровых записей: 14 (17,72%) азартные игры 1. Реестровых записей: 1 (1,27%) детская порнография 2. Реестровых записей: 2 (2,53%) наркотические средства 9. Реестровых записей: 9 (11,39%) прочее 43. Реестровых записей: 43 (54,43%) суицид 1. Реестровых записей: 1 (1,27%) экстремизм 9. Реестровых записей: 9 (11,39%) http://al-wayi.blogspot.ru/ есть в реестре, но почему-то не блокируется Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Voronok Опубликовано 10 марта, 2016 (изменено) · Жалоба Всем доброго. Используем SCE2000, так и не решили как блокировать https трафик. Вариантов вижу три: 1) Использовать nfqfilter, загонять на него только https трафик. Можно не весь, а только IP тех записей реестра, которые https. Блокировать будет домены, а не урлы, правильно? Интересно, заглушка будет работать, если поместить её на сайте с https? 2) Блокировать на маршрутизаторе IP тех записей реестра, которые https. Тут понятно, что заглушки нет. Минусом идёт блокирование левых сайтов на одном IP. 3) Резолвить https записи из реестра куда-нибудь в нули или на локалхост. Можно попробовать резолвить на https сайт с заглушкой. Дополнительно придётся закрыть использование внешних DNS, что может вызвать (обязательно вызовет) кучу проблем у абонентов - на роутерах, ммобильных девайсах частенько прописаны гугловские DNS сервера. Как вариант можно перенаправлять DNS запросы на свои сервера. Может ещё какие есть способы, о которых я не знаю? Поделитесь, пожалуйста. И вообще, интересно, кто как справляется с https трафиком. Интересно, а SCE может разбирать DNS запросы по аналогии с HTTP и дропать или перенаправлять нужные? Это так, в порядке бреда. Сам пока склоняюсь к тому, чтобы перенаправлять DNS запросы на свой DNS сервер, который будет резолвить нужные домены на https сайт с заглушкой. Но и посматриваю на nfqfilter. Изменено 10 марта, 2016 пользователем Voronok Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Zarin Опубликовано 10 марта, 2016 · Жалоба yKpon, а вот этот ресурс http://konan-vesti.blogspot.ru/2015/11/18.html ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 10 марта, 2016 · Жалоба yKpon, а вот этот ресурс http://konan-vesti.blogspot.ru/2015/11/18.html ? +1 url есть в выгрузке, не блокируется Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Zarin Опубликовано 10 марта, 2016 · Жалоба yKpon включи дебаг, покажи как nfqfilter их определяет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 10 марта, 2016 (изменено) · Жалоба yKpon включи дебаг, покажи как nfqfilter их определяет. cat nfqfilter.log | grep konan-vesti.blogspot.ru 2016-03-10 14:47:45.947 [5601] Debug nfqThread - URL seek occupied 80 us for uri openstat.net/cnt?cid=1&p=8&pg=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&pvid=0e4ae7b8-00bb-4f31-b847-54ae782a4ede&name=mousemove&data=%7B%22duration%22%3A536%2C%22distance%22%3A1965%7D&rn=0.024105438962578773 2016-03-10 14:47:46.775 [5601] Debug nfqThread - URL seek occupied 32 us for uri counter.yadro.ru/hit;All_da_nnn_dn_realty?r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;0.1462625723797828 2016-03-10 14:47:46.821 [5601] Debug nfqThread - URL seek occupied 107 us for uri vk.com/widget_community.php?app=0&width=220px&_ver=1&gid=48361621&mode=1&color1=FFFFFF&color2=2B587A&color3=5B7FA6&class_name=&height=200&url=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&referrer=&title=%D0%9C%D0%BE%D0%B8%20%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B8%3A%20%22%D0%A1%D0%BA%D0%BE%D1%80%D0%BE%2C%20%D0%BE%D1%87%D0%B5%D0%BD%D1%8C%20%D1%81%D0%BA%D0%BE%D1%80%D0%BE%20%D0%BA%D1%80%D0%BE%D0%B2%D1%8C%20%D0%BF%D0%BE%D0%BB%D1%8C%D0%B5%D1%82%D1%81%D1%8F%20%D0%BC%D0%BE%D1%80%D0%B5%D0%BC%22%20%3A%20%D0%BC%D1%83%D0%B7%D1%8B%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5%20%D0%BF%D0%BE%D1%81%D0%BB%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%80%D0%BE...&153605af892 2016-03-10 14:47:46.875 [5601] Debug nfqThread - URL seek occupied 43 us for uri counter.yadro.ru/hit?t27.17;r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;0.30519999470561743 2016-03-10 14:47:46.922 [5601] Debug nfqThread - URL seek occupied 49 us for uri counter.yadro.ru/hit;All_da_nnn_dn_realty?r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;0.3049088635016233 2016-03-10 14:47:46.955 [5601] Debug nfqThread - URL seek occupied 86 us for uri openstat.net/cnt?cid=1&c=1&fr=1&fl=21.0&px=24&wh=1920x1080&j=N&t=-180&h5=111111&pg=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&r=&title=%D0%9C%D0%BE%D0%B8%20%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B8%3A%20%22%D0%A1%D0%BA%D0%BE%D1%80%D0%BE%2C%20%D0%BE%D1%87%D0%B5%D0%BD%D1%8C%20%D1%81%D0%BA%D0%BE%D1%80%D0%BE%20%D0%BA%D1%80%D0%BE%D0%B2%D1%8C%20%D0%BF%D0%BE%D0%BB%D1%8C%D0%B5%D1%82%D1%81%D1%8F%20%D0%BC%D0%BE%D1%80%D0%B5%D0%BC%22%20%3A%20%D0%BC%D1%83%D0%B7%D1%8B%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5%20%D0%BF%D0%BE%D1%81%D0%BB%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%80%D0%BE%D1%81%D1%81%D0%B8%D1%8F%D0%BD%D0%B0%D0%BC%20%D0%BE%D1%82%20%D0%98%D0%93%D0%98%D0%9B%20(%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE%2018%2B).&rn=0.08858534041792154 2016-03-10 14:47:47.006 [5601] Debug nfqThread - URL seek occupied 68 us for uri counter.yadro.ru/hit;PLUSO?r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;hМои%20новости%3A%20%22Скоро%2C%20очень%20скоро%20кровь%20польется%20морем%22%20%3A%20музыкальное%20послание%20ро;1 2016-03-10 14:47:47.016 [5601] Debug nfqThread - URL seek occupied 255 us for uri 8vco9o7nuj5c2siebikqjj1a53konthn-a-fc-opensocial.googleusercontent.com/gadgets/ifr?url=http://bloggerplugins.org/scripts/recent_posts_with_thumbnails_and_more_from_www.bloggerplugins.org.xml&container=peoplesense&parent=http://konan-vesti.blogspot.ru/&mid=0&view=profile&libs=google.blog&d=0.1-7cab53c9_b20982aa_f81fe7c7_06c25136_6024baab.7〈=ru&view-params=%7B%22p%22:false,%22a%22:%2210%22,%22b%22:%2260%22,%22c%22:%222%22,%22d%22:false,%22e%22:%22150%22,%22f%22:false,%22g%22:false,%22h%22:false,%22i%22:true,%22k%22:false,%22l%22:false,%22skin%22:%7B%22FACE_SIZE%22:%2232%22,%22HEIGHT%22:%22200%22,%22BORDER_COLOR%22:%22transparent%22,%22ENDCAP_BG_COLOR%22:%22transparent%22,%22ENDCAP_TEXT_COLOR%22:%22%23131127%22,%22ENDCAP_LINK_COLOR%22:%22%23fc0069%22,%22CONTENT_BG_COLOR%22:%22transparent%22,%22CONTENT_LINK_COLOR%22:%22%23fc0069%22,%22CONTENT_TEXT_COLOR%22:%22%23131127%22,%22CONTENT_SECONDARY_LINK_COLOR%22:%22%23fc0069%22,%22CONTENT_SECONDARY_TEXT_COLOR%22:%22%23666666%22,%22CONTENT_HEADLINE_COLOR%22:%22%236100ae%22%7D%7D&up_a=10&up_b=60&up_c=2&up_d=0&up_e=150&up_f=0&up_g=0&up_h=0&up_i=1&up_j&up_k=0&up_l=0&up_m&up_n&up_o&up_p=0&up_q&communityId=07469117048984955303&caller=http://konan-vesti.blogspot.ru/2015/11/18.html 2016-03-10 14:47:47.018 [5601] Debug nfqThread - URL seek occupied 66 us for uri share.pluso.ru/process?act=counter&u=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&w=1920&h=1080&ref=&uid=7946660921632912563&k=gEJtKyMUBbFdRoUF&first=1 2016-03-10 14:47:47.192 [5601] Debug nfqThread - URL seek occupied 231 us for uri www.google-analytics.com/__utm.gif?utmwv=5.6.7&utms=4&utmn=1741165010&utmhn=www-blogger-opensocial.googleusercontent.com&utmcs=UTF-8&utmsr=1920x1080&utmvp=206x363&utmsc=24-bit&utmul=ru&utmje=0&utmfl=21.0%20r0&utmhid=331776042&utmr=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&utmp=%2Fgadgets%2Fifr%3Furl%3Dhttp%3A%2F%2Fhosting.gmodules.com%2Fig%2Fgadgets%2Ffile%2F102529245987050581532%2Fweb-cam.xml%26container%3Dblogger%26view%3Ddefault%26lang%3Dru%26country%3DALL%26sanitize%3D0%26v%3D37cb0b0866f88e48%26libs%3Danalytics%3Acore%3Asetprefs%26parent%3Dkonan-vesti.blogspot.ru%2F%26up_interval%3D15%26mid%3D2&utmht=1457610488354&utmac=UA-9164799-2&utmcc=__utma%3D7433012.1965128883.1457608346.1457608346.1457610223.2%3B%2B__utmz%3D7433012.1457610223.2.2.utmcsr%3Dkonan-vesti.blogspot.ru%7Cutmccn%3D(referral)%7Cutmcmd%3Dreferral%7Cutmcct%3D%2F2015%2F11%2F18.html%3B&utmjid=&utmu=qAAAAAAAAAAAAAAAAAAAAAAE~ 2016-03-10 14:47:47.251 [5601] Debug nfqThread - URL seek occupied 53 us for uri widget3.linkwithin.com/show_widget?site_id=1263947&url=http%3A//konan-vesti.blogspot.ru/2015/11/18.html&callback=LW.sw&widget_id=0&permalink=http%3A//konan-vesti.blogspot.ru/2015/11/18.html&width=696&version=35 2016-03-10 14:47:47.286 [5601] Debug nfqThread - URL seek occupied 27 us for uri kitbit.net/s.js?u=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html 2016-03-10 14:47:47.286 [5601] Debug nfqThread - URL seek occupied 76 us for uri kitbit.net/h.gif?r=&s=1920*1080*24&u=http%3A//konan-vesti.blogspot.ru/2015/11/18.html&h=Мои%20новости%3A%20%22Скоро%2C%20очень%20скоро%20кровь%20польется%20морем%22%20%3A%20музыкальное%20послание%20ро%26kbuid%3D5EFC831F175ACD5689B7E11602C7A73D 2016-03-10 14:47:47.424 [5601] Debug nfqThread - URL seek occupied 124 us for uri t.insigit.com/8fe1a90e434004cb9823641ceb64b783/3696d9c5412d7dbcbaf1f52aba44c40f?event=info&time=1457610488405&__v=76723&url=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&cookie=DA_test%3D1%3B%20_ym_uid%3D1457608346626510916%3B%20_ym_isad%3D0&user_agent=Mozilla%2F5.0%20(Windows%20NT%206.1%3B%20WOW64)%20AppleWebKit%2F537.36%20(KHTML%2C%20like%20Gecko)%20Chrome%2F48.0.2564.116%20Safari%2F537.36 2016-03-10 14:47:47.437 [5601] Debug nfqThread - URL seek occupied 206 us for uri www.google-analytics.com/collect?v=1&_v=j41&a=1188874402&t=pageview&_s=1&dl=http%3A%2F%2Fwww.webcams.travel%2Fservices%2Fgadget%2Fiframe_ad.php&dr=http%3A%2F%2Fwww-blogger-opensocial.googleusercontent.com%2Fgadgets%2Fifr%3Furl%3Dhttp%3A%2F%2Fhosting.gmodules.com%2Fig%2Fgadgets%2Ffile%2F102529245987050581532%2Fweb-cam.xml%26container%3Dblogger%26view%3Ddefault%26lang%3Dru%26country%3DALL%26sanitize%3D0%26v%3D37cb0b0866f88e48%26libs%3Danalytics%3Acore%3Asetprefs%26parent%3Dkonan-vesti.blogspot.ru%2F%26up_interval%3D15%26mid%3D2&ul=ru&de=UTF-8&sd=24-bit&sr=1920x1080&vp=234x60&je=0&fl=21.0%20r0&_u=AACAAEABI~&jid=&cid=1404016693.1457608346&tid=UA-128472-20&z=1575345843 2016-03-10 14:47:47.458 [5601] Debug nfqThread - URL seek occupied 48 us for uri counter.yadro.ru/hit;All_da_nnn_dn_realty?r;s1920*1080*24;uhttp%3A//konan-vesti.blogspot.ru/2015/11/18.html;0.12194654648192227 2016-03-10 14:47:47.756 [5601] Debug nfqThread - URL seek occupied 144 us for uri www.google-analytics.com/__utm.gif?utmwv=1.4&utmn=1177979653&utmcs=UTF-8&utmsr=1920x1080&utmsc=24-bit&utmul=ru&utmje=0&utmfl=21.0%20r0&utmhn=www-blogger-opensocial.googleusercontent.com&utmhid=331776042&utmr=http://konan-vesti.blogspot.ru/2015/11/18.html&utmp=/gadget/randomwebcam&utmac=UA-6819136-1&utmcc=__utma%3D7433012.1965128883.1457608346.1457608346.1457610223.2%3B%2B__utmz%3D7433012.1457610223.2.2.utmcsr%3Dkonan-vesti.blogspot.ru%7Cutmccn%3D(referral)%7Cutmcmd%3Dreferral%7Cutmcct%3D%2F2015%2F11%2F18.html%3B%2B 2016-03-10 14:47:48.038 [5601] Debug nfqThread - URL seek occupied 73 us for uri openstat.net/cnt?cid=1&p=7&pg=http%3A%2F%2Fkonan-vesti.blogspot.ru%2F2015%2F11%2F18.html&pues=305&puee=307&pfs=5&pdls=5&pdle=5&pcs=5&pce=5&prqs=11&prss=291&prse=305&pdl=335&pdi=911&pdcs=911&pdce=920&pdc=1925&ples=1925&plee=1932&rn=0.4915612356271595 Изменено 10 марта, 2016 пользователем yKpon Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vop Опубликовано 10 марта, 2016 · Жалоба ... в целом подход надо менять... Offtopic: Как там было в старом советском анекдоте, где сантехник, вызванный в горком, сказал - "О! Да тут надо всю систему менять!" :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
overty Опубликовано 10 марта, 2016 · Жалоба yKpon, а вот этот ресурс http://konan-vesti.blogspot.ru/2015/11/18.html ? +1 url есть в выгрузке, не блокируется konan-vesti.blogspot.ru находится на IP 173.194.219.132 Если посмотреть в исходники ndpi src/lib/ndpi_content_match.c.inc, то видно это /* Google 173.194.0.0/16 64.233.160.0/19 */ { 0xADC20000 /* 173.194.0.0 */, 16, NDPI_SERVICE_GOOGLE }, { 0x40E91600 /* 64.233.160.0 */, 19, NDPI_SERVICE_GOOGLE }, Соответсвенно NDPI определяет этот ресурс как NDPI_SERVICE_GOOGLE. Я у себя полностью вычистил файл src/lib/ndpi_content_match.c.inc стало меньше проблем с блокировкой. Если нужно то вот мое содержимое этого файла /* * ndpi_content_match.c * * Copyright (C) 2011-15 - ntop.org * * nDPI is free software: you can redistribute it and/or modify * it under the terms of the GNU Lesser General Public License as published by * the Free Software Foundation, either version 3 of the License, or * (at your option) any later version. * * nDPI is distributed in the hope that it will be useful, * but WITHOUT ANY WARRANTY; without even the implied warranty of * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the * GNU Lesser General Public License for more details. * * You should have received a copy of the GNU Lesser General Public License * along with nDPI. If not, see <http://www.gnu.org/licenses/>. * */ typedef struct { char *string_to_match, *proto_name; int protocol_id; ndpi_protocol_breed_t protocol_breed; } ndpi_protocol_match; typedef struct { u_int32_t network; u_int8_t cidr; u_int8_t value; } ndpi_network; /* ****************************************************** */ static ndpi_network host_protocol_list[] = { { 0x0, 0, 0 } }; /* ****************************************************** */ /* Host-based match HTTP: Server: field HTTPS: Server certificate name */ ndpi_protocol_match host_match[] = { { NULL, 0 } }; /* Mime-type content match match */ ndpi_protocol_match content_match[] = { { NULL, 0 } }; /* ****************************************************** */ static const char *ndpi_en_bigrams[] = { "aa", "ba", "ca", "da", "ea", "fa", "ga", "ha", "ia", "ja", "ka", "la", "ma", "na", "oa", "pa", "qa", "ra", "sa", "ta", "ua", "va", "wa", "xa", "ya", "za", "ab", "bb", "db", "eb", "fb", "gb", "hb", "ib", "kb", "lb", "mb", "nb", "ob", "pb", "rb", "sb", "tb", "ub", "wb", "yb", "ac", "bc", "cc", "dc", "ec", "fc", "gc", "hc", "ic", "kc", "lc", "mc", "nc", "oc", "pc", "rc", "sc", "tc", "uc", "wc", "xc", "yc", "ad", "bd", "cd", "dd", "ed", "fd", "gd", "hd", "id", "kd", "ld", "md", "nd", "od", "pd", "rd", "sd", "td", "ud", "wd", "xd", "yd", "zd", "ae", "be", "ce", "de", "ee", "fe", "ge", "he", "ie", "je", "ke", "le", "me", "ne", "oe", "pe", "re", "se", "te", "ue", "ve", "we", "xe", "ye", "ze", "af", "bf", "df", "ef", "ff", "gf", "hf", "if", "kf", "lf", "mf", "nf", "of", "pf", "rf", "sf", "tf", "uf", "wf", "xf", "yf", "zf", "ag", "bg", "dg", "eg", "fg", "gg", "hg", "ig", "kg", "lg", "ng", "og", "pg", "rg", "sg", "tg", "ug", "wg", "yg", "ah", "bh", "ch", "dh", "eh", "fh", "gh", "hh", "ih", "kh", "lh", "mh", "nh", "oh", "ph", "rh", "sh", "th", "uh", "wh", "xh", "yh", "ai", "bi", "ci", "di", "ei", "fi", "gi", "hi", "ii", "ji", "ki", "li", "mi", "ni", "oi", "pi", "qi", "ri", "si", "ti", "ui", "vi", "wi", "xi", "yi", "zi", "aj", "bj", "dj", "ej", "fj", "gj", "hj", "ij", "jj", "kj", "lj", "nj", "oj", "pj", "rj", "sj", "tj", "uj", "wj", "yj", "ak", "ck", "dk", "ek", "gk", "ik", "kk", "lk", "mk", "nk", "ok", "pk", "rk", "sk", "tk", "uk", "wk", "yk", "zk", "al", "bl", "cl", "dl", "el", "fl", "gl", "hl", "il", "kl", "ll", "ml", "nl", "ol", "pl", "rl", "sl", "tl", "ul", "vl", "wl", "xl", "yl", "zl", "am", "bm", "cm", "dm", "em", "fm", "gm", "hm", "im", "km", "lm", "mm", "nm", "om", "pm", "rm", "sm", "tm", "um", "wm", "xm", "ym", "zm", "an", "bn", "cn", "dn", "en", "fn", "gn", "hn", "in", "kn", "ln", "mn", "nn", "on", "pn", "rn", "sn", "tn", "un", "wn", "xn", "yn", "ao", "bo", "co", "do", "eo", "fo", "go", "ho", "io", "jo", "ko", "lo", "mo", "no", "oo", "po", "ro", "so", "to", "uo", "vo", "wo", "xo", "yo", "zo", "ap", "bp", "dp", "ep", "fp", "gp", "hp", "ip", "kp", "lp", "mp", "np", "op", "pp", "rp", "sp", "tp", "up", "wp", "xp", "yp", "zp", "aq", "cq", "dq", "eq", "hq", "iq", "nq", "oq", "qq", "rq", "sq", "uq", "xq", "ar", "br", "cr", "dr", "er", "fr", "gr", "hr", "ir", "kr", "lr", "mr", "nr", "or", "pr", "rr", "sr", "tr", "ur", "vr", "wr", "xr", "yr", "as", "bs", "cs", "ds", "es", "fs", "gs", "hs", "is", "ks", "ls", "ms", "ns", "os", "ps", "rs", "ss", "ts", "us", "vs", "ws", "xs", "ys", "at", "bt", "ct", "dt", "et", "ft", "gt", "ht", "it", "kt", "lt", "mt", "nt", "ot", "pt", "rt", "st", "tt", "ut", "wt", "xt", "yt", "zt", "au", "bu", "cu", "du", "eu", "fu", "gu", "hu", "iu", "ju", "ku", "lu", "mu", "nu", "ou", "pu", "qu", "ru", "su", "tu", "uu", "vu", "wu", "xu", "yu", "zu", "av", "bv", "dv", "ev", "iv", "lv", "mv", "nv", "ov", "rv", "sv", "tv", "uv", "vv", "zv", "aw", "bw", "dw", "ew", "fw", "gw", "hw", "iw", "kw", "lw", "mw", "nw", "ow", "pw", "rw", "sw", "tw", "uw", "ww", "xw", "yw", "zw", "ax", "ex", "ix", "nx", "ox", "rx", "ux", "xx", "yx", "ay", "by", "cy", "dy", "ey", "fy", "gy", "hy", "ky", "ly", "my", "ny", "oy", "py", "ry", "sy", "ty", "uy", "vy", "wy", "xy", "yy", "zy", "az", "bz", "cz", "dz", "ez", "gz", "iz", "lz", "nz", "oz", "pz", "rz", "tz", "uz", "zz", NULL }; static const char *ndpi_en_impossible_bigrams[] = { "bk", "bq", "bx", "cb", "cf", "cg", "cj", "cp", "cv", "cw", "cx", "dx", "fk", "fq", "fv", "fx", "ee", "fz", "gq", "gv", "gx", "hh", "hk", "hv", "hx", "hz", "iy", "jb", "jc", "jd", "jf", "jg", "jh", "jk", "jl", "jm", "jn", "jp", "jq", "jr", "js", "jt", "jv", "jw", "jx", "jy", "jz", "kg", "kq", "kv", "kx", "kz", "lq", "lx", "mg", "mj", "mq", "mx", "mz", "pq", "pv", "px", "qb", "qc", "qd", "qe", "qf", "ii", "qg", "qh", "qj", "qk", "ql", "qm", "qn", "qo", "qp", "qr", "qs", "qt", "qv", "qw", "qx", "qy", "uu", "qz", "sx", "sz", "tq", "tx", "vb", "vc", "vd", "vf", "vg", "vh", "vj", "vk", "vm", "vn", "vp", "bw", "vq", "vt", "vw", "vx", "vz", "wq", "wv", "wx", "wz", "xb", "xg", "xj", "xk", "xv", "xz", "xw", "yd", "yp", "yj", "yq", "yv", "yz", "yw", "zb", "zc", "zg", "zh", "zj", "zn", "zq", "zr", "zs", "zx", "wh", "wk", "wb", "zk", "kp", "zk", "xy", NULL }; Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 10 марта, 2016 (изменено) · Жалоба Сделал экспериментальную версию nfqfilter. Произведена оптимизация некоторых алгоритмов. На данной версии с blogspot и подобными сервисами проблема не появляется. Изменено 10 марта, 2016 пользователем max1976 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Zarin Опубликовано 10 марта, 2016 · Жалоба max1976, изменения связанны с тем, что для blogspot и подобных не определялся master_protocol ? Я просто уже все перерыл и начал косить на nf_queue. А между делом, сделал как overty. Писал об этом ранее. :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nma Опубликовано 11 марта, 2016 · Жалоба to max1976 Экспериментальная версия что-то не собирается Making all in src make[1]: Entering directory '/root/nfqfilter-experimental/src' g++ -DHAVE_CONFIG_H -I. -I../include -I../nDPI/src/include -std=c++0x -O2 -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp mv -f .deps/main.Tpo .deps/main.Po g++ -DHAVE_CONFIG_H -I. -I../include -I../nDPI/src/include -std=c++0x -O2 -MT nfqstatistictask.o -MD -MP -MF .deps/nfqstatistictask.Tpo -c -o nfqstatistictask.o nfqstatistictask.cpp mv -f .deps/nfqstatistictask.Tpo .deps/nfqstatistictask.Po g++ -DHAVE_CONFIG_H -I. -I../include -I../nDPI/src/include -std=c++0x -O2 -MT nfqthread.o -MD -MP -MF .deps/nfqthread.Tpo -c -o nfqthread.o nfqthread.cpp nfqthread.cpp:42:25: fatal error: ndpiwrapper.h: No such file or directory #include "ndpiwrapper.h" ^ compilation terminated. Makefile:357: recipe for target 'nfqthread.o' failed make[1]: *** [nfqthread.o] Error 1 make[1]: Leaving directory '/root/nfqfilter-experimental/src' Makefile:339: recipe for target 'all-recursive' failed make: *** [all-recursive] Error 1 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 11 марта, 2016 · Жалоба to max1976 Экспериментальная версия что-то не собирается Добавил недостающий файл. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 11 марта, 2016 · Жалоба Обновлён конфигуратор. Теперь блокируются url в оригинальном виде из списка. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dnvk Опубликовано 11 марта, 2016 · Жалоба 2max1976, новый конфигуратор творит чудеса! Спасибо! C утра запилил решение от overty, запустил тест "проблемных" ссылок. почти все прорвались, но блогспот - порезало. Сейчас запустип новый конфигуратор - из "проблемных" ссылок осталась лишь одна. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 11 марта, 2016 · Жалоба 2max1976, новый конфигуратор творит чудеса! Спасибо! C утра запилил решение от overty, запустил тест "проблемных" ссылок. почти все прорвались, но блогспот - порезало. Сейчас запустип новый конфигуратор - из "проблемных" ссылок осталась лишь одна. Проверьте экспериментальную версию. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dnvk Опубликовано 11 марта, 2016 · Жалоба max1976, экспериментальная версия и новый конфигуратор из вчерашнего проблемного списка порезали всё, кроме одной ссылки. Сейчас запустил полный тест сегодняшней выгрузки. Пока прорвались две ссылки. Попробую запустить эту связку на основном блокировщике. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 11 марта, 2016 · Жалоба max1976, экспериментальная версия и новый конфигуратор из вчерашнего проблемного списка порезали всё, кроме одной ссылки. Сейчас запустил полный тест сегодняшней выгрузки. Пока прорвались две ссылки. Попробую запустить эту связку на основном блокировщике. Пришлите ссылки. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nma Опубликовано 11 марта, 2016 (изменено) · Жалоба Добавил недостающий файл. Что то таже самая ошибка. Что за ndpiwrapper? Making all in src make[1]: Entering directory '/root/nfqfilter-experimental/src' g++ -DHAVE_CONFIG_H -I. -I../include -I../nDPI/src/include -std=c++0x -O2 -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp mv -f .deps/main.Tpo .deps/main.Po g++ -DHAVE_CONFIG_H -I. -I../include -I../nDPI/src/include -std=c++0x -O2 -MT nfqstatistictask.o -MD -MP -MF .deps/nfqstatistictask.Tpo -c -o nfqstatistictask.o nfqstatistictask.cpp mv -f .deps/nfqstatistictask.Tpo .deps/nfqstatistictask.Po g++ -DHAVE_CONFIG_H -I. -I../include -I../nDPI/src/include -std=c++0x -O2 -MT nfqthread.o -MD -MP -MF .deps/nfqthread.Tpo -c -o nfqthread.o nfqthread.cpp nfqthread.cpp:42:25: fatal error: ndpiwrapper.h: No such file or directory #include "ndpiwrapper.h" ^ compilation terminated. Makefile:357: recipe for target 'nfqthread.o' failed make[1]: *** [nfqthread.o] Error 1 make[1]: Leaving directory '/root/nfqfilter-experimental/src' Makefile:339: recipe for target 'all-recursive' failed make: *** [all-recursive] Error 1 Изменено 11 марта, 2016 пользователем nma Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...