a6j

ОС ubuntu server 16.04, bash 4.3 Вывод: Содержимое list-whois.txt Пока тыкал скрипт, пару раз без ошибок отработал.

bash конечно же. Весь вывод показать? Остальные скрипты без ошибок.

dump_stat.sh выдаёт ошибку: ./dump_stat.sh: строка 124: let: ASCNT[63949]+=: синтаксическая ошибка: ожидается операнд (неверный маркер «+=») ./dump_stat.sh: строка 125: let: ASIPS[63949]+=: синтаксическая ошибка: ожидается операнд (неверный маркер «+=») Не критично конечно.

Самовывоз из г. Санкт-Петербурга либо отправка почтой в р. Карелия.

С 8-го числа в дампе ошибка: "ttp://bandafilm.ru/policecky-s-rublevki-2016/74-policeyskiy-s" У всех нормально парсится с такой опечаткой?

Засчитано в ручном режиме. Результат работы скриптов выводится на заббикс, если какой косяк я произвожу выгрузку в ручном режиме. Так было раньше, но за последние полгода все работает в автономном режиме и я только мониторю (поглядываю) раз в сутки. У меня тоже если дата совпадает, то запрос не отправляется. Надо переделать чтобы выгрузка происходила в любом случае. Иначе потом не доказать.

Спасибо но это и я могу. Нужен полноценный скрипт который парсит файл дампа на urls, domains и ips. То что я пытался написать работает, но не корректно. В результате обрабатывает только первые 80 записей или очень много повторений одних и тех же значений.

Аналогично, последняя автоматическая выгрузка была 9 марта в 23 ч 42 мин. Далее выгрузка не происходит из-за отсутствия изменений. В ручном режиме проверил, последнее изменение дампа 09.03.2016 21:03. "Получение выгрузки засчитано оператору связи" поэтому не стоит переживать.

Тут обсуждение...

Ололошиньки ололо! При проверке засчитывается если часть контента блокируется вышестоящим провайдером?

Вопрос с парсером актуален.У кого есть рабочий скрипт парсера на питоне с перекодировкой кириллических доменов? Простейший пример выдает в результате список только по 80 записей ip, domain, url from xml.dom import minidom xmldoc = minidom.parse('dump.xml') itemlist = xmldoc.getElementsByTagName('content') fileDomains = open('domain', "w") fileUrls = open('url', "w") fileIps = open('ip', "w") for c in itemlist : fileDomains.write(c.getElementsByTagName('domain')[0].childNodes[0].data.encode('utf-8') + '\n') fileUrls.write(c.getElementsByTagName('url')[0].childNodes[0].data.encode('utf-8') + '\n') fileIps.write(c.getElementsByTagName('ip')[0].childNodes[0].data.encode('utf-8') + '\n')

Сейчас парсер реализован на перле, функция обработки урл: sub saveURL { my $url = shift; if ($url =~ /^[a-z]+:\/\//) { my $uri = URI->new($url); my $host = $uri->host; return 0 if exists $exclude_domains{$host}; my $path = $uri->path_query; if ($path eq '' || $path eq '/') { $domains{$host} = 1; } else { $urls{$host . $path} = 1; } saveDomainIP($host) if $zapretcfg::resolve_domains; } else { warn "ERROR: saveURL: wrong url syntax: $url\n"; } return 1; } где: zapretcfg::resolve_domains = 1 (1 включение резолва, 0 отключение) exclude_domains - файл со списком доменов которые не фильтруются Как при помощи модуля URI::UTF8::Punycode реализовать поддержку кириллических доменов?

С появлением кириллических доменов, отключил в своем скрипте резолв, т.к. в ответ получаю: nslookup футболобзор.рф ** server can't find \209\132\209\131\209\130\208\177\208\190\208\187\208\190\208\177\208\183\208\190\209\128.\209\128\209\132: NXDOMAIN если перевести в punycode, то все работает: nslookup xn--90aasoobcqkjk.xn--p1ai Address: 91.201.202.148 На питоне кто-нибудь реализовывал конвертирование?

так вроде по реестру: "По Вашему запросу ничего не найдено"

Аналогичная ситуация, но еще замечаний по таким ресурсам не было, пока что. Бред полнейший, чем дальше тем хуже. Еще немного и проще будет пересмотреть политику фильтрации, запретить все что не разрешено. Действительно придется еще и со своим днс мутить.