Перейти к содержимому
Калькуляторы

a6j

Активный участник
  • Публикации

    23
  • Зарегистрирован

  • Посещение

О a6j

  • Звание
    Абитуриент
  • День рождения 03.08.1981

Информация

  • Пол
    Мужчина
  1. ОС ubuntu server 16.04, bash 4.3 Вывод: Содержимое list-whois.txt Пока тыкал скрипт, пару раз без ошибок отработал.
  2. bash конечно же. Весь вывод показать? Остальные скрипты без ошибок.
  3. dump_stat.sh выдаёт ошибку: ./dump_stat.sh: строка 124: let: ASCNT[63949]+=: синтаксическая ошибка: ожидается операнд (неверный маркер «+=») ./dump_stat.sh: строка 125: let: ASIPS[63949]+=: синтаксическая ошибка: ожидается операнд (неверный маркер «+=») Не критично конечно.
  4. Самовывоз из г. Санкт-Петербурга либо отправка почтой в р. Карелия.
  5. Опубликована Процедура блокировки некошерной инфо

    С 8-го числа в дампе ошибка: "ttp://bandafilm.ru/policecky-s-rublevki-2016/74-policeyskiy-s" У всех нормально парсится с такой опечаткой?
  6. Опубликована Процедура блокировки некошерной инфо

    Засчитано в ручном режиме. Результат работы скриптов выводится на заббикс, если какой косяк я произвожу выгрузку в ручном режиме. Так было раньше, но за последние полгода все работает в автономном режиме и я только мониторю (поглядываю) раз в сутки. У меня тоже если дата совпадает, то запрос не отправляется. Надо переделать чтобы выгрузка происходила в любом случае. Иначе потом не доказать.
  7. Опубликована Процедура блокировки некошерной инфо

    Спасибо но это и я могу. Нужен полноценный скрипт который парсит файл дампа на urls, domains и ips. То что я пытался написать работает, но не корректно. В результате обрабатывает только первые 80 записей или очень много повторений одних и тех же значений.
  8. Опубликована Процедура блокировки некошерной инфо

    Аналогично, последняя автоматическая выгрузка была 9 марта в 23 ч 42 мин. Далее выгрузка не происходит из-за отсутствия изменений. В ручном режиме проверил, последнее изменение дампа 09.03.2016 21:03. "Получение выгрузки засчитано оператору связи" поэтому не стоит переживать.
  9. Опубликована Процедура блокировки некошерной инфо

    Тут обсуждение...
  10. Опубликована Процедура блокировки некошерной инфо

    Ололошиньки ололо! При проверке засчитывается если часть контента блокируется вышестоящим провайдером?
  11. Опубликована Процедура блокировки некошерной инфо

    Вопрос с парсером актуален.У кого есть рабочий скрипт парсера на питоне с перекодировкой кириллических доменов? Простейший пример выдает в результате список только по 80 записей ip, domain, url from xml.dom import minidom xmldoc = minidom.parse('dump.xml') itemlist = xmldoc.getElementsByTagName('content') fileDomains = open('domain', "w") fileUrls = open('url', "w") fileIps = open('ip', "w") for c in itemlist : fileDomains.write(c.getElementsByTagName('domain')[0].childNodes[0].data.encode('utf-8') + '\n') fileUrls.write(c.getElementsByTagName('url')[0].childNodes[0].data.encode('utf-8') + '\n') fileIps.write(c.getElementsByTagName('ip')[0].childNodes[0].data.encode('utf-8') + '\n')
  12. Опубликована Процедура блокировки некошерной инфо

    Сейчас парсер реализован на перле, функция обработки урл: sub saveURL { my $url = shift; if ($url =~ /^[a-z]+:\/\//) { my $uri = URI->new($url); my $host = $uri->host; return 0 if exists $exclude_domains{$host}; my $path = $uri->path_query; if ($path eq '' || $path eq '/') { $domains{$host} = 1; } else { $urls{$host . $path} = 1; } saveDomainIP($host) if $zapretcfg::resolve_domains; } else { warn "ERROR: saveURL: wrong url syntax: $url\n"; } return 1; } где: zapretcfg::resolve_domains = 1 (1 включение резолва, 0 отключение) exclude_domains - файл со списком доменов которые не фильтруются Как при помощи модуля URI::UTF8::Punycode реализовать поддержку кириллических доменов?
  13. Опубликована Процедура блокировки некошерной инфо

    С появлением кириллических доменов, отключил в своем скрипте резолв, т.к. в ответ получаю: nslookup футболобзор.рф ** server can't find \209\132\209\131\209\130\208\177\208\190\208\187\208\190\208\177\208\183\208\190\209\128.\209\128\209\132: NXDOMAIN если перевести в punycode, то все работает: nslookup xn--90aasoobcqkjk.xn--p1ai Address: 91.201.202.148 На питоне кто-нибудь реализовывал конвертирование?
  14. Опубликована Процедура блокировки некошерной инфо

    так вроде по реестру: "По Вашему запросу ничего не найдено"
  15. Опубликована Процедура блокировки некошерной инфо

    Аналогичная ситуация, но еще замечаний по таким ресурсам не было, пока что. Бред полнейший, чем дальше тем хуже. Еще немного и проще будет пересмотреть политику фильтрации, запретить все что не разрешено. Действительно придется еще и со своим днс мутить.