[alibek]

уже часто вижу по https его

Например?

В свежем дампе 3484 ссылки https.

И ни одной youtube.

[Tem]

Вопрос, по блокировке хттпс, мне тут местный представитель ркн заявил, что я дескать неправильно блочу хттпс ресурсы, нельзя блочить целиком, а нужно блочить только конкретные страницы, ибо иначе это нарушение и они могут накатать заяву.

[disappointed]

уже часто вижу по https его

Например?

В свежем дампе 3484 ссылки https.

И ни одной youtube.

Я не про реестр, я про интернет.

 

а нужно блочить только конкретные страницы

Ну это просто недоумок, игорировать.

[NX_BIT]

Ребят, не поделитесь ли рабочим скриптом для выгрузки реестра, без парсинг и прочего.

Старая система сдохла и нет возможности восстановить, а дыру нужно срочно заткнуть.

Заранее благодарен.

[alibek]

Я выкладывал на 226 странице.

Скрипт на sh, с ротацией, автоповтором, проверком сроков действия подписи и т.п.

[NX_BIT]

Я выкладывал на 226 странице.

Скрипт на sh, с ротацией, автоповтором, проверком сроков действия подписи и т.п.

Спасибо, сейчас запилим.

[Ansy]

МОГУТ оказаться под специальным наблюдением, например, СОРМ

Решать кто находится под наблюдением СОРМ далеко вне компетенции оператора связи. Лечите свою манию величия и синдром вахтера.

Дык... мои-то личные мании и синдромы тут ваще не при делах ;)

 

ВСЕ Абоненты могут оказаться под наблюдением, и Оператор связи этим не заведует. У нас даже СОРМ не свой, у аплинка стоит...

 

Другой вопрос -- что именно ЭТОГО Абонента, желающего "странного", есть смысл предупредить на всякий пожарный случай, что он "под колпаком". И чтоб при незаконных действиях -- без претензий.

 

О том, что в принципе ВСЕ Абоненты под этим же самым колпаком, именно этому Абоненту, IMHO, акцентировать не стОит ;)

[snik_1900]

Хм.. тут нарыл ища совсем другое такой вот скриптик на GO

 $ go get github.com/majek/goplayground/resolve

 $ mysql -B  -e 'select domain_fixed from domains group by domain_fixed;' zapret |  $GOPATH/bin/resolve -server="127.0.0.1:53"

 

 ....

 Resolved 16352 domains in 170.902s. Average retries 1.321. Domains per second: 95.680

 

Господа, я извиняюсь, а этот чудо-скриптик только у меня не всегда хочет заканчиваться? Просто я его запускаю с &. И сегодня после команды ps -ax обнаружил его в памяти в большом количестве.

[disappointed]

Заметил, что ютуб 11 мая отдал мне HSTS хэдер. И теперь браузер

жёстко работает с ним только по https. У всех так?

[Sergey Gilfanov]

Заметил, что ютуб 11 мая отдал мне HSTS хэдер. И теперь браузер

жёстко работает с ним только по https. У всех так?

Полез в хроме проверять. Действительно, переадресовывает. Причем начал вот буквально в процессе проверки. Сначала как обычно по http ходил, потом пару раз Reload нажал - и все. Причем не просто https, а http/2.0 использует.

[Sergey Gilfanov]

Только что дошло. А ведь включение hsts означает, что все те ссылки на ютуб, что в черном списке есть, и которые аккуратно как http прописаны - теперь успешно открываются, если пользоваться хромом.

[Sergey Gilfanov]

Заметил, что ютуб 11 мая отдал мне HSTS хэдер.

По поводу даты. Если посмотреть через хромовский chrome://net-internals/#hsts, то получим что-то вроде

static_sts_domain: youtube.com

static_upgrade_mode: OPPORTUNISTIC

static_sts_include_subdomains: true

static_sts_observed: 1462942800

static_pkp_domain: youtube.com

static_pkp_include_subdomains: true

static_pkp_observed: 1462942800

static_spki_hashes: sha256/IPMbDAjLVSGntGO3WP53X/zilCVndez5YJ2+vJvhJsA=,sha256/7HIpactkIAq2Y49orFOOQKurWxmmSFZhBCoQYcRhJ3Y=,sha256/h6801m+z8v3zbgkRHpq6L29Esgfzhj89C1SyUCOQmqU=

dynamic_sts_domain: www.youtube.com

dynamic_upgrade_mode: STRICT

dynamic_sts_include_subdomains: false

dynamic_sts_observed: 1463862544.920835

dynamic_pkp_domain:

dynamic_pkp_include_subdomains:

dynamic_pkp_observed:

dynamic_spki_hashes:

11 мая - это вот это 'static_sts_observed: 1462942800'. Но static* - это, если я не ошибаюсь, то, что во внутреннюю базу хрома хром вшито. Дата получения самого заголовка - она в строке dynamic_sts_observed.

[disappointed]

Только что дошло. А ведь включение hsts означает, что все те ссылки на ютуб, что в черном списке есть, и которые аккуратно как http прописаны - теперь успешно открываются, если пользоваться хромом.

Не только хромом, а и мозиллой, и IE11.

Причём ревизорчики и недопрога РКН будет рапортовать об успешном блоке

по http ссылкам, а браузеры преспокойно открывать их.

 

Дата истечения HSTS в каждом ответе ставится +7 суток.

strict-transport-security:max-age=604800

Интересно, это так по всем или по части CDN сделали.

[Sergey Gilfanov]

Не только хромом, а и мозиллой, и IE11.

Мозилла hsts у меня не получает, поэтому нужно руками http на https менять. А вот хром - получает, поэтому само на https переадресовывается.

 

И интересно, если сертификат прямо в браузер вшит - то он на попытки MitM, как некоторые провайдеры балуются - стучит?

[disappointed]

В мозилле достаточно 1 раз по https зайти и он HSTS получит и станет применять.

И интересно, если сертификат прямо в браузер вшит - то он на попытки MitM, как некоторые провайдеры балуются - стучит?

HSTS не позволяет MitM насколько я тестил, там очень жёсткая политика,

варианта продолжить соединение с недоверенным сайтом нет.

 

Что имеем на сейчас, 50 сайтов из реестра работают по https через сеть состоящую из множества фронтэндов меняя айпишники

каждые 5-10 минут из тысяч адресов!. Ютуб - имеет CDN сеть, адреса в реестре несоответствуют адресам откуда льётся контент со

стороны операторов, снифинг http запросов к нему становится всё более затруднённым(читать невозможным в принципе).

[Sergey Gilfanov]

В мозилле достаточно 1 раз по https зайти и он HSTS получит и станет применять.

Ага. Я тут немного поигрался - один профиль браузера получает, другой - нет. CLI curl - получает, если по https запросить. В общем, размазано как-то.

 

 

HSTS не позволяет MitM насколько я тестил, там очень жёсткая политика,

варианта продолжить соединение с недоверенный сайтом нет.

Я не про это. Я про то, что хром может и в гугл настучать про левый сертификат. Чтобы CA в черные списки внести, скажем. Так вот - стучит или нет?

[disappointed]

Да врядли, какой там CA вносить в чёрный список если самоподписанные своим невалидным CA подсовывают.

[^rage^]

Хм.. тут нарыл ища совсем другое такой вот скриптик на GO

$ go get github.com/majek/goplayground/resolve
$ mysql -B  -e 'select domain_fixed from domains group by domain_fixed;' zapret |  $GOPATH/bin/resolve -server="127.0.0.1:53"

....
Resolved 16352 domains in 170.902s. Average retries 1.321. Domains per second: 95.680

3 минуты... не 2 дня.

 

пфф.. когда мне надо было, написал минут за 10 скриптик на python который ресолвит 1млн доменов за несколько минут.

в итоге, я уперся в канал(100мбит домашнего интернета были утилизированы полностью).

 

конечной целью было ресолвить ~ 350 млн доменов за приемлимое время.

 

И интересно, если сертификат прямо в браузер вшит - то он на попытки MitM, как некоторые провайдеры балуются - стучит?

Also, some newer browsers (Chrome, for example) will do a variation of certificate pinning using the HSTS mechanism. They preload a specific set of public key hashes into this the HSTS configuration, which limits the valid certificates to only those which indicate the specified public key.

[Sergey Gilfanov]

Also, some newer browsers (Chrome, for example) will do a variation of certificate pinning using the HSTS mechanism. They preload a specific set of public key hashes into this the HSTS configuration, which limits the valid certificates to only those which indicate the specified public key.

Я про это упоминал чуть выше, когда про поля static* в hsts базе хрома писал. Но вопрос совсем не про это. А про то, стучит ли (и при каких условиях) хром в гугл, если при помощи этой базы обнаружит попытку MitM.

[^rage^]

Если уж встаёт в полный рост вопрос локального резолвинга Оператором имен из Реестра в IP-адреса ("сетевые адреса"), которые ежечасно меняются "противником" -- не будет ли тут уже приемлемым подход БЛОКИРОВАНИЯ НАФИНГ ВСЕХ DNS-запросов и перенаправление на СВОИ DNS-серверы, в которых:

будучи вашим клиентом я послал бы вас в пень.

во-вторых, заинтересовался юридическим аспектом подобных маневров.

в-третьих, купил бы vps'ку за 5$ и развернул на ней ресолвер и в моменты когда не пользуюсь инетом просто пулял в неё тарифную скорость с рекурсивными dns-запросами.

bind на таком потоке умрёт, а unbound либо съест всю память, либо ему вымоет кеш.

 

отключить вы такого абонента не сможете.

 

Я про это упоминал чуть выше, когда про поля static* в hsts базе хрома писал. Но вопрос совсем не про это. А про то, стучит ли (и при каких условиях) хром в гугл, если при помощи этой базы обнаружит попытку MitM.

 

а вам сударь какая печаль? :) вы же не CA и вас не вынесут их трастов ))

[Sergey Gilfanov]

а вам сударь какая печаль? :) вы же не CA и вас не вынесут их трастов ))

Хочу посмотреть на получившийся цирк.

[disappointed]

в моменты когда не пользуюсь инетом просто пулял в неё тарифную скорость с рекурсивными dns-запросами.

Не прокатит. Обычно это залимитировано ещё до днс-ов.

[^rage^]

в моменты когда не пользуюсь инетом просто пулял в неё тарифную скорость с рекурсивными dns-запросами.

Не прокатит. Обычно это залимитировано ещё до днс-ов.

ну так эти рейт-лимиты надо будет ещё как-то обосновать, т.к. оператор - тупая труба и адресатом не является какой-либо из узлов оператора.

[disappointed]

надо будет ещё как-то обосновать

Ботнет. Убирайте днс флуд и потерь по запросам не будет.

Но я сам против чтобы так заворачивать, это уже выше всякой наглости.

[^rage^]

надо будет ещё как-то обосновать

Ботнет. Убирайте днс флуд и потерь по запросам не будет.

не аргумент ни разу, т.к. получатель-отправитель одно и то же лицо, и почему вот всё именно так устроено - не дело оператора.

в конце-концов, можно просто поднять udp vpn на 53 порту, записать дамп и отправить в ркн с жалобой на вмешательство оператора в трафик.