olloviel Posted March 8, 2013 Подскажите пожалуйста, кто сталкивался, на свиче DGS-3627 растут счетчики Dropped Packets. Куда копать? Проблема не гипотетическая, теряются пинги по локалке Command: show error ports 5 Port number : 5 RX Frames TX Frames --------- --------- CRC Error 0 Excessive Deferral 0 Undersize 0 CRC Error 0 Oversize 0 Late Collision 0 Fragment 0 Excessive Collision 0 Jabber 0 Single Collision 0 Drop Pkts 71066 Collision 0 Symbol Error 0 Buffer Full Drop 0 ACL Drop 0 Multicast Drop 0 VLAN Ingress Drop 0 Command: show cpu access_profile CPU Interface Filtering State: Disabled CPU Interface Access Profile Table is empty Command: show utilization ports Port TX/sec RX/sec Util Port TX/sec RX/sec Util ----- ---------- ---------- ---- ----- ---------- ---------- ---- 1 0 0 0 22 911 4026 24 2 0 0 0 23 3029 2500 14 3 4648 3371 3 24 0 0 0 4 0 0 0 25 0 0 0 5 17068 22690 14 26 0 0 0 6 14409 9790 8 27 0 0 0 7 0 0 0 8 0 0 0 9 0 0 0 10 840 805 1 11 75 24 1 12 556 692 1 13 68 7 1 14 63 0 1 15 814 778 1 16 1271 1212 1 17 0 0 0 18 0 0 0 19 0 0 0 20 0 0 0 21 6198 3419 4 Command: show utilization cpu CPU Utilization ------------------------------------------------------------------------------- Five seconds - 3 % One minute - 2 % Five minutes - 2 % Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alkanaft Posted March 8, 2013 какие последние административные действия с коммутатором происходили? если с физикой всё в порядке и монтажники не накосячили при очередных работах/первоначальной инсталяции то проанализируйте что последнее крутили на коммутаторе и всём железе, которое подключено к нему Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
pppoetest Posted March 8, 2013 sh fdb sh arpentry Интересует итого Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Negator Posted March 8, 2013 Гм. Первый раз вижу такие дропы. 70000 не страшно, но интересно. CRC - явно пробелма с железом. Multicast - у нас решилось настройкой QOS. VLAN Ingress - вообще не проблема. неправильная настройка вланов на узле/доступе. ACL - тоже понятно. А такое в первый раз вижу. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
s.lobanov Posted March 8, 2013 olloviel С ответной стороны случайно не des3200 hw rev C1, а скорость увеличения счётчика 1 дроп в секунду? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Butch3r Posted March 9, 2013 Это уже очень много обсуждалось на форуме - это "мусор", который летает у вас по сети Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Alex/AT Posted March 9, 2013 Дропы на гигабитных портах? Есть активные 100-мегабитные порты на DGS-3627? Если ответ на оба вопроса - "да" - выносите всю 100-мегабитку на отдельный коммутатор, подключенный к 3627 по гигу. Из практики - у DGS-3627 есть проблемы с забиванием буферов на вход при асимметричной коммутации. Причём HoL blocking prevention не спасает. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
olloviel Posted March 9, 2013 какие последние административные действия с коммутатором происходили? если с физикой всё в порядке и монтажники не накосячили при очередных работах/первоначальной инсталяции то проанализируйте что последнее крутили на коммутаторе и всём железе, которое подключено к нему в процессе поисков меняли много, но все в сторону упрощения :) sh fdb Total Entries: 275 sh arpentry Total Entries: 5 С ответной стороны случайно не des3200 hw rev C1, а скорость увеличения счётчика 1 дроп в секунду? Нет, счетчик растет периодами, сейчас за всю ночь увеличился где-то на сотню. Когда начинаются потери растет сотнями в секунду. Это уже очень много обсуждалось на форуме - это "мусор", который летает у вас по сети не подскажите как вычислить/проверить? Дропы на гигабитных портах? Есть активные 100-мегабитные порты на DGS-3627? Если ответ на оба вопроса - "да" - выносите всю 100-мегабитку на отдельный коммутатор, подключенный к 3627 по гигу. Из практики - у DGS-3627 есть проблемы с забиванием буферов на вход при асимметричной коммутации. Причём HoL blocking prevention не спасает. Оба да, спасибо за идею, сегодня уберу 100Мбит, посмотрю что будет Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
olloviel Posted March 9, 2013 Убрал линки 100Мбит, к сожалению эффекта ноль, пинги теряются как и раньше. Со стороны сервера # netstat -I igb1 -h Name Mtu Network Address Ipkts Ierrs Idrop Opkts Oerrs Coll igb1 1500 <Link#2> 00:16:31:fa:02:2f 125M 1 0 166M 0 0 igb1 1500 192.168.3.0 192.168.3.1 0 - - 0 - - Просто ставит в тупик абсолютная случайность потерь, то трафика 250-300Мбит - потерь нет, то каждый третий теряется в течении 5 минут, потом отпускает... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dmvy Posted March 9, 2013 acl, rate-limit? идея 100мбит шла из-за того, что буфер пакетов один на коммутатор и когда в узкий порт надо вмоного влить, то на портах откуда льется начинает расти этот счетчик. 100 за ночь - это мало. при проблеме с буфером ошибок сотня или больше в секунду. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Artom_12 Posted March 9, 2013 Расскажите как "вылечить" это: Drop Pkts 3 Symbol Error 0 Buffer Full Drop 0 ACL Drop 0 Multicast Drop 0 VLAN Ingress Drop 3 и из-за чего может быть (растёт постоянно) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
s.lobanov Posted March 9, 2013 VLAN Ingress Drop 3 и из-за чего может быть (растёт постоянно) С другой стороны разрешены какие-то вланы, которые не разрешены на стороне, где вы смотрите эту статистику Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nuclearcat Posted March 9, 2013 А на сервере-свитче случайно flow-control не включены? И посмотреть, если ли счетчики flow пакетов. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sirmax Posted March 9, 2013 А на сервере-свитче случайно flow-control не включены? И посмотреть, если ли счетчики flow пакетов. Не с Длинком, но аналогично - сталкивался с проблемой при выключенном flow-control Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
olloviel Posted March 9, 2013 Итак, появилась возможность написать еще одно сообщение :) flow-control выключены и на сетевухе сервера и на свиче. За сегодняшний день проблема локализовалась: потери появляются "периодами", скажем за час есть 5 минут, когда валят потери, потом опять тишина и т.д. Во время когда идут потери, трафик через остальные порты DGS бегает нормально. Т.е. конкретно потери между сервером и DGS. В один из периодов успел снять статистику по сетевке на сервере: так все работало: # netstat -I igb1 -h -w1 input (igb1) output packets errs idrops bytes packets errs bytes colls 19K 0 0 6.4M 25K 0 30M 0 18K 0 0 6.1M 24K 0 28M 0 20K 0 0 5.8M 27K 0 32M 0 и тут началось: packets errs idrops bytes packets errs bytes colls 1.8K 0 0 252K 2.9K 0 2.5M 0 1.9K 0 0 453K 2.5K 0 1.8M 0 1.7K 0 0 348K 2.5K 0 1.9M 0 Как видно, на сетевушке резко упало количество пакетов как на вход, так и на выход В общем у меня сложилось впечатление, что DGS с дропами вообще непричем. Как пользователи уснут покрепче, обновлю драйвер на igb. Сейчас стоит igb1: <Intel® PRO/1000 Network Connection version - 2.3.1> на сайте интела нашелся 2.3.7. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nuclearcat Posted March 9, 2013 Если flow-control работает - уже непорядок. Значит кто-то не успевает... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dmvy Posted March 10, 2013 покажите статистику ethtool -S этого интерфейса. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
olloviel Posted March 10, 2013 покажите статистику ethtool -S этого интерфейса. насколько я знаю, под freebsd такого пакета нет, приведу те же данные только из netstat # netstat -I igb1 -d -h Name Mtu Network Address Ipkts Ierrs Idrop Opkts Oerrs Coll Drop igb1 1500 <Link#2> 00:16:31:fa:02:2f 80M 14 0 101M 0 0 0 igb1 1500 192.168.3.0 192.168.3.1 0 - - 0 - - - как видно ошибок ничтожно мало, дропов нет Наверно таки тему надо называть "тюнинг igb freebsd", хотя я так и не понимаю, виноват сервер или DGS. Как проверить кто же крайний? Оба устройства предпочитают помалкивать о виновных.. Обновление драйвера ничего не поменяла, симптомы те же, резкий провал пакетов на интерфейсе: # netstat -I igb1 -w1 -h input (igb1) output packets errs idrops bytes packets errs bytes colls 22K 0 0 8.8M 30K 0 33M 0 21K 0 0 8.0M 29K 0 33M 0 21K 0 0 7.5M 29K 0 33M 0 21K 0 0 7.2M 28K 0 32M 0 15K 0 0 5.2M 24K 0 27M 0 7.7K 0 0 2.3M 15K 0 16M 0 5.2K 0 0 1.7M 10K 0 11M 0 9.9K 0 0 2.7M 15K 0 15M 0 13K 0 0 4.9M 17K 0 18M 0 21K 0 0 7.8M 29K 0 32M 0 22K 0 0 8.0M 30K 0 34M 0 22K 0 0 8.8M 28K 0 30M 0 23K 0 0 9.0M 29K 0 33M 0 Может кто подскажет еще какие могут быть варианты диагностики как сервера так и свича? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Justas Posted March 10, 2013 Коммутатор только L2 делает или L3 тоже? Маршрутизацией занимается? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
olloviel Posted March 10, 2013 Коммутатор только L2 делает или L3 тоже? Маршрутизацией занимается? только L2, acl нет, загрузка проца dgs - 2-3% Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Justas Posted March 10, 2013 5 лет назад у меня была аналогичная проблема с этой моделью на L3 - http://forum.nag.ru/forum/index.php?showtopic=42561&st=20&p=315828entry315828 . Хотя ребята писали, что на L2 свитч показывает очень хорошие результаты. Более подробно мою многостраничную ругачку с Длинком "о дропах" можно было лицезреть на ихнем форуме, который месяц назад успешно почил (это жаль, кстати). После нескольких месяцев проверок-перепроверок-замен-всего-чего-только-можно и препирательств на форуме плюнулось и решилось заменой 3627 на Cisco 3750. С того времени я обрел покой, дзен и шамбалу. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Butch3r Posted March 11, 2013 А на что жалуются абоненты в момент роста дропов? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...