Была такая проблема: мы отдавали партнеру мультикаст (через MSDP, но не принципиально наверно). И когда у них количество принимаемых групп достигло определенного числа, остальные стали тупо падать (не могли их принять). Как выяснилось, из за разных MTU (у нас было 1500 у них 9170), PIM на их стороне запихивал в одно сообщение групп больше, чем мы могли принять (или что-то в этом роде). Но проблема решилась установкой одинакового ipv4 mtu на интерфейсах.
"The Sending MTU state should be checked before sending a multicast PIM message, to ensure the length of the message does not exceed the MTU limit of both the sending and receiving links" - вроде что-то похоже.