этот модуль теперь называется xt_connlimit
есть ли поддержка в текущем ядре можно найти, поискав в каталоге /lib
find -iname *limit
если нет, то без обновления (ну или пересборки текущего) ядра не обойтись
пример использования:
http://www.opennet.ru/base/net/connlimit_fedora.txt.html
upd:
patch-o-matic включено в поздние ядра и iptables>=1.4.0
