uzd,
Смотрите.
На втором месте - ip_set_test, т.е. поиск по ipset.
Там есть такой кусок:
read_lock_bh(&set->lock);
ret = set->variant->kadt(set, skb, par, IPSET_TEST, opt);
read_unlock_bh(&set->lock);
Вот ваши lock и unlock - на первом и на третьем месте.
Попробуйте для проверки исключить ipset из iptables.