Серверная кодировка, set { allowed-nickchars { windows-1251; }; то есть поддержка русских ников на сервере.
То что касается UTF-8, нужна перекодировка по портам, чтобы корректно отображались рус ники.
А вот то что касается motd, rules, ты немного не правильно сделал.
Создай новые файлы - motd и rules, в кодировке UTF-8, - и напиши по русски изменив кодировку на CP1251, полученный текст сохранять в UTF-8, после этого все будет окей.
С DCC, проблем никаких недолжно быть, посмотри конфиг сервера DCC, настрой мирк укажи порт прослушивания DCC.
Если будут вопросы, обращайся!