Такая логика поведения реализуется с помощью АТС. Теоретически. Когда то читал что такой функционал есть, в штатах даже используеться. На практике у нас не встречалось :). Ваш модем, с серваком на пару, просто не будет знать что кто звонит - АТС просто подаст сигнал зянято дозванивающемуся абоненту и Вам конечно же не подаст сигнала, что кто то звонит.
Пункт 3 легко реализируеться силами тещи - она просто вытикает провод тел линии идущей к модему и ждет сколько то там секунд (от 20 до 30 если не ошибаюсь) – линия свободна.
у МЕНЯ в детсве был модем ... уср роботикс софт, так в винде вылезало окошко при ВХОДЯЩЕМ звонке - "ВАМ ЗВОНЯТ" - и это не воспаление фантазии