Сергей, в подсистеме Comm вообще нет своей логики опроса. Будет опрашиваться ровно столько, сколько раз Вы дёрнете за неблокирующий Stream.ReadBytes.
В неграфическом приложении, где Вы делаете свой главный цикл, не будет никаких 50 мс.
В далёком 2009-м мой веб-сервер на Винде на одноядерном проце на тесте с отдачей статики из памяти чуть-чуть обходил апач.
Но я не за Comm, я использую свои абстракции каналов-буферов, но внутри в качестве временной реализации всё равно сидел Comm, переписать было некогда...
Stores вообще никто не заставляет использовать в неграфическом приложении. У меня в серверных вещах практически ничего не используется из Framework.