Таким образом одно tcp-соединение может жить часами
Да, аналогия у меня кривая получилась. Чуток более прямая аналогия заключается в сопоставлении его tcp соединений+разъединений с нашей воипной регистрацией+разрегистрацией телефоных аппаратов. Регистрация телефона может жить часами. Сейчас под 32 разрядной Mono у нас Логика может постоянно (т.е. регистраций+разрегистраций) держать примерно до 12'000 RPS. Перед моим уходом в отпуск как раз тестировщики намерили 6'000 RPS (у них просто стенд большую скорость не выдаёт), а судя по профайлеру там ещё есть двухкратный запас.
Короче, я что хотел сказать. Количество одновременных "соединений" должно зависеть от максимально поддерживаемого RPS так, чтобы в случае чего система могла упасть и переподнятся примерно за минуту хотя бы.