Значит, вкратце:
У каждого из 4-х компьютеров есть свой внутренний IP-адрес.
Чтобы получить доступ к игровому серверу через раутер, порты сервера должны быть проброшены на этот компьютер.
Надо, во-первых, узнать, какие порты использует сервер (номер и протокол) - обычно либо сам сервер пишет, либо погуглить можно. А во-вторых - настроить Port Forwarding этих портов на сервер (тут надо смотреть по модели раутера и пользоваться его инструкцией).
Например, если комп-сервер имеет внутренний адрес 192.168.2.100, использует порт 4887 и протокол UDP, то в раутере ищем Port Forwarding / Virtual Servers и настраиваем там проброс порта 4887 по протоколу UDP на адрес 192.168.2.100
Вот так вот, вкрацте.