DEADSOFTWARE

net: oops; reconnection to failed master was totally broken
[d2df-sdl.git] / src / game / g_netmaster.pas
index bc940cf0f7b55ef4eb21beb2a84203b146b2d0e0..1703da27cdcbe44c21bf4f0b6bbc9875c97af211 100644 (file)
@@ -30,6 +30,14 @@ const
   NET_MMSG_DEL = 201;
   NET_MMSG_GET = 202;
 
+const
+  // all timeouts in seconds
+  NMASTER_TIMEOUT_CONNECT = 3; // 3 seconds
+  NMASTER_TIMEOUT_RECONNECT = 5*60; // 5 minutes
+  //NMASTER_TIMEOUT_RECONNECT = 30; // 5 minutes
+  //NMASTER_FORCE_UPDATE_TIMEOUT = 20;
+  //NMASTER_FORCE_UPDATE_TIMEOUT = 0;
+
 type
   TNetServer = record
     Number: Byte;
@@ -58,7 +66,6 @@ type
   TMasterHost = record
   public
     hostName: AnsiString;
-    hostPort: Word;
 
   public
     peer: pENetPeer;
@@ -68,8 +75,8 @@ type
     NetHostConnected: Boolean;
     NetHostConReqTime: Int64; // to timeout `connect`; -1 means "waiting for shutdown"
     NetUpdatePending: Boolean; // should we send an update after connection completes?
-    lastConnectTime: Int64;
-    updateSent: Boolean;
+    lastDisconnectTime: Int64; // last real disconnect time; <0: do not reconnect
+    updateSent: Boolean; // was at least one update sent? (used to decide if we should call `remove()`)
     lastUpdateTime: Int64;
     // server list request working flags
     srvAnswered: Integer;
@@ -77,18 +84,18 @@ type
     slMOTD: AnsiString;
     slUrgent: AnsiString;
     slReadUrgent: Boolean;
+    // temporary mark
+    justAdded: Boolean;
 
   private
     netmsg: TMsg;
 
   public
-    constructor Create (hostandport: AnsiString);
+    constructor Create (var ea: ENetAddress);
 
     procedure clear ();
 
-    function setAddress (hostandport: AnsiString): Boolean;
-
-    function isSameAddress (hostandport: AnsiString): Boolean;
+    function setAddress (var ea: ENetAddress; hostStr: AnsiString): Boolean;
 
     function isValid (): Boolean;
     function isAlive (): Boolean; // not disconnected
@@ -122,8 +129,10 @@ var
   slMOTD: AnsiString = '';
   slUrgent: AnsiString = '';
 
+  NMASTER_FORCE_UPDATE_TIMEOUT: Integer = 0; // fuck you, fpc, and your idiotic "diagnostics"
+
 
-procedure g_Net_Slist_Set (IP: AnsiString; Port: Word);
+procedure g_Net_Slist_Set (IP: AnsiString; Port: Word; list: AnsiString='');
 function g_Net_Slist_Fetch (var SL: TNetServerList): Boolean;
 
 // make this server private
@@ -147,6 +156,7 @@ procedure g_Net_Slist_ServerMapStarted ();
 // this server renamed (or password mode changed, or other params changed)
 procedure g_Net_Slist_ServerRenamed ();
 
+// non-zero timeout ignores current status (used to fetch server list)
 procedure g_Net_Slist_Pulse (timeout: Integer=0);
 
 procedure g_Net_Slist_ShutdownAll ();
@@ -163,7 +173,8 @@ implementation
 uses
   e_input, e_graphics, e_log, g_window, g_net, g_console,
   g_map, g_game, g_sound, g_gui, g_menu, g_options, g_language, g_basic,
-  wadreader, g_system, utils;
+  wadreader, g_system, utils, hashtable;
+
 
 // ////////////////////////////////////////////////////////////////////////// //
 var
@@ -223,7 +234,7 @@ begin
       Inc(activeCount);
       if (mlist[f].isConnected() and mlist[f].updateSent) then
       begin
-        writeln('unregistering from ', f);
+        writeln('unregistering from [', mlist[f].hostName, ']');
         mlist[f].remove();
       end;
       //mlist[f].disconnect(false);
@@ -237,9 +248,12 @@ begin
     ct := GetTimerMS();
     if (ct < stt) or (ct-stt >= 1500) then break;
 
+    // fuck! https://www.mail-archive.com/enet-discuss@cubik.org/msg00852.html
+    // tl;dr: on shitdows, we can get -1 sometimes, and it is *NOT* a failure.
+    //        thank you, enet. let's ignore failures altogether then.
     sres := enet_host_service(NetMHost, @NetMEvent, 100);
-    if (sres < 0) then break;
-    if (sres = 0) then continue;
+    // if (sres < 0) then break;
+    if (sres <= 0) then continue;
 
     idx := findByPeer(NetMEvent.peer);
     if (idx < 0) then
@@ -275,13 +289,13 @@ end;
 //  DisconnectAll
 //
 //==========================================================================
-procedure DisconnectAll ();
+procedure DisconnectAll (forced: Boolean=false);
 var
   f: Integer;
 begin
   for f := 0 to High(mlist) do
   begin
-    if (mlist[f].isAlive()) then mlist[f].disconnect(false);
+    if (mlist[f].isAlive()) then mlist[f].disconnect(forced);
   end;
 end;
 
@@ -295,11 +309,11 @@ procedure ConnectAll (sendUpdate: Boolean);
 var
   f: Integer;
 begin
+  // set flags; pulse will take care of the rest
   for f := 0 to High(mlist) do
   begin
     // force reconnect
-    mlist[f].lastConnectTime := 0;
-    //if (not mlist[f].isAlive()) then continue;
+    mlist[f].lastDisconnectTime := 0;
     // force updating
     if (sendUpdate) then
     begin
@@ -319,6 +333,7 @@ procedure UpdateAll (force: Boolean);
 var
   f: Integer;
 begin
+  // set flags; pulse will take care of the rest
   for f := 0 to High(mlist) do
   begin
     if (not mlist[f].isAlive()) then continue;
@@ -476,24 +491,24 @@ end;
 //  TMasterHost.Create
 //
 //==========================================================================
-constructor TMasterHost.Create (hostandport: AnsiString);
+constructor TMasterHost.Create (var ea: ENetAddress);
 begin
   peer := nil;
   NetHostConnected := false;
   NetHostConReqTime := 0;
   NetUpdatePending := false;
-  lastConnectTime := 0;
+  lastDisconnectTime := 0;
   updateSent := false;
   lastUpdateTime := 0;
   hostName := '';
-  hostPort := 25665;
+  ZeroMemory(@enetAddr, sizeof(enetAddr));
   SetLength(srvAnswer, 0);
   srvAnswered := 0;
   slMOTD := '';
   slUrgent := '';
   slReadUrgent := true;
   netmsg.Alloc(NET_BUFSIZE);
-  setAddress(hostandport);
+  setAddress(ea, '');
 end;
 
 
@@ -507,50 +522,13 @@ begin
   updateSent := false; // do not send 'remove'
   disconnect(true);
   hostName := '';
-  hostPort := 25665;
   netmsg.Free();
   SetLength(srvAnswer, 0);
   srvAnswered := 0;
   slMOTD := '';
   slUrgent := '';
   slReadUrgent := true;
-end;
-
-
-//==========================================================================
-//
-//  TMasterHost.isSameAddress
-//
-//==========================================================================
-function TMasterHost.isSameAddress (hostandport: AnsiString): Boolean;
-var
-  cp, pp: Integer;
-  hn: AnsiString;
-begin
-  result := false;
-  if not isValid() then exit;
-  hostandport := Trim(hostandport);
-  if (length(hostandport) = 0) then exit;
-  hn := hostandport;
-  cp := Pos(':', hostandport);
-  if (cp > 0) then
-  begin
-    hn := Copy(hostandport, 1, cp-1);
-    Delete(hostandport, 1, cp);
-    if (length(hostandport) > 0) then
-    begin
-      try
-        pp := StrToInt(hostandport);
-      except
-        pp := -1;
-      end;
-    end;
-  end
-  else
-  begin
-    pp := 25665;
-  end;
-  result := strEquCI1251(hn, hostName) and (hostPort = pp);
+  ZeroMemory(@enetAddr, sizeof(enetAddr));
 end;
 
 
@@ -559,9 +537,7 @@ end;
 //  TMasterHost.setAddress
 //
 //==========================================================================
-function TMasterHost.setAddress (hostandport: AnsiString): Boolean;
-var
-  cp, pp: Integer;
+function TMasterHost.setAddress (var ea: ENetAddress; hostStr: AnsiString): Boolean;
 begin
   result := false;
   SetLength(srvAnswer, 0);
@@ -572,43 +548,15 @@ begin
   updateSent := false; // do not send 'remove'
   disconnect(true);
   hostName := '';
-  hostPort := 25665;
 
   if (not g_Net_IsNetworkAvailable()) then exit;
 
-  hostandport := Trim(hostandport);
-  if (length(hostandport) > 0) then
-  begin
-      hostName := hostandport;
-    cp := Pos(':', hostandport);
-    if (cp > 0) then
-    begin
-      hostName := Copy(hostandport, 1, cp-1);
-      Delete(hostandport, 1, cp);
-      if (length(hostandport) > 0) then
-      begin
-        try
-          pp := StrToInt(hostandport);
-        except
-          pp := -1;
-        end;
-        if (pp > 0) and (pp < 65536) then hostPort := pp else hostPort := 0;
-      end;
-    end;
-  end;
-
-  if not isValid() then exit;
+  enetAddr := ea;
+  if (enetAddr.host = 0) or (enetAddr.port = 0) then exit;
 
-  if (enet_address_set_host(@enetAddr, PChar(Addr(hostName[1]))) <> 0) then
-  begin
-    writeln('SHIT!');
-    hostName := '';
-    hostPort := 0;
-  end;
-  enetAddr.Port := hostPort;
+  if (length(hostStr) > 0) then hostName := hostStr else hostName := IntToStr(enetAddr.host)+':'+IntToStr(ea.port);
 
   result := isValid();
-  //writeln('*********************: ', hostandport, ' [', hostName, ':', hostPort, '] ', result);
 end;
 
 
@@ -619,7 +567,7 @@ end;
 //==========================================================================
 function TMasterHost.isValid (): Boolean;
 begin
-  result := (length(hostName) > 0) and (hostPort > 0);
+  result := (enetAddr.host <> 0) and (enetAddr.port <> 0);
 end;
 
 
@@ -670,7 +618,9 @@ begin
   if not isAlive() then exit;
   if NetHostConnected then exit;
   NetHostConnected := true;
-  e_LogWritefln('connected to master at [%s:%u]', [hostName, hostPort], TMsgType.Notify);
+  NetHostConReqTime := 0; // just in case
+  e_LogWritefln('connected to master at [%s]', [hostName], TMsgType.Notify);
+  //g_Console_Add(Format(_lc[I_NET_MSG]+_lc[I_NET_SLIST_CONN], [mlist[f].hostName]));
 end;
 
 
@@ -682,9 +632,9 @@ end;
 procedure TMasterHost.disconnectedEvent ();
 begin
   if not isAlive() then exit;
-  e_LogWritefln('disconnected from master at [%s:%u]', [hostName, hostPort], TMsgType.Notify);
+  e_LogWritefln('disconnected from master at [%s]', [hostName], TMsgType.Notify);
   disconnect(true);
-  //if (spamConsole) then g_Console_Add(_lc[I_NET_MSG] + _lc[I_NET_SLIST_DISC]);
+  //if (spamConsole) then g_Console_Add(Format(_lc[I_NET_MSG]+_lc[I_NET_SLIST_DISC], [hostName]));
 end;
 
 
@@ -703,12 +653,12 @@ var
   f: Integer;
   s: AnsiString;
 begin
-  e_LogWritefln('received packed from master at [%s:%u]', [hostName, hostPort], TMsgType.Notify);
+  e_LogWritefln('received packed from master at [%s]', [hostName], TMsgType.Notify);
   if not msg.Init(pkt^.data, pkt^.dataLength, True) then exit;
   // packet type
   MID := msg.ReadByte();
   if (MID <> NET_MMSG_GET) then exit;
-  e_LogWritefln('received list packet from master at [%s:%u]', [hostName, hostPort], TMsgType.Notify);
+  e_LogWritefln('received list packet from master at [%s]', [hostName], TMsgType.Notify);
   SetLength(srvAnswer, 0);
   if (srvAnswered > 0) then Inc(srvAnswered);
   slMOTD := '';
@@ -716,7 +666,8 @@ begin
   slReadUrgent := true;
   // number of items
   Cnt := msg.ReadByte();
-  g_Console_Add(_lc[I_NET_MSG]+Format(_lc[I_NET_SLIST_RETRIEVED], [Cnt]), True);
+  //g_Console_Add(_lc[I_NET_MSG]+Format(_lc[I_NET_SLIST_RETRIEVED], [Cnt, hostName]), True);
+  e_LogWritefln('got %u server(s) from master at [%s]', [Cnt, hostName], TMsgType.Notify);
   if (Cnt > 0) then
   begin
     SetLength(srvAnswer, Cnt);
@@ -751,10 +702,12 @@ begin
     if (msg.ReadCount < msg.CurSize) then
     begin
       slMOTD := b_Text_Format(msg.ReadString());
+      if (slMOTD <> '') then e_LogWritefln('got MOTD from master at [%s]: %s', [hostName, slMOTD], TMsgType.Notify);
       s := b_Text_Format(msg.ReadString());
       // check if the message has updated and the user has to read it again
       if (slUrgent <> s) then slReadUrgent := false;
       slUrgent := s;
+      if (s <> '') then e_LogWritefln('got urgent from master at [%s]: %s', [hostName, s], TMsgType.Notify);
     end;
   end;
 end;
@@ -762,75 +715,39 @@ end;
 
 //==========================================================================
 //
-//  TMasterHost.pulse
-//
-//  this performs various scheduled tasks, if necessary
+//  TMasterHost.disconnect
 //
 //==========================================================================
-procedure TMasterHost.pulse ();
-var
-  ct: Int64;
-  mrate: Cardinal;
+procedure TMasterHost.disconnect (forced: Boolean);
 begin
-  if not isAlive() then exit;
-  if (NetHostConReqTime = -1) then exit; // waiting for shutdown (disconnect in progress)
-  ct := GetTimerMS();
-  // process pending connection timeout
-  if (not NetHostConnected) then
+  if isAlive() then
   begin
-    if (ct < NetHostConReqTime) or (ct-NetHostConReqTime >= 3000) then
+    lastDisconnectTime := GetTimerMS();
+    if forced or (not NetHostConnected) or (NetHostConReqTime = -1) then
     begin
-      e_LogWritefln('failed to connect to master at [%s:%u]', [hostName, hostPort], TMsgType.Notify);
-      // do not spam with error messages, it looks like the master is down
-      //g_Console_Add(_lc[I_NET_MSG_ERROR] + _lc[I_NET_SLIST_ERROR], True);
-      enet_peer_disconnect(peer, 0);
-      // main pulse will take care of the rest
-    end;
-    exit;
-  end;
-  // send update, if necessary
-  if (NetUpdatePending) then
-  begin
-    mrate := NetMasterRate;
-         if (mrate < 10000) then mrate := 10000
-    else if (mrate > 1000*60*10) then mrate := 1000*60*10;
-    if (lastUpdateTime = 0) or (ct < lastUpdateTime) or (ct-lastUpdateTime >= mrate) then
+      enet_peer_reset(peer);
+      peer := nil;
+      NetHostConReqTime := 0;
+      updateSent := false;
+    end
+    else
     begin
-      lastUpdateTime := ct;
-      update();
+      enet_peer_disconnect_later(peer, 0);
+      // main pulse will take care of the rest
+      NetHostConReqTime := -1;
     end;
-  end;
-end;
-
-
-//==========================================================================
-//
-//  TMasterHost.disconnect
-//
-//==========================================================================
-procedure TMasterHost.disconnect (forced: Boolean);
-begin
-  if not isAlive() then exit;
-
-  if (forced) then
-  begin
-    enet_peer_reset(peer);
-    peer := nil;
-    NetHostConReqTime := 0;
   end
   else
   begin
-    enet_peer_disconnect_later(peer, 0);
-    // main pulse will take care of the rest
-    NetHostConReqTime := -1;
+    // just in case
+    NetHostConReqTime := 0;
+    updateSent := false;
   end;
 
   NetHostConnected := false;
   NetUpdatePending := false;
-  //updateSent := false;
   lastUpdateTime := 0;
-  //lastConnectTime := 0;
-  //if (spamConsole) then g_Console_Add(_lc[I_NET_MSG] + _lc[I_NET_SLIST_DISC]);
+  //if (spamConsole) then g_Console_Add(Format(_lc[I_NET_MSG]+_lc[I_NET_SLIST_DISC], [hostName]));
 end;
 
 
@@ -846,13 +763,15 @@ begin
   if (NetHostConReqTime = -1) then
   begin
     disconnect(true);
+    if (NetHostConReqTime = -1) then e_LogWritefln('ketmar broke master [%s] logic! (000)', [hostName], TMsgType.Notify);
+    if (isAlive()) then e_LogWritefln('ketmar broke master [%s] logic! (001)', [hostName], TMsgType.Notify);
   end
   else
   begin
     if isAlive() then begin result := true; exit; end;
   end;
 
-  lastConnectTime := GetTimerMS();
+  lastDisconnectTime := GetTimerMS(); // why not?
   SetLength(srvAnswer, 0);
   srvAnswered := 0;
   NetHostConnected := false;
@@ -868,8 +787,8 @@ begin
     exit;
   end;
 
-  NetHostConReqTime := lastConnectTime;
-  e_LogWritefln('connecting to master at [%s:%u]', [hostName, hostPort], TMsgType.Notify);
+  NetHostConReqTime := lastDisconnectTime;
+  e_LogWritefln('connecting to master at [%s]', [hostName], TMsgType.Notify);
 end;
 
 
@@ -922,6 +841,7 @@ begin
     try
       netmsg.Write(Byte(NET_MMSG_UPD));
       netmsg.Write(NetAddr.port);
+      //writeln(formatstrf('%08x', [NetAddr.host]), ' : ', NetAddr.host);
 
       writeInfo(netmsg);
 
@@ -930,6 +850,7 @@ begin
       begin
         if (enet_peer_send(peer, NET_MCHAN_UPD, pkt) = 0) then
         begin
+          e_LogWritefln('sent update to master at [%s]', [hostName], TMsgType.Notify);
           NetUpdatePending := false;
           updateSent := true;
         end;
@@ -976,26 +897,200 @@ begin
 end;
 
 
+//==========================================================================
+//
+//  TMasterHost.pulse
+//
+//  this performs various scheduled tasks, if necessary
+//
+//==========================================================================
+procedure TMasterHost.pulse ();
+var
+  ct: Int64;
+  mrate: Cardinal;
+begin
+  if not isAlive() then exit;
+  if (NetHostConReqTime = -1) then exit; // waiting for shutdown (disconnect in progress)
+  ct := GetTimerMS();
+  // process pending connection timeout
+  if (not NetHostConnected) then
+  begin
+    if (ct < NetHostConReqTime) or (ct-NetHostConReqTime >= 1000*NMASTER_TIMEOUT_CONNECT) then
+    begin
+      e_LogWritefln('failed to connect to master at [%s]', [hostName], TMsgType.Notify);
+      // do not spam with error messages, it looks like the master is down
+      //g_Console_Add(_lc[I_NET_MSG_ERROR] + _lc[I_NET_SLIST_ERROR], True);
+      disconnect(true);
+    end;
+    exit;
+  end;
+  // send update, if necessary
+  if (NetUpdatePending) then
+  begin
+    mrate := NetMasterRate;
+         if (mrate < 10000) then mrate := 10000
+    else if (mrate > 1000*60*10) then mrate := 1000*60*10;
+    if (NMASTER_FORCE_UPDATE_TIMEOUT > 0) then mrate := NMASTER_FORCE_UPDATE_TIMEOUT*1000;
+    if (lastUpdateTime = 0) or (ct < lastUpdateTime) or (ct-lastUpdateTime >= mrate) then
+    begin
+      //e_LogWritefln('update timeout: %d', [Integer(mrate)], TMsgType.Notify);
+      lastUpdateTime := ct;
+      update();
+    end;
+  end;
+end;
+
+
 //**************************************************************************
 //
 // other functions
 //
 //**************************************************************************
+type
+  THashStrDWord = specialize THashBase<AnsiString, LongWord, THashKeyStrAnsiCI>;
+
+var
+  knownHosts: THashStrDWord = nil;
+
 
-procedure g_Net_Slist_Set (IP: AnsiString; Port: Word);
+//==========================================================================
+//
+//  parseAddressPort
+//
+//==========================================================================
+function parseAddressPort (var ea: ENetAddress; hostandport: AnsiString): Boolean;
+var
+  cp, port: Integer;
+  hostName: AnsiString;
+  ip: LongWord;
+begin
+  result := false;
+  if (not g_Net_IsNetworkAvailable()) then exit;
+
+  hostandport := Trim(hostandport);
+  if (length(hostandport) = 0) then exit;
+
+  hostName := hostandport;
+  port := 25665;
+
+  cp := Pos(':', hostandport);
+  if (cp > 0) then
+  begin
+    hostName := Trim(Copy(hostandport, 1, cp-1));
+    Delete(hostandport, 1, cp);
+    hostandport := Trim(hostandport);
+    if (length(hostandport) > 0) then
+    begin
+      try
+        port := StrToInt(hostandport);
+      except
+        port := -1;
+      end;
+    end;
+  end;
+
+  if (length(hostName) = 0) then exit;
+  if (port < 1) or (port > 65535) then exit;
+
+  if not assigned(knownHosts) then knownHosts := THashStrDWord.Create();
+
+  if knownHosts.get(hostName, ip) then
+  begin
+    ea.host := ip;
+  end
+  else
+  begin
+    if (enet_address_set_host(@ea, PChar(Addr(hostName[1]))) <> 0) then
+    begin
+      knownHosts.put(hostName, 0);
+      exit;
+    end;
+    knownHosts.put(hostName, ea.host);
+  end;
+  ea.Port := port;
+  result := true;
+end;
+
+
+//==========================================================================
+//
+//  addMasterRecord
+//
+//==========================================================================
+procedure addMasterRecord (var ea: ENetAddress; sa: AnsiString);
 var
   f: Integer;
+  freeIdx: Integer;
+begin
+  freeIdx := -1;
+  for f := 0 to High(mlist) do
+  begin
+    if (mlist[f].enetAddr.host = ea.host) and (mlist[f].enetAddr.port = ea.port) then
+    begin
+      mlist[f].justAdded := true;
+      exit;
+    end;
+    if (freeIdx < 0) and (not mlist[f].isValid()) then freeIdx := f;
+  end;
+  if (freeIdx < 0) then
+  begin
+    freeIdx := length(mlist);
+    SetLength(mlist, freeIdx+1);
+    mlist[freeIdx].Create(ea);
+  end;
+  mlist[freeIdx].justAdded := true;
+  mlist[freeIdx].setAddress(ea, sa);
+  e_LogWritefln('added masterserver with address [%s]', [sa], TMsgType.Notify);
+end;
+
+
+//==========================================================================
+//
+//  g_Net_Slist_Set
+//
+//==========================================================================
+procedure g_Net_Slist_Set (IP: AnsiString; Port: Word; list: AnsiString='');
+var
+  f, dest: Integer;
   sa: AnsiString;
+  ea: ENetAddress;
+  pp: Integer;
 begin
   if (not g_Net_IsNetworkAvailable()) then exit;
+
+  for f := 0 to High(mlist) do mlist[f].justAdded := false;
+
   IP := Trim(IP);
-  if (length(IP) = 0) or (Port = 0) then exit;
-  sa := IP+':'+IntToStr(Port);
-  for f := 0 to High(mlist) do if (mlist[f].isSameAddress(sa)) then exit;
-  SetLength(mlist, length(mlist)+1);
-  mlist[High(mlist)].Create(sa);
-  mlist[High(mlist)].setAddress(sa);
-  e_LogWritefln('Masterserver address set to [%s:%u]', [IP, Port], TMsgType.Notify);
+  if (length(IP) > 0) and (Port > 0) then
+  begin
+    sa := IP+':'+IntToStr(Port);
+    if parseAddressPort(ea, sa) then addMasterRecord(ea, sa);
+  end;
+
+  list := Trim(list);
+  //writeln('list=[', list, ']');
+  while (length(list) > 0) do
+  begin
+    pp := Pos(',', list);
+    if (pp < 1) then pp := length(list)+1;
+    sa := Trim(Copy(list, 1, pp-1));
+    Delete(list, 1, pp);
+    //writeln('  sa=[', sa, ']');
+    if (length(sa) > 0) and parseAddressPort(ea, sa) then addMasterRecord(ea, sa);
+  end;
+
+  // remove unknown master servers
+  dest := 0;
+  for f := 0 to High(mlist) do
+  begin
+    if (not mlist[f].justAdded) then mlist[f].clear();
+    if (mlist[f].isValid()) then
+    begin
+      if (dest <> f) then mlist[dest] := mlist[f];
+      Inc(dest);
+    end;
+  end;
+  if (dest <> length(mlist)) then SetLength(mlist, dest);
 end;
 
 
@@ -1004,12 +1099,33 @@ end;
 // main pulse
 //
 //**************************************************************************
+
+//==========================================================================
+//
+//  isMasterReportsEnabled
+//
+//==========================================================================
+function isMasterReportsEnabled (): Boolean;
+begin
+  result := (reportsEnabled and g_Game_IsServer() and g_Game_IsNet() and NetUseMaster);
+end;
+
+
+//==========================================================================
+//
+//  g_Net_Slist_Pulse
+//
+//  non-zero timeout ignores current status (used to fetch server list)
+//
+//==========================================================================
 procedure g_Net_Slist_Pulse (timeout: Integer=0);
 var
   f: Integer;
   sres: Integer;
   idx: Integer;
   ct: Int64;
+  isListQuery: Boolean;
+  count: Integer;
 begin
   if (not g_Net_IsNetworkAvailable()) then exit;
 
@@ -1025,76 +1141,100 @@ begin
 
   if (NetMHost = nil) then
   begin
-    NetMHost := enet_host_create(nil, 1, NET_MCHANS, 0, 0);
+    NetMHost := enet_host_create(nil, 64, NET_MCHANS, 1024*1024, 1024*1024);
     if (NetMHost = nil) then
     begin
-      g_Console_Add(_lc[I_NET_MSG_ERROR]+_lc[I_NET_ERR_CLIENT], True);
+      e_LogWriteln(_lc[I_NET_MSG_ERROR] + _lc[I_NET_ERR_CLIENT] + ' (host_create)', TMsgType.Notify);
       for f := 0 to High(mlist) do mlist[f].clear();
       SetLength(mlist, 0);
       Exit;
     end;
   end;
 
+  isListQuery := (timeout > 0);
   ct := GetTimerMS();
+  // reconnect/disconnect/pulse for each master
   for f := 0 to High(mlist) do
   begin
     if (not mlist[f].isValid()) then continue;
     if (not mlist[f].isAlive()) then
     begin
-      if reportsEnabled and g_Game_IsServer() and g_Game_IsNet() and NetUseMaster then
+      // not connected; try to reconnect if we're asking for a host list, or we are in netgame, and we are the host
+      if isListQuery or isMasterReportsEnabled() then
       begin
-        if (mlist[f].lastConnectTime = 0) or (ct < mlist[f].lastConnectTime) or (ct-mlist[f].lastConnectTime >= 1000*60*5) then
+        if (mlist[f].lastDisconnectTime = 0) or (ct < mlist[f].lastDisconnectTime) or (ct-mlist[f].lastDisconnectTime >= 1000*NMASTER_TIMEOUT_RECONNECT) then
         begin
+          e_LogWritefln('reconnecting to master [%s]', [mlist[f].hostName], TMsgType.Notify);
           mlist[f].connect();
+        end
+        else
+        begin
+          //e_LogWritefln('DEAD master [%s]: ct=%d; ldt=%d; diff=%d', [mlist[f].hostName, Integer(ct), Integer(mlist[f].lastDisconnectTime), Integer(ct-mlist[f].lastDisconnectTime)], TMsgType.Notify);
         end;
       end;
     end
     else
     begin
-      if not reportsEnabled or not g_Game_IsServer() or not g_Game_IsNet() or not NetUseMaster then
+      // if we're not in slist query, and not in netgame (or not a host), disconnect
+      if (not isListQuery) and (not isMasterReportsEnabled()) then
       begin
-        if (mlist[f].isConnected()) and (mlist[f].updateSent) then mlist[f].remove();
+        if (mlist[f].isConnected()) and (mlist[f].updateSent) then
+        begin
+          e_LogWritefln('removing from master [%s]', [mlist[f].hostName], TMsgType.Notify);
+          mlist[f].remove();
+        end;
+        e_LogWritefln('disconnecting from master [%s]', [mlist[f].hostName], TMsgType.Notify);
         mlist[f].disconnect(false);
       end;
     end;
     mlist[f].pulse();
   end;
 
-  while true do
+  // fuck! https://www.mail-archive.com/enet-discuss@cubik.org/msg00852.html
+  // tl;dr: on shitdows, we can get -1 sometimes, and it is *NOT* a failure.
+  //        thank you, enet. let's ignore failures altogether then.
+  count := 10; // no more than ten events in a row
+  sres := enet_host_service(NetMHost, @NetMEvent, timeout);
+  while (sres > 0) do
   begin
-    sres := enet_host_service(NetMHost, @NetMEvent, timeout);
+    {
     if (sres < 0) then
     begin
-      g_Console_Add(_lc[I_NET_MSG_ERROR]+_lc[I_NET_ERR_CLIENT], True);
+      e_LogWriteln(_lc[I_NET_MSG_ERROR] + _lc[I_NET_ERR_CLIENT] + ' (host_service)', TMsgType.Notify);
       for f := 0 to High(mlist) do mlist[f].clear();
       SetLength(mlist, 0);
       enet_host_destroy(NetMHost);
       NetMHost := nil;
       exit;
     end;
+    }
 
-    if (sres = 0) then break;
     idx := findByPeer(NetMEvent.peer);
     if (idx < 0) then
     begin
       e_LogWriteln('network event from unknown master host. ignored.', TMsgType.Warning);
       if (NetMEvent.kind = ENET_EVENT_TYPE_RECEIVE) then enet_packet_destroy(NetMEvent.packet);
-      continue;
-    end;
-
-    if (NetMEvent.kind = ENET_EVENT_TYPE_CONNECT) then
-    begin
-      mlist[idx].connectedEvent();
     end
-    else if (NetMEvent.kind = ENET_EVENT_TYPE_DISCONNECT) then
-    begin
-      mlist[idx].disconnectedEvent();
-    end
-    else if (NetMEvent.kind = ENET_EVENT_TYPE_RECEIVE) then
+    else
     begin
-      mlist[idx].receivedEvent(NetMEvent.packet);
-      enet_packet_destroy(NetMEvent.packet);
+      if (NetMEvent.kind = ENET_EVENT_TYPE_CONNECT) then
+      begin
+        mlist[idx].connectedEvent();
+      end
+      else if (NetMEvent.kind = ENET_EVENT_TYPE_DISCONNECT) then
+      begin
+        mlist[idx].disconnectedEvent();
+      end
+      else if (NetMEvent.kind = ENET_EVENT_TYPE_RECEIVE) then
+      begin
+        mlist[idx].receivedEvent(NetMEvent.packet);
+        enet_packet_destroy(NetMEvent.packet);
+      end;
     end;
+
+    Dec(count);
+    if (count = 0) then break;
+    sres := enet_host_service(NetMHost, @NetMEvent, 0);
   end;
 end;
 
@@ -1241,6 +1381,8 @@ begin
 
   g_Net_Slist_Pulse(); // this will create mhost
 
+  DisconnectAll(true); // forced disconnect
+
   NetOut.Clear();
   NetOut.Write(Byte(NET_MMSG_GET));
 
@@ -1250,20 +1392,19 @@ begin
 
   try
     e_WriteLog('Fetching serverlist...', TMsgType.Notify);
-    g_Console_Add(_lc[I_NET_MSG] + _lc[I_NET_SLIST_FETCH]);
+    g_Console_Add(_lc[I_NET_MSG]+_lc[I_NET_SLIST_FETCH]);
 
     // wait until all servers connected and answered
     stt := GetTimerMS();
     while true do
     begin
-      g_Net_Slist_Pulse(300);
       aliveCount := 0;
       hasUnanswered := false;
       for f := 0 to High(mlist) do
       begin
         {
-        e_LogWritefln('  master #%d: [%s:%u] valid=%d; alive=%d; connected=%d; connecting=%d',
-          [f, mlist[f].hostName, mlist[f].hostPort, Integer(mlist[f].isValid()), Integer(mlist[f].isAlive()),
+        e_LogWritefln('  master #%d: [%s] valid=%d; alive=%d; connected=%d; connecting=%d',
+          [f, mlist[f].hostName, Integer(mlist[f].isValid()), Integer(mlist[f].isAlive()),
           Integer(mlist[f].isConnected()), Integer(mlist[f].isConnecting())], TMsgType.Notify);
         }
         if (not mlist[f].isValid()) then continue;
@@ -1272,12 +1413,14 @@ begin
           mlist[f].connect();
           if (mlist[f].isAlive()) then
           begin
+            //g_Console_Add(Format(_lc[I_NET_MSG]+_lc[I_NET_SLIST_WCONN], [mlist[f].hostName]));
             hasUnanswered := true;
             stt := GetTimerMS();
           end;
         end
         else if (mlist[f].isConnected()) then
         begin
+          //g_Console_Add(Format(_lc[I_NET_MSG]+_lc[I_NET_SLIST_CONN], [mlist[f].hostName]));
           if (mlist[f].srvAnswered = 0) then
           begin
             pkt := enet_packet_create(NetOut.Data, NetOut.CurSize, Cardinal(ENET_PACKET_FLAG_RELIABLE));
@@ -1309,6 +1452,7 @@ begin
       // check for timeout
       ct := GetTimerMS();
       if (ct < stt) or (ct-stt > 4000) then break;
+      g_Net_Slist_Pulse(300);
     end;
 
     if (aliveCount = 0) then