DEADSOFTWARE

escape strings in stat files
[d2df-sdl.git] / src / shared / utils.pas
index 59a49f251dbb3b927cfea195b442f38ab3656ae8..946e4f5a07c7a31a5422fad1f2f479fb83ffce6a 100644 (file)
@@ -1,9 +1,8 @@
-(* Copyright (C)  DooM 2D:Forever Developers
+(* Copyright (C)  Doom 2D: Forever Developers
  *
  * This program is free software: you can redistribute it and/or modify
  * it under the terms of the GNU General Public License as published by
- * the Free Software Foundation, either version 3 of the License, or
- * (at your option) any later version.
+ * the Free Software Foundation, version 3 of the License ONLY.
  *
  * This program is distributed in the hope that it will be useful,
  * but WITHOUT ANY WARRANTY; without even the implied warranty of
@@ -19,7 +18,7 @@ unit utils;
 interface
 
 uses
-  SysUtils, Classes;
+  SysUtils, Classes, md5;
 
 
 // ////////////////////////////////////////////////////////////////////////// //
@@ -27,6 +26,17 @@ type
   SSArray = array of ShortString;
 
 
+const wadExtensions: array [0..6] of AnsiString = (
+  '.dfz',
+  '.wad',
+  '.dfwad',
+  '.pk3',
+  '.pak',
+  '.zip',
+  '.dfzip'
+);
+
+
 // ////////////////////////////////////////////////////////////////////////// //
 type
   TUtf8DecoderFast = packed record
@@ -61,6 +71,16 @@ function getFilenameExt (const fn: AnsiString): AnsiString;
 function setFilenameExt (const fn, ext: AnsiString): AnsiString;
 function forceFilenameExt (const fn, ext: AnsiString): AnsiString;
 
+// rewrites slashes to '/'
+function fixSlashes (s: AnsiString): AnsiString;
+
+// replaces all the shitty characters with '_'
+// (everything except alphanumerics, '_', '.')
+function sanitizeFilename (s: AnsiString): AnsiString;
+
+function isAbsolutePath (const s: AnsiString): Boolean;
+function isRootPath (const s: AnsiString): Boolean;
+
 // strips out name from `fn`, leaving trailing slash
 function getFilenamePath (const fn: AnsiString): AnsiString;
 
@@ -80,11 +100,16 @@ function isWadPath (const fn: AnsiString): Boolean;
 // adds ".wad" extension if filename doesn't have one of ".wad", ".pk3", ".zip"
 function addWadExtension (const fn: AnsiString): AnsiString;
 
+// check wad signature
+function isWadData (data: Pointer; len: LongWord): Boolean;
+
 // convert number to strig with nice commas
 function int64ToStrComma (i: Int64): AnsiString;
 
 function upcase1251 (ch: AnsiChar): AnsiChar; inline;
 function locase1251 (ch: AnsiChar): AnsiChar; inline;
+function IsValid1251 (ch: Word): Boolean;
+function IsPrintable1251 (ch: AnsiChar): Boolean;
 
 function toLowerCase1251 (const s: AnsiString): AnsiString;
 
@@ -95,14 +120,27 @@ function utf8Valid (const s: AnsiString): Boolean;
 
 function utf8to1251 (s: AnsiString): AnsiString;
 
-// `pathname` will be modified if path is valid
-// `lastIsDir` should be `true` if we are searching for directory
-// nobody cares about shitdoze, so i'll use the same code path for it
+// findFileCI takes case-insensitive path, traverses it, and rewrites it to
+// a case-sensetive one (using real on-disk names). return value means 'success'.
+// if some dir or file wasn't found, pathname is undefined (destroyed, but not
+// necessarily cleared).
+// last name assumed to be a file, not directory (unless `lastIsDir` flag is set).
 function findFileCI (var pathname: AnsiString; lastIsDir: Boolean=false): Boolean;
 
+// findDiskWad tries to find the wad file using common wad extensions
+// (see `wadExtensions` array).
+// returns real on-disk filename, or empty string.
+// original wad extension is used as a hint for the first try.
+// also, this automatically performs `findFileCI()`.
+function findDiskWad (fname: AnsiString): AnsiString;
+// slashes must be normalized!
+function isWadNamesEqu (wna, wnb: AnsiString): Boolean;
+
 // they throws
 function openDiskFileRO (pathname: AnsiString): TStream;
 function createDiskFile (pathname: AnsiString): TStream;
+// create file if necessary, but don't truncate the existing one
+function openDiskFileRW (pathname: AnsiString): TStream;
 
 // little endian
 procedure writeSign (st: TStream; const sign: AnsiString);
@@ -162,7 +200,9 @@ function nmin (a, b: Int64): Int64; inline; overload;
 function nmin (a, b: UInt64): UInt64; inline; overload;
 function nmin (a, b: Single): Single; inline; overload;
 function nmin (a, b: Double): Double; inline; overload;
+{$IF DEFINED(CPU386) OR DEFINED(CPUAMD64)}
 function nmin (a, b: Extended): Extended; inline; overload;
+{$ENDIF}
 
 function nmax (a, b: Byte): Byte; inline; overload;
 function nmax (a, b: ShortInt): ShortInt; inline; overload;
@@ -174,8 +214,9 @@ function nmax (a, b: Int64): Int64; inline; overload;
 function nmax (a, b: UInt64): UInt64; inline; overload;
 function nmax (a, b: Single): Single; inline; overload;
 function nmax (a, b: Double): Double; inline; overload;
+{$IF DEFINED(CPU386) OR DEFINED(CPUAMD64)}
 function nmax (a, b: Extended): Extended; inline; overload;
-
+{$ENDIF}
 function nclamp (v, a, b: Byte): Byte; inline; overload;
 function nclamp (v, a, b: ShortInt): ShortInt; inline; overload;
 function nclamp (v, a, b: Word): Word; inline; overload;
@@ -186,8 +227,9 @@ function nclamp (v, a, b: Int64): Int64; inline; overload;
 function nclamp (v, a, b: UInt64): UInt64; inline; overload;
 function nclamp (v, a, b: Single): Single; inline; overload;
 function nclamp (v, a, b: Double): Double; inline; overload;
+{$IF DEFINED(CPU386) OR DEFINED(CPUAMD64)}
 function nclamp (v, a, b: Extended): Extended; inline; overload;
-
+{$ENDIF}
 
 type
   TFormatStrFCallback = procedure (constref buf; len: SizeUInt);
@@ -205,6 +247,9 @@ function digitInBase (ch: AnsiChar; base: Integer): Integer;
 // double quotes supports c-style escapes
 // function will select quote mode automatically
 function quoteStr (const s: AnsiString): AnsiString;
+// separate single-quote and double-quote escape functions
+function squoteStr (const s: AnsiString): AnsiString;
+function dquoteStr (const s: AnsiString): AnsiString;
 
 
 type
@@ -264,12 +309,26 @@ procedure CopyMemory (Dest: Pointer; Src: Pointer; Len: LongWord); inline;
 procedure ZeroMemory (Dest: Pointer; Len: LongWord); inline;
 
 
+type
+  TDiskFileInfo = record
+    diskName: AnsiString;
+    size: LongInt;
+    age: LongInt;
+    // not changed by info getter; used in other parts of the code
+    userName: AnsiString;
+    tag: Integer;
+    hash: TMD5Digest;
+    udata: Pointer;
+  end;
+
+function GetDiskFileInfo (fname: AnsiString; var info: TDiskFileInfo): Boolean;
+
+
 implementation
 
 uses
   xstreams;
 
-
 // ////////////////////////////////////////////////////////////////////////// //
 procedure CopyMemory (Dest: Pointer; Src: Pointer; Len: LongWord); inline;
 begin
@@ -287,6 +346,61 @@ begin
 end;
 
 
+// ////////////////////////////////////////////////////////////////////////// //
+// rewrites slashes to '/'
+function fixSlashes (s: AnsiString): AnsiString;
+{$IFDEF WINDOWS}
+var
+  f: Integer;
+{$ENDIF}
+begin
+  result := s;
+  {$IFDEF WINDOWS}
+  for f := 1 to length(result) do if (result[f] = '\') then result[f] := '/';
+  {$ENDIF}
+end;
+
+// replaces all the shitty characters with '_'
+// (everything except alphanumerics, '_', '.')
+function sanitizeFilename (s: AnsiString): AnsiString;
+var
+  i: Integer;
+const
+  leaveChars: set of Char = [ '0'..'9', 'A'..'Z', 'a'..'z', '_', '.', #192..#255 ];
+  replaceWith: Char = '_';
+begin
+  result := s;
+  for i := 1 to length(result) do
+    if not (result[i] in leaveChars) then
+      result[i] := replaceWith;
+end;
+
+function isAbsolutePath (const s: AnsiString): Boolean;
+begin
+  result := false;
+  if (length(s) = 0) then exit;
+  {$IFDEF WINDOWS}
+  if (s[1] = '/') or (s[1] = '\') then begin result := true; exit; end;
+  if (length(s) > 2) and (s[2] = ':') and ((s[3] = '/') or (s[3] = '\')) then begin result := true; exit; end;
+  {$ELSE}
+  result := (s[1] = '/');
+  {$ENDIF}
+end;
+
+
+function isRootPath (const s: AnsiString): Boolean;
+begin
+  result := false;
+  if (length(s) = 0) then exit;
+  {$IFDEF WINDOWS}
+  if (s = '/') or (s = '\') then begin result := true; exit; end;
+  if (length(s) = 3) and (s[2] = ':') and ((s[3] = '/') or (s[3] = '\')) then begin result := true; exit; end;
+  {$ELSE}
+  result := (s = '/');
+  {$ENDIF}
+end;
+
+
 // ////////////////////////////////////////////////////////////////////////// //
 constructor TSimpleList.TEnumerator.Create (const aitems: TItemArr; acount: Integer);
 begin
@@ -419,7 +533,7 @@ var
 const
   cp1251: array[0..127] of Word = (
     $0402,$0403,$201A,$0453,$201E,$2026,$2020,$2021,$20AC,$2030,$0409,$2039,$040A,$040C,$040B,$040F,
-    $0452,$2018,$2019,$201C,$201D,$2022,$2013,$2014,$003F,$2122,$0459,$203A,$045A,$045C,$045B,$045F,
+    $0452,$2018,$2019,$201C,$201D,$2022,$2013,$2014,$FFFD,$2122,$0459,$203A,$045A,$045C,$045B,$045F,
     $00A0,$040E,$045E,$0408,$00A4,$0490,$00A6,$00A7,$0401,$00A9,$0404,$00AB,$00AC,$00AD,$00AE,$0407,
     $00B0,$00B1,$0406,$0456,$0491,$00B5,$00B6,$00B7,$0451,$2116,$0454,$00BB,$0458,$0405,$0455,$0457,
     $0410,$0411,$0412,$0413,$0414,$0415,$0416,$0417,$0418,$0419,$041A,$041B,$041C,$041D,$041E,$041F,
@@ -609,53 +723,52 @@ end;
 
 
 // ////////////////////////////////////////////////////////////////////////// //
-function quoteStr (const s: AnsiString): AnsiString;
-
-  function squote (const s: AnsiString): AnsiString;
-  var
-    f: Integer;
+function squoteStr (const s: AnsiString): AnsiString;
+var
+  f: Integer;
+begin
+  result := '''';
+  for f := 1 to Length(s) do
   begin
-    result := '''';
-    for f := 1 to Length(s) do
-    begin
-      if (s[f] = '''') then result += '''';
-      result += s[f];
-    end;
-    result += '''';
+    if (s[f] = '''') then result += '''';
+    result += s[f];
   end;
+  result += '''';
+end;
 
-  function dquote (const s: AnsiString): AnsiString;
-  var
-    f: Integer;
-    ch: AnsiChar;
+function dquoteStr (const s: AnsiString): AnsiString;
+var
+  f: Integer;
+  ch: AnsiChar;
+begin
+  result := '"';
+  for f := 1 to Length(s) do
   begin
-    result := '"';
-    for f := 1 to Length(s) do
+    ch := s[f];
+         if (ch = #0) then result += '\z'
+    else if (ch = #9) then result += '\t'
+    else if (ch = #10) then result += '\n'
+    else if (ch = #13) then result += '\r'
+    else if (ch = #27) then result += '\e'
+    else if (ch < ' ') or (ch = #127) then
     begin
-      ch := s[f];
-           if (ch = #0) then result += '\z'
-      else if (ch = #9) then result += '\t'
-      else if (ch = #10) then result += '\n'
-      else if (ch = #13) then result += '\r'
-      else if (ch = #27) then result += '\e'
-      else if (ch < ' ') or (ch = #127) then
-      begin
-        result += '\x';
-        result += LowerCase(IntToHex(Integer(ch), 2));
-      end
-      else if (ch = '"') or (ch = '\') then
-      begin
-        result += '\';
-        result += ch;
-      end
-      else
-      begin
-        result += ch;
-      end;
+      result += '\x';
+      result += LowerCase(IntToHex(Integer(ch), 2));
+    end
+    else if (ch = '"') or (ch = '\') then
+    begin
+      result += '\';
+      result += ch;
+    end
+    else
+    begin
+      result += ch;
     end;
-    result += '"';
   end;
+  result += '"';
+end;
 
+function quoteStr (const s: AnsiString): AnsiString;
 var
   needSingle: Boolean = false;
   f: Integer;
@@ -663,9 +776,9 @@ begin
   for f := 1 to Length(s) do
   begin
     if (s[f] = '''') then begin needSingle := true; continue; end;
-    if (s[f] < ' ') or (s[f] = #127) then begin result := dquote(s); exit; end;
+    if (s[f] < ' ') or (s[f] = #127) then begin result := dquoteStr(s); exit; end;
   end;
-  if needSingle then result := squote(s) else result := ''''+s+'''';
+  if needSingle then result := squoteStr(s) else result := ''''+s+'''';
 end;
 
 
@@ -803,10 +916,13 @@ end;
 
 function hasWadExtension (const fn: AnsiString): Boolean;
 var
-  ext: AnsiString;
+  ext, newExt: AnsiString;
 begin
   ext := getFilenameExt(fn);
-  result := StrEquCI1251(ext, '.wad') or StrEquCI1251(ext, '.pk3') or StrEquCI1251(ext, '.zip');
+  result := true;
+  for newExt in wadExtensions do if (StrEquCI1251(ext, newExt)) then exit;
+  result := false;
+  //result := StrEquCI1251(ext, '.wad') or StrEquCI1251(ext, '.pk3') or StrEquCI1251(ext, '.zip') or StrEquCI1251(ext, '.dfz');
 end;
 
 
@@ -817,10 +933,26 @@ begin
 end;
 
 
+function isWadData (data: Pointer; len: LongWord): Boolean;
+  var p: PChar;
+begin
+  p := PChar(data);
+  Result :=
+    (* ZIP *)
+    ((len > 3) and (p[0] = 'P') and (p[1] = 'K') and (p[2] = #03) and (p[3] = #04)) or
+    ((len > 3) and (p[0] = 'P') and (p[1] = 'K') and (p[2] = #05) and (p[3] = #06)) or
+    (* PACK *)
+    ((len > 3) and (p[0] = 'P') and (p[1] = 'A') and (p[2] = 'C') and (p[3] = 'K')) or
+    ((len > 3) and (p[0] = 'S') and (p[1] = 'P') and (p[2] = 'A') and (p[3] = 'K')) or
+    (* DFWAD *)
+    ((len > 5) and (p[0] = 'D') and (p[1] = 'F') and (p[2] = 'W') and (p[3] = 'A') and (p[4] = 'D') and (p[5] = #01))
+end;
+
+
 function isWadPath (const fn: AnsiString): Boolean;
 var
   pos: Integer;
-  s: AnsiString;
+  s, wext: AnsiString;
 begin
   result := false;
   pos := 1;
@@ -832,10 +964,13 @@ begin
       if (pos-4 > 1) and (fn[pos-4] = '.') and ((fn[pos+1] = '\') or (fn[pos+1] = '/')) then
       begin
         s := Copy(fn, pos-4, 4);
-        if StrEquCI1251(s, '.wad') or StrEquCI1251(s, '.pk3') or StrEquCI1251(s, '.zip') then
+        for wext in wadExtensions do
         begin
-          result := true;
-          exit;
+          if strEquCI1251(s, wext) then
+          begin
+            result := true;
+            exit;
+          end;
         end;
       end;
     end;
@@ -904,6 +1039,16 @@ begin
   result := ch;
 end;
 
+function IsValid1251 (ch: Word): Boolean;
+begin
+  result := ((ch = Ord('?')) or (wc2shitmap[ch] <> '?')) and (wc2shitmap[ch] <> #$98)
+end;
+
+function IsPrintable1251 (ch: AnsiChar): Boolean;
+begin
+  result := (ch >= #32) and (ch <> #127) and (ch <> #$98)
+end;
+
 
 function strEquCI1251 (const s0, s1: AnsiString): Boolean;
 var
@@ -1054,9 +1199,9 @@ end;
 
 
 // ////////////////////////////////////////////////////////////////////////// //
-// `pathname` will be modified if path is valid
-// `lastIsDir` should be `true` if we are searching for directory
-// nobody cares about shitdoze, so i'll use the same code path for it
+// findFileCI eats case-insensitive path, traverses it and rewrites it to a
+// case-sensetive. result value means success.
+// if file/dir not founded than pathname is in undefined state!
 function findFileCI (var pathname: AnsiString; lastIsDir: Boolean=false): Boolean;
 var
   sr: TSearchRec;
@@ -1122,9 +1267,57 @@ begin
 end;
 
 
+function isWadNamesEqu (wna, wnb: AnsiString): Boolean;
+var
+  ext, newExt: AnsiString;
+  found: Boolean;
+begin
+  result := StrEquCI1251(wna, wnb);
+  if result then exit;
+  // check first ext
+  ext := getFilenameExt(wna);
+  found := false;
+  for newExt in wadExtensions do if (StrEquCI1251(ext, newExt)) then begin found := true; break; end;
+  if not found then exit;
+  // check second ext
+  ext := getFilenameExt(wnb);
+  found := false;
+  for newExt in wadExtensions do if (StrEquCI1251(ext, newExt)) then begin found := true; break; end;
+  if not found then exit;
+  wna := forceFilenameExt(wna, '');
+  wnb := forceFilenameExt(wnb, '');
+  result := StrEquCI1251(wna, wnb);
+end;
+
+function findDiskWad (fname: AnsiString): AnsiString;
+var
+  origExt: AnsiString = '';
+  newExt: AnsiString = '';
+begin
+  result := '';
+  //writeln('findDiskWad00: fname=<', fname, '>');
+  if (findFileCI(fname)) then begin result := fname; exit; end;
+  origExt := getFilenameExt(fname);
+  fname := forceFilenameExt(fname, '');
+  //writeln(' findDiskWad01: fname=<', fname, '>; origExt=<', origExt, '>');
+  for newExt in wadExtensions do
+  begin
+    //writeln(' findDiskWad02: fname=<', fname, '>; origExt=<', origExt, '>; newExt=<', newExt, '>');
+    if (StrEquCI1251(newExt, origExt)) then
+    begin
+      //writeln('   SKIP');
+      continue;
+    end;
+    result := fname+newExt;
+    if (findFileCI(result)) then exit;
+  end;
+  result := '';
+end;
+
+
 function openDiskFileRO (pathname: AnsiString): TStream;
 begin
-  if not findFileCI(pathname) then raise Exception.Create('can''t open file "'+pathname+'"');
+  if not findFileCI(pathname) then raise EFileNotFoundException.Create('can''t open file "'+pathname+'"');
   result := TFileStream.Create(pathname, fmOpenRead or {fmShareDenyWrite}fmShareDenyNone);
 end;
 
@@ -1141,6 +1334,30 @@ begin
 end;
 
 
+function openDiskFileRW (pathname: AnsiString): TStream;
+var
+  path: AnsiString;
+  oldname: AnsiString;
+begin
+  //writeln('*** TRYING R/W FILE "', pathname, '"');
+  path := ExtractFilePath(pathname);
+  if length(path) > 0 then
+  begin
+    if not findFileCI(path, true) then raise Exception.Create('can''t create file "'+pathname+'"');
+  end;
+  oldname := pathname;
+  if findFileCI(oldname) then
+  begin
+    //writeln('*** found old file "', oldname, '"');
+    result := TFileStream.Create(oldname, fmOpenReadWrite or fmShareDenyWrite);
+  end
+  else
+  begin
+    result := TFileStream.Create(path+ExtractFileName(pathname), fmCreate);
+  end;
+end;
+
+
 procedure writeIntegerLE (st: TStream; vp: Pointer; size: Integer);
 {$IFDEF ENDIAN_LITTLE}
 begin
@@ -1321,7 +1538,9 @@ function nmin (a, b: Int64): Int64; inline; overload; begin if (a < b) then resu
 function nmin (a, b: UInt64): UInt64; inline; overload; begin if (a < b) then result := a else result := b; end;
 function nmin (a, b: Single): Single; inline; overload; begin if (a < b) then result := a else result := b; end;
 function nmin (a, b: Double): Double; inline; overload; begin if (a < b) then result := a else result := b; end;
+{$IF DEFINED(CPU386) OR DEFINED(CPUAMD64)}
 function nmin (a, b: Extended): Extended; inline; overload; begin if (a < b) then result := a else result := b; end;
+{$ENDIF}
 
 function nmax (a, b: Byte): Byte; inline; overload; begin if (a > b) then result := a else result := b; end;
 function nmax (a, b: ShortInt): ShortInt; inline; overload; begin if (a > b) then result := a else result := b; end;
@@ -1333,7 +1552,9 @@ function nmax (a, b: Int64): Int64; inline; overload; begin if (a > b) then resu
 function nmax (a, b: UInt64): UInt64; inline; overload; begin if (a > b) then result := a else result := b; end;
 function nmax (a, b: Single): Single; inline; overload; begin if (a > b) then result := a else result := b; end;
 function nmax (a, b: Double): Double; inline; overload; begin if (a > b) then result := a else result := b; end;
+{$IF DEFINED(CPU386) OR DEFINED(CPUAMD64)}
 function nmax (a, b: Extended): Extended; inline; overload; begin if (a > b) then result := a else result := b; end;
+{$ENDIF}
 
 function nclamp (v, a, b: Byte): Byte; inline; overload; begin if (v < a) then result := a else if (v > b) then result := b else result := v; end;
 function nclamp (v, a, b: ShortInt): ShortInt; inline; overload; begin if (v < a) then result := a else if (v > b) then result := b else result := v; end;
@@ -1345,8 +1566,9 @@ function nclamp (v, a, b: Int64): Int64; inline; overload; begin if (v < a) then
 function nclamp (v, a, b: UInt64): UInt64; inline; overload; begin if (v < a) then result := a else if (v > b) then result := b else result := v; end;
 function nclamp (v, a, b: Single): Single; inline; overload; begin if (v < a) then result := a else if (v > b) then result := b else result := v; end;
 function nclamp (v, a, b: Double): Double; inline; overload; begin if (v < a) then result := a else if (v > b) then result := b else result := v; end;
+{$IF DEFINED(CPU386) OR DEFINED(CPUAMD64)}
 function nclamp (v, a, b: Extended): Extended; inline; overload; begin if (v < a) then result := a else if (v > b) then result := b else result := v; end;
-
+{$ENDIF}
 
 // ////////////////////////////////////////////////////////////////////////// //
 {$IFDEF WINDOWS}
@@ -1878,6 +2100,32 @@ begin
 end;
 
 
+function GetDiskFileInfo (fname: AnsiString; var info: TDiskFileInfo): Boolean;
+var
+  age: LongInt;
+  size: LongInt;
+  handle: THandle;
+begin
+  result := false;
+  if (length(fname) = 0) then exit;
+  if not findFileCI(fname) then exit;
+  // get age
+  age := FileAge(fname);
+  if (age = -1) then exit;
+  // get size
+  handle := FileOpen(fname, fmOpenRead or fmShareDenyNone);
+  if (handle = THandle(-1)) then exit;
+  size := FileSeek(handle, 0, fsFromEnd);
+  FileClose(handle);
+  if (size = -1) then exit;
+  // fill info
+  info.diskName := fname;
+  info.size := size;
+  info.age := age;
+  result := true;
+end;
+
+
 (*
 var
   ss: ShortString;