DEADSOFTWARE

added license info
[d2df-sdl.git] / src / sfs / wadcvt.dpr
index 46dd0a772ef6ae2733c27398ea72a6cce1b96fa1..8d02803a8f82b23e903da72fc57113ffe7fda427 100644 (file)
@@ -1,8 +1,28 @@
+(* Copyright (C)  DooM 2D:Forever Developers
+ *
+ * This program is free software: you can redistribute it and/or modify
+ * it under the terms of the GNU General Public License as published by
+ * the Free Software Foundation, either version 3 of the License, or
+ * (at your option) any later version.
+ *
+ * This program is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+ * GNU General Public License for more details.
+ *
+ * You should have received a copy of the GNU General Public License
+ * along with this program.  If not, see <http://www.gnu.org/licenses/>.
+ *)
 {$MODE OBJFPC}
 {$IFDEF WINDOWS}
   {$APPTYPE CONSOLE}
 {$ENDIF}
 {$DEFINE UTFEXTRA}
+{.$DEFINE ONELINELOG}
+
+{$IFDEF WINDOWS}
+  {$UNDEF ONELINELOG}
+{$ENDIF}
 program __wadcvt__;
 
 uses
@@ -14,17 +34,227 @@ uses
   sfs,
   sfsPlainFS,
   sfsZipFS,
-  paszlib;
+  paszlib,
+  wadreader in '../shared/wadreader.pas',
+  conbuf in '../shared/conbuf.pas',
+  BinEditor in '../shared/BinEditor.pas',
+  MAPSTRUCT in '../shared/MAPSTRUCT.pas',
+  MAPDEF in '../shared/MAPDEF.pas',
+  CONFIG in '../shared/CONFIG.pas',
+  e_log in '../engine/e_log.pas',
+  ImagingTypes, Imaging, ImagingUtility;
 
 
-procedure processed (count: Cardinal);
+{.$WARNINGS ON}
+{.$NOTES ON}
+{.$HINTS ON}
+
+var
+  optConvertATX: Boolean = false;
+  optConvertTGA: Boolean = false;
+  optLoCaseNames: Boolean = false;
+  optAggressivePng: Boolean = false;
+  optRecompress: Boolean = false;
+
+
+function convertAnimTexture (wadSt: TStream; wadName: AnsiString): TMemoryStream;
+var
+  WAD: TWADFile = nil;
+  TextureWAD: PChar = nil;
+  TextData: Pointer = nil;
+  TextureData: Pointer = nil;
+  cfg: TConfig = nil;
+  ResLength: Integer;
+  TextureResource: String;
+  _width, _height, _framecount, _speed: Integer;
+  _backanimation: Boolean;
+  ia: TDynImageDataArray = nil;
+  f: Integer;
+  img: TImageData;
+  x, y, ofsx, ofsy, nx, ny: Integer;
+  clr: TColor32Rec;
+  sto: TMemoryStream = nil;
+  buf: PChar;
+  buflen: Integer;
 begin
-  //writeln('  read ', count, ' bytes');
+  result := nil;
+
+  wadSt.position := 0;
+  buflen := Integer(wadSt.size);
+  GetMem(buf, buflen);
+  try
+    wadSt.ReadBuffer(buf^, buflen);
+
+    WAD := TWADFile.Create();
+    //WAD.ReadFile(wadName);
+    WAD.ReadMemory(buf, buflen);
+
+    // ×èòàåì INI-ðåñóðñ àíèì. òåêñòóðû è çàïîìèíàåì åãî óñòàíîâêè:
+    if not WAD.GetResource('TEXT/ANIM', TextData, ResLength) then
+    begin
+      writeln(Format('Animated texture file "%s" has invalid INI', [wadName]));
+      exit;
+    end;
+
+    try
+      cfg := TConfig.CreateMem(TextData, ResLength);
+
+      TextureResource := cfg.ReadStr('', 'resource', '');
+      if TextureResource = '' then
+      begin
+        writeln(Format('Animated texture WAD file "%s" has no "resource"', [wadName]));
+        exit;
+      end;
+
+      _width := cfg.ReadInt('', 'framewidth', 0);
+      _height := cfg.ReadInt('', 'frameheight', 0);
+      _framecount := cfg.ReadInt('', 'framecount', 0);
+      _speed := cfg.ReadInt('', 'waitcount', 0);
+      _backanimation := cfg.ReadBool('', 'backanimation', False);
+      if _speed < 0 then _speed := 0;
+
+      if (_width < 1) or (_width > 16383) or (_height < 1) or (_height > 16383) then
+      begin
+        writeln('invalid animation dimensions: ', _width, 'x', _height);
+        exit;
+      end;
+
+      if (_framecount < 1) or (_framecount > 1024) then
+      begin
+        writeln('invalid frame count: ', _framecount);
+        exit;
+      end;
+
+      cfg.Free();
+      cfg := nil;
+
+      // ×èòàåì ðåñóðñ òåêñòóð (êàäðîâ) àíèì. òåêñòóðû â ïàìÿòü:
+      if not WAD.GetResource('TEXTURES/'+TextureResource, TextureData, ResLength) then
+      begin
+        writeln(Format('Animated texture WAD file "%s" has no texture "%s"', [wadName, 'TEXTURES/'+TextureResource]));
+        exit;
+      end;
+
+      if not LoadImageFromMemory(TextureData, ResLength, img) then
+      begin
+        writeln(Format('Animated texture file "%s" has invalid texture image', [wadName]));
+        exit;
+      end;
+      //writeln('texture image: ', img.width, 'x', img.height, ' (', img.width div _width, ' frames)');
+
+      WAD.Free();
+      WAD := nil;
+
+      // now create animation frames
+      GlobalMetadata.ClearMetaItems();
+      GlobalMetadata.ClearMetaItemsForSaving();
+
+      GlobalMetadata.SetMetaItem(SMetaFrameDelay, _speed*28);
+      if _backanimation then
+        GlobalMetadata.SetMetaItem(SMetaAnimationLoops, 1)
+      else
+        GlobalMetadata.SetMetaItem(SMetaAnimationLoops, 0);
+
+      SetLength(ia, _framecount);
+      //writeln('creating ', length(ia), ' animation frames...');
+      for f := 0 to high(ia) do
+      begin
+        GlobalMetadata.SetMetaItem(SMetaFrameDelay, _speed*28, f);
+        if _backanimation then
+          GlobalMetadata.SetMetaItem(SMetaAnimationLoops, 1, f)
+        else
+          GlobalMetadata.SetMetaItem(SMetaAnimationLoops, 0, f);
+
+        InitImage(ia[f]);
+        NewImage(_width, _height, TImageFormat.ifA8R8G8B8, ia[f]);
+        ofsx := f*_width;
+        ofsy := 0;
+        for y := 0 to _height-1 do
+        begin
+          for x := 0 to _width-1 do
+          begin
+            nx := ofsx+x;
+            ny := ofsy+y;
+            if (nx >= 0) and (ny >= 0) and (nx < img.width) and (ny < img.height) then
+            begin
+              clr := GetPixel32(img, nx, ny);
+            end
+            else
+            begin
+              clr.r := 0;
+              clr.g := 0;
+              clr.b := 0;
+              clr.a := 0;
+            end;
+            SetPixel32(ia[f], x, y, clr);
+          end;
+        end;
+        //writeln('resizing image...');
+        //ResizeImage(ia[f], 320, 200, TResizeFilter.rfNearest);
+      end;
+      GlobalMetadata.CopyLoadedMetaItemsForSaving;
+
+      sto := TMemoryStream.Create();
+      //writeln(' ... [', ChangeFileExt(wadName, '.png'), '] (', length(ia), ') ');
+      Imaging.SetOption(ImagingPNGCompressLevel, 9);
+      if optAggressivePng then Imaging.SetOption(ImagingPNGPreFilter, 6);
+      if SaveMultiImageToStream('png', sto, ia) then
+      begin
+        sto.position := 0;
+        result := sto;
+        sto := nil;
+      end
+      else
+      begin
+        //writeln(' ...WTF?!');
+      end;
+    finally
+      FreeImage(img);
+    end;
+  finally
+    for f := 0 to High(ia) do FreeImage(ia[f]);
+    WAD.Free();
+    cfg.Free();
+    if TextureWAD <> nil then FreeMem(TextureWAD);
+    if TextData <> nil then FreeMem(TextData);
+    if TextureData <> nil then FreeMem(TextureData);
+    sto.Free();
+    FreeMem(buf);
+  end;
+end;
+
+
+function recompressImageToPng (ist: TStream): TStream;
+var
+  ia: TDynImageDataArray = nil;
+  sto: TMemoryStream = nil;
+  f: Integer;
+begin
+  result := nil;
+  ist.position := 0;
+  GlobalMetadata.ClearMetaItems();
+  GlobalMetadata.ClearMetaItemsForSaving();
+  if not LoadMultiImageFromStream(ist, ia) then exit;
+  try
+    GlobalMetadata.CopyLoadedMetaItemsForSaving;
+    sto := TMemoryStream.Create();
+    Imaging.SetOption(ImagingPNGCompressLevel, 9);
+    if optAggressivePng then Imaging.SetOption(ImagingPNGPreFilter, 6);
+    if SaveMultiImageToStream('png', sto, ia) then
+    begin
+      sto.position := 0;
+      result := sto;
+      sto := nil;
+    end;
+  finally
+    sto.Free();
+    for f := 0 to High(ia) do FreeImage(ia[f]);
+  end;
 end;
 
 
 // returs crc
-function zpack (ds: TStream; ss: TStream): LongWord;
+function zpack (ds: TStream; ss: TStream; var aborted: Boolean): LongWord;
 const
   IBSize = 65536;
   OBSize = 65536;
@@ -35,12 +265,17 @@ var
   rd: Integer;
   eof: Boolean;
   crc: LongWord;
+  dstp, srcsize: Int64;
 begin
   result := 0;
+  //aborted := true; exit;
+  aborted := false;
   crc := crc32(0, nil, 0);
   GetMem(ib, IBSize);
   GetMem(ob, OBSize);
   ss.position := 0;
+  dstp := ds.position;
+  srcsize := ss.size;
   try
     zst.next_out := ob;
     zst.avail_out := OBSize;
@@ -70,6 +305,12 @@ begin
           if zst.avail_out < OBSize then
           begin
             //writeln('  written ', OBSize-zst.avail_out, ' bytes');
+            if ds.position+(OBSize-zst.avail_out)-dstp >= srcsize then
+            begin
+              // this will be overwritten anyway
+              aborted := true;
+              exit;
+            end;
             ds.writeBuffer(ob^, OBSize-zst.avail_out);
             zst.next_out := ob;
             zst.avail_out := OBSize;
@@ -85,6 +326,12 @@ begin
         if zst.avail_out < OBSize then
         begin
           //writeln('  .written ', OBSize-zst.avail_out, ' bytes');
+          if ds.position+(OBSize-zst.avail_out)-dstp >= srcsize then
+          begin
+            // this will be overwritten anyway
+            aborted := true;
+            exit;
+          end;
           ds.writeBuffer(ob^, OBSize-zst.avail_out);
           zst.next_out := ob;
           zst.avail_out := OBSize;
@@ -151,6 +398,7 @@ var
   buflen: Integer;
   f: Integer;
   st: string[24];
+  img: string;
 begin
   result := fname;
   if length(ExtractFileExt(fname)) <> 0 then exit;
@@ -215,6 +463,7 @@ begin
       end;
     end;
     // targa (stupid hack; this "signature" is not required by specs)
+    {
     if buflen >= 18 then
     begin
       Move((buf+buflen-18)^, (PChar(@st[1]))^, 16);
@@ -225,6 +474,27 @@ begin
         exit;
       end;
     end;
+    }
+    // detect image format
+    img := DetermineMemoryFormat(buf, buflen);
+    if length(img) > 0 then
+    begin
+      result := result+'.'+img;
+      exit;
+    end;
+    // check if this is text file
+    if buflen > 16 then
+    begin
+      for f := 0 to buflen-1 do
+      begin
+        if buf[f] = #127 then exit;
+        if buf[f] < #32 then
+        begin
+          if (buf[f] <> #9) and (buf[f] <> #10) and (buf[f] <> #13) then exit;
+        end;
+      end;
+      result := result+'.txt';
+    end;
   finally
     FreeMem(buf);
   end;
@@ -333,10 +603,13 @@ end;
 const UtfFlags = (1 shl 10); // bit 11
 {$ENDIF}
 
-function ZipOne (ds: TStream; fname: AnsiString; st: TStream): TFileInfo;
+function ZipOne (ds: TStream; fname: AnsiString; st: TStream; dopack: Boolean=true): TFileInfo;
 var
-  oldofs, nfoofs, pkdpos: Int64;
+  oldofs, nfoofs, pkdpos, rd: Int64;
   sign: packed array [0..3] of Char;
+  buf: PChar;
+  bufsz: Integer;
+  aborted: Boolean = false;
 {$IFDEF UTFEXTRA}
   ef: TByteArray;
 {$ENDIF}
@@ -345,6 +618,11 @@ begin
   result.pkofs := ds.position;
   result.size := st.size;
   if result.size > 0 then result.method := 8 else result.method := 0;
+  if not dopack then
+  begin
+    result.method := 0;
+    result.pksize := result.size;
+  end;
 {$IFDEF UTFEXTRA}
   result.name := fname;
   ef := buildUtfExtra(result.name);
@@ -373,19 +651,62 @@ begin
 {$IFDEF UTFEXTRA}
   if length(ef) > 0 then ds.writeBuffer(ef[0], length(ef));
 {$ENDIF}
-  // now write packed data
-  if result.size > 0 then
+  if dopack then
   begin
-    pkdpos := ds.position;
-    st.position := 0;
-    result.crc := zpack(ds, st);
-    result.pksize := ds.position-pkdpos;
+    // now write packed data
+    if result.size > 0 then
+    begin
+      pkdpos := ds.position;
+      st.position := 0;
+      result.crc := zpack(ds, st, aborted);
+      result.pksize := ds.position-pkdpos;
+      if {result.pksize >= result.size} aborted then
+      begin
+        // there's no sence to pack this file, so just store it
+        st.position := 0;
+        ds.position := result.pkofs;
+        result.Free();
+        // store it
+        result := ZipOne(ds, fname, st, false);
+        exit;
+      end
+      else
+      begin
+        // fix header
+        oldofs := ds.position;
+        ds.position := nfoofs;
+        writeInt(ds, LongWord(result.crc)); // crc32
+        writeInt(ds, LongWord(result.pksize)); // crc32
+        ds.position := oldofs;
+      end;
+    end;
+  end
+  else
+  begin
+    bufsz := 1024*1024;
+    GetMem(buf, bufsz);
+    try
+      st.position := 0;
+      result.crc := crc32(0, nil, 0);
+      result.pksize := 0;
+      while result.pksize < result.size do
+      begin
+        rd := result.size-result.pksize;
+        if rd > bufsz then rd := bufsz;
+        st.readBuffer(buf^, rd);
+        ds.writeBuffer(buf^, rd);
+        Inc(result.pksize, rd);
+        result.crc := crc32(result.crc, buf, rd);
+      end;
+    finally
+      FreeMem(buf);
+    end;
     // fix header
     oldofs := ds.position;
     ds.position := nfoofs;
     writeInt(ds, LongWord(result.crc)); // crc32
-    writeInt(ds, LongWord(result.pksize)); // crc32
     ds.position := oldofs;
+    write('(S) ');
   end;
 end;
 
@@ -447,15 +768,17 @@ end;
 
 
 var
-  fs, fo: TStream;
+  fs, fo, ast: TStream;
   fl: TSFSFileList;
-  f: Integer;
-  infname: AnsiString;
-  outfname: AnsiString;
+  f, c: Integer;
+  infname: AnsiString = '';
+  outfname: AnsiString = '';
   dvfn: AnsiString;
   newname: AnsiString;
   files: array of TFileInfo;
   nfo: TFileInfo;
+  nomoreopts: Boolean;
+  arg: AnsiString;
 begin
   if ParamCount() < 1 then
   begin
@@ -463,21 +786,59 @@ begin
     Halt(1);
   end;
 
-  infname := ParamStr(1);
+  Imaging.SetOption(ImagingPNGCompressLevel, 9);
+  Imaging.SetOption(ImagingPNGLoadAnimated, 1);
+  Imaging.SetOption(ImagingGIFLoadAnimated, 1);
+
+  for f := 1 to ParamCount() do
+  begin
+    arg := ParamStr(f);
+    if length(arg) = 0 then continue;
+    if not nomoreopts and (arg[1] = '-') then
+    begin
+           if arg = '--apng' then optConvertATX := true
+      else if arg = '--tga' then optConvertTGA := true
+      else if arg = '--locase' then optLoCaseNames := true
+      else if arg = '--nocase' then optLoCaseNames := false
+      else if arg = '--aggressive' then begin optAggressivePng := true; Imaging.SetOption(ImagingPNGPreFilter, 6); end
+      else if arg = '--recompress' then optRecompress := true
+      else if (arg = '--help') or (arg = '-h') then
+      begin
+        writeln('usage: wadcvt [options] file.wad');
+        writeln('options:');
+        writeln('  --apng    convert animated textures to APNG format');
+        writeln('  --tga     convert Targa images to PNG format');
+{$IFNDEF WINDOWS}
+        writeln('  --locase  convert file names to lower case');
+{$ENDIF}
+        Halt(1);
+      end
+      else if arg = '--' then nomoreopts := true
+      else
+      begin
+        writeln('unknown option: "', arg, '"');
+        Halt(1);
+      end;
+    end
+    else
+    begin
+           if length(infname) = 0 then infname := arg
+      else if length(outfname) = 0 then outfname := arg
+      else
+      begin
+        writeln('FATAL: too many arguments!');
+        Halt(1);
+      end;
+    end;
+  end;
+
   if not StrEquCI1251(ExtractFileExt(infname), '.wad') and not StrEquCI1251(ExtractFileExt(infname), '.dfwad') then
   begin
     writeln('wtf?!');
     Halt(1);
   end;
 
-  if ParamCount() > 1 then
-  begin
-    outfname := ParamStr(2);
-  end
-  else
-  begin
-    outfname := ChangeFileExt(infname, '.pk3');
-  end;
+  if length(outfname) = 0 then outfname := ChangeFileExt(infname, '.pk3');
 
   if not SFSAddDataFile(infname) then begin WriteLn('shit!'); Halt(1); end;
   dvfn := SFSGetLastVirtualName(infname);
@@ -491,6 +852,10 @@ begin
     Halt(1);
   end;
 
+{$IFNDEF WINDOWS}
+  optLoCaseNames := true;
+{$ENDIF}
+
   fo := TFileStream.Create(outfname, fmCreate);
   try
     for f := 0 to fl.Count-1 do
@@ -501,11 +866,55 @@ begin
       //fs.Free();
       //fs := SFSFileOpen(dvfn+'::'+fl[f].fPath+fl[f].fName);
       fs.position := 0;
-      writeln('[', f+1, '/', fl.Count, ']: ', fl[f].fPath, newname, '  ', fs.size);
-      nfo := ZipOne(fo, fl[f].fPath+newname, fs);
+{$IFNDEF ONELINELOG}
+      write(#13'[', f+1, '/', fl.Count, ']: ', fl[f].fPath, newname, '  ', fs.size, ' ... '#27'[K');
+{$ELSE}
+      write('[', f+1, '/', fl.Count, ']: ', fl[f].fPath, newname, '  ', fs.size, ' ... ');
+{$ENDIF}
+      //writeln(' : ', newname, ' : [', ExtractFileExt(newname), ']');
+      if optConvertATX and (StrEquCI1251(ExtractFileExt(newname), '.dfwad') or StrEquCI1251(ExtractFileExt(newname), '.wad')) then
+      begin
+        //writeln('  ANIMTEXT!');
+        ast := convertAnimTexture(fs, newname);
+        if ast <> nil then
+        begin
+          fs.Free();
+          fs := ast;
+          newname := ChangeFileExt(newname, '.png');
+{$IFNDEF ONELINELOG}
+          write('APNG ');
+{$ENDIF}
+        end;
+      end
+      else if optRecompress or (optConvertTGA and (StrEquCI1251(ExtractFileExt(newname), '.tga') or StrEquCI1251(ExtractFileExt(newname), '.bmp'))) then
+      begin
+        ast := recompressImageToPng(fs);
+        if ast <> nil then
+        begin
+          fs.Free();
+          fs := ast;
+          newname := ChangeFileExt(newname, '.png');
+{$IFNDEF ONELINELOG}
+          write('PNG ');
+{$ENDIF}
+        end;
+        fs.position := 0;
+      end;
+      newname := fl[f].fPath+newname;
+      if optLoCaseNames then for c := 1 to length(newname) do newname[c] := LoCase1251(newname[c]);
+      nfo := ZipOne(fo, newname, fs);
+      write(nfo.pksize, ' DONE');
+{$IFNDEF ONELINELOG}
+      writeln;
+{$ENDIF}
       SetLength(files, length(files)+1);
       files[high(files)] := nfo;
     end;
+{$IFNDEF ONELINELOG}
+    writeln(fl.Count, ' files processed.');
+{$ELSE}
+    writeln(#13, fl.Count, ' files processed.'#27'[K');
+{$ENDIF}
     writeCentralDir(fo, files);
   except
     fo.Free();