DEADSOFTWARE

mapdef cleanup; renamed some fields; mapdef.txt is RC0 now
[d2df-sdl.git] / src / shared / xdynrec.pas
index f129dd035af96a9b8c12f84feec6bf58a35349b8..3bce723917354b4ad0e119cf92edcba521f42e2d 100644 (file)
  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  *)
 {$INCLUDE a_modes.inc}
+{.$DEFINE XDYNREC_USE_FIELDHASH} // actually, it is SLOWER with this
 unit xdynrec;
 
 interface
 
 uses
-  Classes,
-  xparser, xstreams, utils;
+  Variants, Classes,
+  xparser, xstreams, utils, hashtable;
 
 
 // ////////////////////////////////////////////////////////////////////////// //
@@ -43,33 +44,33 @@ type
       // TSize: pair of UShorts
       // TList: actually, array of records
       // TTrigData: array of mMaxDim bytes, but internally a record (mRecRef)
-      // arrays of chars are pascal shortstrings (with counter in the first byte)
+      // in binary: arrays of chars are pascal shortstrings (with counter in the first byte)
 
   private
     type
       TEBS = (TNone, TRec, TEnum, TBitSet);
 
   private
-    mOwner: TDynRecord;
-    mPasName: AnsiString;
-    mName: AnsiString;
-    mType: TType;
+    mOwner: TDynRecord; // owner record
+    mName: AnsiString; // field name
+    mType: TType; // field type
     mIVal: Integer; // for all integer types
     mIVal2: Integer; // for point and size
     mSVal: AnsiString; // string; for byte and char arrays
     mRVal: TDynRecList; // for list
+    mRHash: THashStrInt; // id -> index in mRVal
     mRecRef: TDynRecord; // for TEBS.TRec
     mMaxDim: Integer; // for byte and char arrays; <0: not an array; 0: impossible value
     mBinOfs: Integer; // offset in binary; <0 - none
-    mRecOfs: Integer; // offset in record; <0 - none
     mSepPosSize: Boolean; // for points and sizes, use separate fields
     mAsT: Boolean; // for points and sizes, use separate fields, names starts with `t`
     mDefined: Boolean;
     mHasDefault: Boolean;
-    mOmitDef: Boolean;
+    mWriteDef: Boolean;
     mInternal: Boolean;
     mNegBool: Boolean;
     mBitSetUnique: Boolean; // bitset can contain only one value
+    mAsMonsterId: Boolean; // special hack for triggers: monster record number+1 in binary (so 0 means "none")
     // default value
     mDefUnparsed: AnsiString;
     mDefSVal: AnsiString; // default string value
@@ -82,6 +83,13 @@ type
     // for binary parser
     mRecRefId: AnsiString;
 
+    // for userdata
+    mTagInt: Integer;
+    mTagPtr: Pointer;
+
+    // for pasgen
+    mAlias: AnsiString;
+
   private
     procedure cleanup ();
 
@@ -91,17 +99,35 @@ type
     procedure fixDefaultValue (); // this will NOT clone `mDefRecRef`
     function isDefaultValue (): Boolean;
 
+    function getListCount (): Integer; inline;
+    function getListItem (idx: Integer): TDynRecord; inline; overload;
+    function getListItem (const aname: AnsiString): TDynRecord; inline; overload;
+
+    function getRecRefIndex (): Integer;
+
+    procedure setIVal (v: Integer); inline;
+
+    function getVar (): Variant;
+    procedure setVar (val: Variant);
+
+  protected
+    // returns `true` for duplicate record id
+    function addListItem (rec: TDynRecord): Boolean; inline;
+
   public
     constructor Create (const aname: AnsiString; atype: TType);
     constructor Create (pr: TTextParser);
+    constructor Create (const aname: AnsiString; val: Variant);
     destructor Destroy (); override;
 
     class function getTypeName (t: TType): AnsiString;
 
+    // build "alias name" for pascal code
+    function palias (firstUp: Boolean=false): AnsiString;
+
     function definition (): AnsiString;
-    function pasdef (): AnsiString;
 
-    function clone (newOwner: TDynRecord=nil): TDynField;
+    function clone (newOwner: TDynRecord=nil; registerIn: TDynRecord=nil): TDynField;
 
     procedure parseValue (pr: TTextParser);
     procedure parseBinValue (st: TStream);
@@ -114,25 +140,36 @@ type
 
     procedure setValue (const s: AnsiString);
 
+    function GetEnumerator (): TDynRecList.TEnumerator; inline;
+
   public
-    property pasname: AnsiString read mPasName;
     property name: AnsiString read mName;
     property baseType: TType read mType;
-    property defined: Boolean read mDefined write mDefined;
+    property negbool: Boolean read mNegBool;
+    property defined: Boolean read mDefined;
     property internal: Boolean read mInternal write mInternal;
-    property ival: Integer read mIVal;
+    property hasTPrefix: Boolean read mAsT;
+    property separatePasFields: Boolean read mSepPosSize;
+    property binOfs: Integer read mBinOfs;
+    property ival: Integer read mIVal write setIVal;
+    property ival2: Integer read mIVal2;
     property sval: AnsiString read mSVal;
     property hasDefault: Boolean read mHasDefault;
     property defsval: AnsiString read mDefSVal;
     property ebs: TEBS read mEBS;
     property ebstype: TObject read mEBSType;
     property ebstypename: AnsiString read mEBSTypeName; // enum/bitset name
-    property list: TDynRecList read mRVal; // for list
-
-    property x: Integer read mIVal;
-    property w: Integer read mIVal;
-    property y: Integer read mIVal2;
-    property h: Integer read mIVal2;
+    property recref: TDynRecord read mRecRef;
+    property recrefIndex: Integer read getRecRefIndex; // search for this record in header; -1: not found
+    // for lists
+    property count: Integer read getListCount;
+    property item[idx: Integer]: TDynRecord read getListItem;
+    property items[const aname: AnsiString]: TDynRecord read getListItem; default; // alas, FPC 3+ lost property overloading feature
+    // userdata
+    property tagInt: Integer read mTagInt write mTagInt;
+    property tagPtr: Pointer read mTagPtr write mTagPtr;
+    //
+    property varvalue: Variant read getVar write setVar;
   end;
 
 
@@ -141,29 +178,47 @@ type
   private
     mOwner: TDynMapDef;
     mId: AnsiString;
-    mPasName: AnsiString;
     mName: AnsiString;
     mSize: Integer;
     mFields: TDynFieldList;
+    {$IF DEFINED(XDYNREC_USE_FIELDHASH)}
+    mFieldsHash: THashStrInt; // id -> index in mRVal
+    {$ENDIF}
     mTrigTypes: array of AnsiString; // if this is triggerdata, we'll hold list of triggers here
     mHeader: Boolean; // true for header record
     mBinBlock: Integer; // -1: none
     mHeaderRec: TDynRecord; // for "value" records this is header record with data, for "type" records this is header type record
 
+    // for userdata
+    mTagInt: Integer;
+    mTagPtr: Pointer;
+
+    mRec2Free: TDynRecList;
+
   private
     procedure parseDef (pr: TTextParser); // parse definition
 
     function findByName (const aname: AnsiString): Integer; inline;
     function hasByName (const aname: AnsiString): Boolean; inline;
     function getFieldByName (const aname: AnsiString): TDynField; inline;
+    function getFieldAt (idx: Integer): TDynField; inline;
+    function getCount (): Integer; inline;
 
     function getIsTrigData (): Boolean; inline;
     function getIsForTrig (const aname: AnsiString): Boolean; inline;
 
+    function getForTrigCount (): Integer; inline;
+    function getForTrigAt (idx: Integer): AnsiString; inline;
+
+    procedure regrec (rec: TDynRecord);
+
   protected
     function findRecordByTypeId (const atypename, aid: AnsiString): TDynRecord;
     function findRecordNumByType (const atypename: AnsiString; rc: TDynRecord): Integer;
-    procedure addRecordByType (const atypename: AnsiString; rc: TDynRecord);
+    function addRecordByType (const atypename: AnsiString; rc: TDynRecord): Boolean; // `true`: duplicate record id
+
+    procedure addField (fld: TDynField); inline;
+    function addFieldChecked (fld: TDynField): Boolean; inline; // `true`: duplicate name
 
   public
     constructor Create ();
@@ -171,9 +226,8 @@ type
     destructor Destroy (); override;
 
     function definition (): AnsiString;
-    function pasdef (): AnsiString;
 
-    function clone (): TDynRecord;
+    function clone (registerIn: TDynRecord): TDynRecord;
 
     function isSimpleEqu (rec: TDynRecord): Boolean;
 
@@ -189,18 +243,29 @@ type
     // number of records of the given instance
     function instanceCount (const typename: AnsiString): Integer;
 
+    function getUserVar (const aname: AnsiString): Variant;
+    procedure setUserVar (const aname: AnsiString; val: Variant);
+
   public
     property id: AnsiString read mId; // for map parser
-    property pasname: AnsiString read mPasName;
     property name: AnsiString read mName; // record name
     property size: Integer read mSize; // size in bytes
-    property fields: TDynFieldList read mFields;
+    //property fields: TDynFieldList read mFields;
     property has[const aname: AnsiString]: Boolean read hasByName;
-    property field[const aname: AnsiString]: TDynField read getFieldByName;
+    property count: Integer read getCount;
+    property field[const aname: AnsiString]: TDynField read getFieldByName; default;
+    property fieldAt[idx: Integer]: TDynField read getFieldAt;
     property isTrigData: Boolean read getIsTrigData;
     property isForTrig[const aname: AnsiString]: Boolean read getIsForTrig;
-    property headerType: TDynRecord read mHeaderRec;
+    property forTrigCount: Integer read getForTrigCount;
+    property forTrigAt[idx: Integer]: AnsiString read getForTrigAt;
+    property headerRec: TDynRecord read mHeaderRec;
     property isHeader: Boolean read mHeader;
+    // userdata
+    property tagInt: Integer read mTagInt write mTagInt;
+    property tagPtr: Pointer read mTagPtr write mTagPtr;
+    // userfields
+    property user[const aname: AnsiString]: Variant read getUserVar write setUserVar;
   end;
 
   TDynEBS = class
@@ -251,6 +316,9 @@ type
 
     function getHeaderRecType (): TDynRecord; inline;
 
+    function getTrigTypeCount (): Integer; inline;
+    function getTrigTypeAt (idx: Integer): TDynRecord; inline;
+
   public
     constructor Create (pr: TTextParser); // parses data definition
     destructor Destroy (); override;
@@ -259,7 +327,7 @@ type
     function findTrigFor (const aname: AnsiString): TDynRecord;
     function findEBSType (const aname: AnsiString): TDynEBS;
 
-    function pasdef (): AnsiString;
+    function pasdefconst (): AnsiString;
 
     // creates new header record
     function parseMap (pr: TTextParser): TDynRecord;
@@ -269,28 +337,49 @@ type
 
   public
     property headerType: TDynRecord read getHeaderRecType;
+    property trigTypeCount: Integer read getTrigTypeCount;
+    property trigType[idx: Integer]: TDynRecord read getTrigTypeAt;
   end;
 
 
+{$IF DEFINED(D2D_DYNREC_PROFILER)}
+procedure xdynDumpProfiles ();
+{$ENDIF}
+
+
 implementation
 
 uses
-  SysUtils;
+  SysUtils, e_log
+  {$IF DEFINED(D2D_DYNREC_PROFILER)},xprofiler{$ENDIF};
 
 
 // ////////////////////////////////////////////////////////////////////////// //
 function StrEqu (const a, b: AnsiString): Boolean; inline; begin result := (a = b); end;
 
 
+// ////////////////////////////////////////////////////////////////////////// //
+function TDynField.GetEnumerator (): TDynRecList.TEnumerator; inline;
+begin
+  //result := TListEnumerator.Create(mRVal);
+  if (mRVal <> nil) then result := mRVal.GetEnumerator else result := TDynRecList.TEnumerator.Create(nil, 0);
+end;
+
+
 // ////////////////////////////////////////////////////////////////////////// //
 constructor TDynField.Create (const aname: AnsiString; atype: TType);
 begin
   mRVal := nil;
   mRecRef := nil;
+  mRHash := nil;
   cleanup();
   mName := aname;
   mType := atype;
-  if (mType = TType.TList) then mRVal := TDynRecList.Create();
+  if (mType = TType.TList) then
+  begin
+    mRVal := TDynRecList.Create();
+    mRHash := hashNewStrInt();
+  end;
 end;
 
 
@@ -301,6 +390,72 @@ begin
 end;
 
 
+constructor TDynField.Create (const aname: AnsiString; val: Variant);
+  procedure setInt32 (v: LongInt);
+  begin
+    case mType of
+      TType.TBool:
+             if (v = 0) then mIVal := 0
+        else if (v = 1) then mIVal := 1
+        else raise Exception.Create('cannot convert shortint variant to field value');
+      TType.TByte:
+             if (v >= -128) and (v <= 127) then mIVal := v
+        else raise Exception.Create('cannot convert shortint variant to field value');
+      TType.TUByte:
+             if (v >= 0) and (v <= 255) then mIVal := v
+        else raise Exception.Create('cannot convert shortint variant to field value');
+      TType.TShort:
+             if (v >= -32768) and (v <= 32767) then mIVal := v
+        else raise Exception.Create('cannot convert shortint variant to field value');
+      TType.TUShort:
+             if (v >= 0) and (v <= 65535) then mIVal := v
+        else raise Exception.Create('cannot convert shortint variant to field value');
+      TType.TInt:
+        mIVal := v;
+      TType.TUInt:
+        mIVal := v;
+      TType.TString:
+        mSVal := formatstrf('%s', [v]);
+      else
+        raise Exception.Create('cannot convert integral variant to field value');
+    end;
+  end;
+begin
+  mRVal := nil;
+  mRecRef := nil;
+  mRHash := nil;
+  cleanup();
+  mName := aname;
+  case varType(val) of
+    varEmpty: raise Exception.Create('cannot convert empty variant to field value');
+    varNull: raise Exception.Create('cannot convert null variant to field value');
+    varSingle: raise Exception.Create('cannot convert single variant to field value');
+    varDouble: raise Exception.Create('cannot convert double variant to field value');
+    varDecimal: raise Exception.Create('cannot convert decimal variant to field value');
+    varCurrency: raise Exception.Create('cannot convert currency variant to field value');
+    varDate: raise Exception.Create('cannot convert date variant to field value');
+    varOleStr: raise Exception.Create('cannot convert olestr variant to field value');
+    varStrArg: raise Exception.Create('cannot convert stdarg variant to field value');
+    varString: mType := TType.TString;
+    varDispatch: raise Exception.Create('cannot convert dispatch variant to field value');
+    varBoolean: mType := TType.TBool;
+    varVariant: raise Exception.Create('cannot convert variant variant to field value');
+    varUnknown: raise Exception.Create('cannot convert unknown variant to field value');
+    varByte: mType := TType.TUByte;
+    varWord: mType := TType.TUShort;
+    varShortInt: mType := TType.TByte;
+    varSmallint: mType := TType.TShort;
+    varInteger: mType := TType.TInt;
+    varInt64: raise Exception.Create('cannot convert int64 variant to field value');
+    varLongWord: raise Exception.Create('cannot convert longword variant to field value');
+    varQWord: raise Exception.Create('cannot convert uint64 variant to field value');
+    varError: raise Exception.Create('cannot convert error variant to field value');
+    else raise Exception.Create('cannot convert undetermined variant to field value');
+  end;
+  varvalue := val;
+end;
+
+
 destructor TDynField.Destroy ();
 begin
   cleanup();
@@ -317,15 +472,16 @@ begin
   mSVal := '';
   mRVal.Free();
   mRVal := nil;
+  mRHash.Free();
+  mRHash := nil;
   mRecRef := nil;
   mMaxDim := -1;
   mBinOfs := -1;
-  mRecOfs := -1;
   mSepPosSize := false;
   mAsT := false;
   mHasDefault := false;
   mDefined := false;
-  mOmitDef := false;
+  mWriteDef := false;
   mInternal := true;
   mDefUnparsed := '';
   mDefSVal := '';
@@ -336,20 +492,22 @@ begin
   mEBSTypeName := '';
   mEBSType := nil;
   mBitSetUnique := false;
+  mAsMonsterId := false;
   mNegBool := false;
   mRecRefId := '';
-  if (mType = TType.TList) then mRVal := TDynRecList.Create();
+  mTagInt := 0;
+  mTagPtr := nil;
+  mAlias := '';
 end;
 
 
-function TDynField.clone (newOwner: TDynRecord=nil): TDynField;
+function TDynField.clone (newOwner: TDynRecord=nil; registerIn: TDynRecord=nil): TDynField;
 var
   rec: TDynRecord;
 begin
   result := TDynField.Create(mName, mType);
   result.mOwner := mOwner;
   if (newOwner <> nil) then result.mOwner := newOwner else result.mOwner := mOwner;
-  result.mPasName := mPasName;
   result.mName := mName;
   result.mType := mType;
   result.mIVal := mIVal;
@@ -357,25 +515,22 @@ begin
   result.mSVal := mSVal;
   if (mRVal <> nil) then
   begin
-    result.mRVal := TDynRecList.Create(mRVal.count);
-    for rec in mRVal do result.mRVal.append(rec.clone());
-  end
-  else
-  begin
-    if (mType = TType.TList) then result.mRVal := TDynRecList.Create() else result.mRVal := nil;
+    if (result.mRVal = nil) then result.mRVal := TDynRecList.Create(mRVal.count);
+    if (result.mRHash = nil) then result.mRHash := hashNewStrInt();
+    for rec in mRVal do result.addListItem(rec.clone(registerIn));
   end;
   result.mRecRef := mRecRef;
   result.mMaxDim := mMaxDim;
   result.mBinOfs := mBinOfs;
-  result.mRecOfs := mRecOfs;
   result.mSepPosSize := mSepPosSize;
   result.mAsT := mAsT;
   result.mDefined := mDefined;
   result.mHasDefault := mHasDefault;
-  result.mOmitDef := mOmitDef;
+  result.mWriteDef := mWriteDef;
   result.mInternal := mInternal;
   result.mNegBool := mNegBool;
   result.mBitSetUnique := mBitSetUnique;
+  result.mAsMonsterId := mAsMonsterId;
   result.mDefUnparsed := mDefUnparsed;
   result.mDefSVal := mDefSVal;
   result.mDefIVal := mDefIVal;
@@ -385,6 +540,152 @@ begin
   result.mEBSTypeName := mEBSTypeName;
   result.mEBSType := mEBSType;
   result.mRecRefId := mRecRefId;
+  result.mTagInt := mTagInt;
+  result.mTagPtr := mTagPtr;
+  result.mAlias := mAlias;
+end;
+
+
+function TDynField.palias (firstUp: Boolean=false): AnsiString;
+var
+  nextUp: Boolean;
+  ch: AnsiChar;
+begin
+  if (Length(mAlias) > 0) then
+  begin
+    if firstUp then result := UpCase1251(mAlias[1])+Copy(mAlias, 2, Length(mAlias)-1) else result := mAlias;
+  end
+  else
+  begin
+    result := '';
+    nextUp := firstUp;
+    for ch in mName do
+    begin
+      if (ch = '_') then begin nextUp := true; continue; end;
+      if nextUp then result += UpCase1251(ch) else result += ch;
+      nextUp := false;
+    end;
+  end;
+end;
+
+
+procedure TDynField.setIVal (v: Integer); inline;
+begin
+  //FIXME: check type
+  mIVal := v;
+  mDefined := true;
+end;
+
+
+function TDynField.getVar (): Variant;
+begin
+  if (mEBS = TEBS.TRec) then begin result := LongInt(getRecRefIndex); exit; end;
+  case mType of
+    TType.TBool: result := (mIVal <> 0);
+    TType.TChar: result := mSVal;
+    TType.TByte: result := ShortInt(mIVal);
+    TType.TUByte: result := Byte(mIVal);
+    TType.TShort: result := SmallInt(mIVal);
+    TType.TUShort: result := Word(mIVal);
+    TType.TInt: result := LongInt(mIVal);
+    TType.TUInt: result := LongWord(mIVal);
+    TType.TString: result := mSVal;
+    TType.TPoint: raise Exception.Create('cannot convert point field to variant');
+    TType.TSize: raise Exception.Create('cannot convert size field to variant');
+    TType.TList: raise Exception.Create('cannot convert list field to variant');
+    TType.TTrigData: raise Exception.Create('cannot convert trigdata field to variant');
+    else result := Unassigned; raise Exception.Create('ketmar forgot to handle some field type');
+  end;
+end;
+
+
+procedure TDynField.setVar (val: Variant);
+  procedure setInt32 (v: LongInt);
+  begin
+    case mType of
+      TType.TBool:
+             if (v = 0) then mIVal := 0
+        else if (v = 1) then mIVal := 1
+        else raise Exception.Create('cannot convert shortint variant to field value');
+      TType.TByte:
+             if (v >= -128) and (v <= 127) then mIVal := v
+        else raise Exception.Create('cannot convert shortint variant to field value');
+      TType.TUByte:
+             if (v >= 0) and (v <= 255) then mIVal := v
+        else raise Exception.Create('cannot convert shortint variant to field value');
+      TType.TShort:
+             if (v >= -32768) and (v <= 32767) then mIVal := v
+        else raise Exception.Create('cannot convert shortint variant to field value');
+      TType.TUShort:
+             if (v >= 0) and (v <= 65535) then mIVal := v
+        else raise Exception.Create('cannot convert shortint variant to field value');
+      TType.TInt:
+        mIVal := v;
+      TType.TUInt:
+        mIVal := v;
+      TType.TString:
+        mSVal := formatstrf('%s', [v]);
+      else
+        raise Exception.Create('cannot convert integral variant to field value');
+    end;
+  end;
+begin
+  case varType(val) of
+    varEmpty: raise Exception.Create('cannot convert empty variant to field value');
+    varNull: raise Exception.Create('cannot convert null variant to field value');
+    varSingle: raise Exception.Create('cannot convert single variant to field value');
+    varDouble: raise Exception.Create('cannot convert double variant to field value');
+    varDecimal: raise Exception.Create('cannot convert decimal variant to field value');
+    varCurrency: raise Exception.Create('cannot convert currency variant to field value');
+    varDate: raise Exception.Create('cannot convert date variant to field value');
+    varOleStr: raise Exception.Create('cannot convert olestr variant to field value');
+    varStrArg: raise Exception.Create('cannot convert stdarg variant to field value');
+    varString:
+      if (mType = TType.TChar) or (mType = TType.TString) then
+      begin
+        mSVal := val;
+      end
+      else
+      begin
+        raise Exception.Create('cannot convert string variant to field value');
+      end;
+    varDispatch: raise Exception.Create('cannot convert dispatch variant to field value');
+    varBoolean:
+      case mType of
+        TType.TBool,
+        TType.TByte,
+        TType.TUByte,
+        TType.TShort,
+        TType.TUShort,
+        TType.TInt,
+        TType.TUInt:
+          if val then mIVal := 1 else mIVal := 0;
+        TType.TString:
+          if val then mSVal := 'true' else mSVal := 'false';
+        else
+          raise Exception.Create('cannot convert boolean variant to field value');
+      end;
+    varVariant: raise Exception.Create('cannot convert variant variant to field value');
+    varUnknown: raise Exception.Create('cannot convert unknown variant to field value');
+    varByte,
+    varWord,
+    varShortInt,
+    varSmallint,
+    varInteger:
+      setInt32(val);
+    varInt64:
+      if (val < Int64(LongInt($80000000))) or (val > LongInt($7FFFFFFF)) then
+        raise Exception.Create('cannot convert boolean variant to field value')
+      else
+        mIVal := LongInt(val);
+    varLongWord:
+      if (val > LongWord($7FFFFFFF)) then raise Exception.Create('cannot convert longword variant to field value')
+      else setInt32(Integer(val));
+    varQWord: raise Exception.Create('cannot convert uint64 variant to field value');
+    varError: raise Exception.Create('cannot convert error variant to field value');
+    else raise Exception.Create('cannot convert undetermined variant to field value');
+  end;
+  mDefined := true;
 end;
 
 
@@ -502,6 +803,37 @@ begin
 end;
 
 
+function TDynField.getListCount (): Integer; inline;
+begin
+  if (mRVal <> nil) then result := mRVal.count else result := 0;
+end;
+
+
+function TDynField.getListItem (idx: Integer): TDynRecord; inline; overload;
+begin
+  if (mRVal <> nil) and (idx >= 0) and (idx < mRVal.count) then result := mRVal[idx] else result := nil;
+end;
+
+
+function TDynField.getListItem (const aname: AnsiString): TDynRecord; inline; overload;
+var
+  idx: Integer;
+begin
+  if (mRVal <> nil) and mRHash.get(aname, idx) then result := mRVal[idx] else result := nil;
+end;
+
+
+function TDynField.addListItem (rec: TDynRecord): Boolean; inline;
+begin
+  result := false;
+  if (mRVal <> nil) then
+  begin
+    mRVal.append(rec);
+    if (Length(rec.mId) > 0) then result := mRHash.put(rec.mId, mRVal.count-1);
+  end;
+end;
+
+
 class function TDynField.getTypeName (t: TType): AnsiString;
 begin
   case t of
@@ -525,75 +857,50 @@ end;
 
 function TDynField.definition (): AnsiString;
 begin
-  result := mPasName+' is '+quoteStr(mName)+' type ';
+  result := quoteStr(mName)+' type ';
   result += getTypeName(mType);
+  if (Length(mAlias) > 0) then result += ' alias '+mAlias;
   if (mMaxDim >= 0) then result += Format('[%d]', [mMaxDim]);
-  if (mRecOfs >= 0) then result += Format(' offset %d', [mRecOfs]);
+  if (mBinOfs >= 0) then result += Format(' offset %d', [mBinOfs]);
   case mEBS of
     TEBS.TNone: begin end;
     TEBS.TRec: result += ' '+mEBSTypeName;
     TEBS.TEnum: result += ' enum '+mEBSTypeName;
     TEBS.TBitSet: begin result += ' bitset '; if mBitSetUnique then result += 'unique '; result += mEBSTypeName; end;
   end;
+  if mAsMonsterId then result += ' as monsterid';
   if mHasDefault and (Length(mDefUnparsed) > 0) then result += ' default '+mDefUnparsed;
   if mSepPosSize then
   begin
          if (mType = TType.TPoint) then begin if (mAsT) then result += ' as txy' else result += ' as xy'; end
     else if (mType = TType.TSize) then begin if (mAsT) then result += ' as twh' else result += ' as wh'; end;
   end;
-  if mOmitDef then result += ' omitdefault';
+  if mWriteDef then result += ' writedefault';
   if mInternal then result += ' internal';
 end;
 
 
-function TDynField.pasdef (): AnsiString;
-begin
-  result := mPasName+': ';
-  case mType of
-    TType.TBool: result += 'Boolean;';
-    TType.TChar: if (mMaxDim > 0) then result += formatstrf('Char%d;', [mMaxDim]) else result += 'Char;';
-    TType.TByte: result += 'ShortInt;';
-    TType.TUByte: result += 'Byte;';
-    TType.TShort: result += 'SmallInt;';
-    TType.TUShort: result += 'Word;';
-    TType.TInt: result += 'LongInt;';
-    TType.TUInt: result += 'LongWord;';
-    TType.TString: result += 'AnsiString;';
-    TType.TPoint:
-           if mAsT then result := 'tX, tY: Integer;'
-      else if mSepPosSize then result := 'X, Y: Integer;'
-      else result += 'TDFPoint;';
-    TType.TSize:
-           if mAsT then result := 'tWidth, tHeight: Word;'
-      else if mSepPosSize then result := 'Width, Height: Word;'
-      else result += 'TSize;';
-    TType.TList: assert(false);
-    TType.TTrigData: result += formatstrf('Byte%d;', [mMaxDim]);
-    else raise Exception.Create('ketmar forgot to handle some field type');
-  end;
-end;
-
-
 procedure TDynField.parseDef (pr: TTextParser);
 var
   fldname: AnsiString;
   fldtype: AnsiString;
   fldofs: Integer;
   fldrecname: AnsiString;
-  fldpasname: AnsiString;
   asxy, aswh, ast: Boolean;
   ainternal: Boolean;
-  omitdef: Boolean;
+  writedef: Boolean;
   defstr: AnsiString;
-  defint: Integer;
+  defint, defint2: Integer;
   hasdefStr: Boolean;
   hasdefInt: Boolean;
   hasdefId: Boolean;
   lmaxdim: Integer;
   lebs: TDynField.TEBS;
   unique: Boolean;
+  asmonid: Boolean;
+  defech: AnsiChar;
+  xalias: AnsiString;
 begin
-  fldpasname := '';
   fldname := '';
   fldtype := '';
   fldofs := -1;
@@ -602,34 +909,47 @@ begin
   aswh := false;
   ast := false;
   ainternal := false;
-  omitdef := false;
+  writedef := false;
   defstr := '';
   defint := 0;
+  defint2 := 0;
   hasdefStr := false;
   hasdefInt := false;
   hasdefId := false;
   unique := false;
+  asmonid := false;
   lmaxdim := -1;
   lebs := TDynField.TEBS.TNone;
+  xalias := '';
 
-  fldpasname := pr.expectId(); // pascal field name
   // field name
-  pr.expectId('is');
-  fldname := pr.expectStr();
-  // field type
-  pr.expectId('type');
-  fldtype := pr.expectId();
-
-  // fixed-size array?
-  if pr.eatDelim('[') then
-  begin
-    lmaxdim := pr.expectInt();
-    if (lmaxdim < 1) then raise Exception.Create(Format('invalid field ''%s'' array size', [fldname]));
-    pr.expectDelim(']');
-  end;
+  fldname := pr.expectStrOrId();
 
   while (pr.tokType <> pr.TTSemi) do
   begin
+    if pr.eatId('type') then
+    begin
+      if (Length(fldtype) > 0) then raise Exception.Create(Format('duplicate type definition for field ''%s''', [fldname]));
+      // field type
+      fldtype := pr.expectId();
+      // fixed-size array?
+      if pr.eatDelim('[') then
+      begin
+        lmaxdim := pr.expectInt();
+        // arbitrary limits
+        if (lmaxdim < 1) or (lmaxdim > 32768) then raise Exception.Create(Format('invalid field ''%s'' array size', [fldname]));
+        pr.expectDelim(']');
+      end;
+      continue;
+    end;
+
+    if pr.eatId('alias') then
+    begin
+      if (Length(xalias) > 0) then raise Exception.Create(Format('duplicate alias definition for field ''%s''', [fldname]));
+      xalias := pr.expectId();
+      continue;
+    end;
+
     if pr.eatId('offset') then
     begin
       if (fldofs >= 0) then raise Exception.Create(Format('duplicate field ''%s'' offset', [fldname]));
@@ -644,6 +964,7 @@ begin
       else if pr.eatId('wh') then aswh := true
       else if pr.eatId('txy') then begin asxy := true; ast := true; end
       else if pr.eatId('twh') then begin aswh := true; ast := true; end
+      else if pr.eatId('monsterid') then begin asmonid := true; end
       else raise Exception.Create(Format('invalid field ''%s'' as what?', [fldname]));
       continue;
     end;
@@ -684,15 +1005,23 @@ begin
             hasdefInt := true;
             defint := pr.expectInt();
           end;
+        pr.TTDelim:
+          begin
+            hasdefInt := true;
+            if pr.eatDelim('[') then defech := ']' else begin pr.expectDelim('('); defech := ')'; end;
+            defint := pr.expectInt();
+            defint2 := pr.expectInt();
+            pr.expectDelim(defech);
+          end;
         else
           raise Exception.Create(Format('field ''%s'' has invalid default', [fldname]));
       end;
       continue;
     end;
 
-    if pr.eatId('omitdefault') then
+    if pr.eatId('writedefault') then
     begin
-      omitdef := true;
+      writedef := true;
       continue;
     end;
 
@@ -702,6 +1031,7 @@ begin
       continue;
     end;
 
+    // record type, no special modifiers
     if (pr.tokType <> pr.TTId) then raise Exception.Create(Format('field ''%s'' has something unexpected in definition', [fldname]));
 
     if (Length(fldrecname) <> 0) then raise Exception.Create(Format('field ''%s'' already typed as ''%s''', [fldname, fldrecname]));
@@ -726,32 +1056,69 @@ begin
   else if (fldtype = 'point') then mType := TType.TPoint
   else if (fldtype = 'size') then mType := TType.TSize
   else if (fldtype = 'trigdata') then mType := TType.TTrigData
-  else raise Exception.Create(Format('field ''%s'' has invalid type ''%s''', [fldname, fldtype]));
+  else
+  begin
+    // record types defaults to int
+    if (Length(fldrecname) > 0) then
+    begin
+      mType := TType.TInt;
+    end
+    else
+    begin
+      if (Length(fldtype) = 0) then raise Exception.Create(Format('field ''%s'' has no type', [fldname]))
+      else raise Exception.Create(Format('field ''%s'' has invalid type ''%s''', [fldname, fldtype]));
+    end;
+  end;
 
+  // check for valid arrays
   if (lmaxdim > 0) and (mType <> TType.TChar) and (mType <> TType.TTrigData) then raise Exception.Create(Format('field ''%s'' of type ''%s'' cannot be array', [fldname, fldtype]));
+
+  // check for valid trigdata or record type
   if (mType = TType.TTrigData) then
   begin
-    if (lmaxdim < 1) then raise Exception.Create(Format('field ''%s'' of type ''%s'' cannot be array', [fldname, fldtype]));
-    if (Length(fldrecname) > 0) then raise Exception.Create(Format('field ''%s'' of type ''%s'' cannot have another type', [fldname, fldtype]));
+    // trigdata
+    if (lmaxdim < 1) then raise Exception.Create(Format('field ''%s'' of type ''%s'' cannot be non-array', [fldname, 'trigdata']));
+    if (Length(fldrecname) > 0) then raise Exception.Create(Format('field ''%s'' of type ''%s'' cannot have another type', [fldname, 'trigdata']));
     lebs := TDynField.TEBS.TRec;
+  end
+  else if (Length(fldrecname) > 0) then
+  begin
+    // record
+    if not (mType in [TType.TByte, TType.TUByte, TType.TShort, TType.TUShort, TType.TInt, TType.TUInt]) then
+    begin
+      raise Exception.Create(Format('field ''%s'' of record type ''%s'' cannot have type ''%s''', [fldname, fldrecname, fldtype]));
+    end;
   end;
 
+  // setup default value
        if hasdefStr then self.mDefUnparsed := quoteStr(defstr)
-  else if hasdefInt then self.mDefUnparsed := Format('%d', [defint])
-  else if hasdefId then self.mDefUnparsed := defstr;
+  else if hasdefId then self.mDefUnparsed := defstr
+  else if hasdefInt then
+  begin
+         if (mType = TType.TPoint) then self.mDefUnparsed := Format('(%d %d)', [defint, defint2])
+    else if (mType = TType.TSize) then self.mDefUnparsed := Format('[%d %d]', [defint, defint2])
+    else self.mDefUnparsed := Format('%d', [defint]);
+  end;
 
   self.mHasDefault := (hasdefStr or hasdefId or hasdefInt);
-  self.mPasName := fldpasname;
   self.mEBS := lebs;
   self.mEBSTypeName := fldrecname;
   self.mBitSetUnique := unique;
+  self.mAsMonsterId := asmonid;
   self.mMaxDim := lmaxdim;
   self.mBinOfs := fldofs;
-  self.mRecOfs := fldofs;
   self.mSepPosSize := (asxy or aswh);
   self.mAsT := ast;
-  self.mOmitDef := omitdef;
+  self.mWriteDef := writedef;
   self.mInternal := ainternal;
+  self.mAlias := xalias;
+end;
+
+
+function TDynField.getRecRefIndex (): Integer;
+begin
+  if (mRecRef = nil) then begin result := -1; exit; end;
+  result := mOwner.findRecordNumByType(mEBSTypeName, mRecRef);
 end;
 
 
@@ -806,11 +1173,12 @@ begin
         begin
           f := mOwner.findRecordNumByType(mEBSTypeName, mRecRef);
           if (f < 0) then raise Exception.Create(Format('record reference type ''%s'' in field ''%s'' not found in record list', [mEBSTypeName, mName]));
+          if mAsMonsterId then Inc(f);
           if (f > maxv) then raise Exception.Create(Format('record reference type ''%s'' in field ''%s'' has too big index', [mEBSTypeName, mName]));
         end
         else
         begin
-          f := -1;
+          if mAsMonsterId then f := 0 else f := -1;
         end;
         case mType of
           TType.TByte, TType.TUByte: writeInt(st, Byte(f));
@@ -1054,6 +1422,7 @@ begin
   raise Exception.Create(Format('cannot parse field ''%s'' yet', [mName]));
 end;
 
+
 procedure TDynField.parseBinValue (st: TStream);
 var
   rec, rc: TDynRecord;
@@ -1077,15 +1446,11 @@ begin
           if (tfld = nil) then raise Exception.Create(Format('triggerdata value for field ''%s'' in record ''%s'' without TriggerType field', [mName, rec.mName]));
           rc := mOwner.mOwner.findTrigFor(tfld.mSVal); // find in mapdef
           if (rc = nil) then raise Exception.Create(Format('triggerdata definition for field ''%s'' in record ''%s'' with type ''%s'' not found', [mName, rec.mName, tfld.mSVal]));
-          rc := rc.clone();
+          rc := rc.clone(mOwner.mHeaderRec);
           rc.mHeaderRec := mOwner.mHeaderRec;
-          try
-            rc.parseBinValue(st, true);
-            mRecRef := rc;
-            rc := nil;
-          finally
-            rc.Free();
-          end;
+          // on error, it will be freed be memowner
+          rc.parseBinValue(st, true);
+          mRecRef := rc;
           mDefined := true;
           exit;
         end
@@ -1101,6 +1466,7 @@ begin
             TType.TUInt: f := readLongWord(st);
             else raise Exception.Create(Format('invalid non-numeric type ''%s'' for field ''%s'' of record ''%s''', [getTypeName(mType), mName, mEBSTypeName]));
           end;
+          if mAsMonsterId then Dec(f);
           if (f < 0) then mRecRefId := '' else mRecRefId := Format('%s%d', [mEBSTypeName, f]);
         end;
         mDefined := true;
@@ -1255,6 +1621,8 @@ var
   tk: AnsiString;
   edim: AnsiChar;
 begin
+  if (pr.tokType = pr.TTEOF) then raise Exception.Create('field value expected');
+  if (pr.tokType = pr.TTSemi) then raise Exception.Create('extra semicolon');
   // if this field should contain struct, convert type and parse struct
   case mEBS of
     TEBS.TNone: begin end;
@@ -1278,16 +1646,12 @@ begin
             if (tfld = nil) then raise Exception.Create(Format('triggerdata value for field ''%s'' in record ''%s'' without ''type'' field', [mName, rec.mName]));
             rc := mOwner.mOwner.findTrigFor(tfld.mSVal); // find in mapdef
             if (rc = nil) then raise Exception.Create(Format('triggerdata definition for field ''%s'' in record ''%s'' with type ''%s'' not found', [mName, rec.mName, tfld.mSVal]));
-            rc := rc.clone();
+            rc := rc.clone(mOwner.mHeaderRec);
             rc.mHeaderRec := mOwner.mHeaderRec;
             //writeln(rc.definition);
-            try
-              rc.parseValue(pr, true);
-              mRecRef := rc;
-              rc := nil;
-            finally
-              rc.Free();
-            end;
+            // on error, it will be freed be memowner
+            rc.parseValue(pr, true);
+            mRecRef := rc;
           end;
           mDefined := true;
           pr.eatTT(pr.TTSemi); // hack: allow (but don't require) semicolon after inline records
@@ -1303,9 +1667,17 @@ begin
           else
           begin
             rec := mOwner.findRecordByTypeId(mEBSTypeName, pr.tokStr);
-            if (rec = nil) then raise Exception.Create(Format('record ''%s'' (%s) value for field ''%s'' not found', [pr.tokStr, mEBSTypeName, mName]));
+            if (rec = nil) then
+            begin
+              //raise Exception.Create(Format('record ''%s'' (%s) value for field ''%s'' not found', [pr.tokStr, mEBSTypeName, mName]));
+              mRecRefId := pr.tokStr;
+            end
+            else
+            begin
+              mRecRef := rec;
+              mRecRefId := '';
+            end;
             pr.expectId();
-            mRecRef := rec;
           end;
           mDefined := true;
           pr.expectTT(pr.TTSemi);
@@ -1317,12 +1689,16 @@ begin
           rec := nil;
           if (mEBSType <> nil) and (mEBSType is TDynRecord) then rec := (mEBSType as TDynRecord);
           if (rec = nil) then raise Exception.Create(Format('record type ''%s'' for field ''%s'' not found', [mEBSTypeName, mName]));
-          rc := rec.clone();
+          rc := rec.clone(mOwner.mHeaderRec);
           rc.mHeaderRec := mOwner.mHeaderRec;
           rc.parseValue(pr);
           mRecRef := rc;
           mDefined := true;
-          mOwner.addRecordByType(mEBSTypeName, rc);
+          if mOwner.addRecordByType(mEBSTypeName, rc) then
+          begin
+            //raise Exception.Create(Format('record type ''%s'' for field ''%s'' not found', [mEBSTypeName, mName]));
+            e_LogWritefln('duplicate record with id ''%s'' for field ''%s'' in record ''%s''', [rc.mId, mName, mOwner.mName]);
+          end;
           pr.eatTT(pr.TTSemi); // hack: allow (but don't require) semicolon after inline records
           exit;
         end;
@@ -1484,10 +1860,15 @@ begin
   mName := '';
   mSize := 0;
   mFields := TDynFieldList.Create();
+  {$IF DEFINED(XDYNREC_USE_FIELDHASH)}
+  mFieldsHash := hashNewStrInt();
+  {$ENDIF}
   mTrigTypes := nil;
   mHeader := false;
   mHeaderRec := nil;
   mBinBlock := -1;
+  mTagInt := 0;
+  mTagPtr := nil;
   parseDef(pr);
 end;
 
@@ -1497,25 +1878,91 @@ begin
   mName := '';
   mSize := 0;
   mFields := TDynFieldList.Create();
+  {$IF DEFINED(XDYNREC_USE_FIELDHASH)}
+  mFieldsHash := hashNewStrInt();
+  {$ENDIF}
   mTrigTypes := nil;
   mHeader := false;
   mHeaderRec := nil;
+  mTagInt := 0;
+  mTagPtr := nil;
+  mRec2Free := nil;
 end;
 
 
 destructor TDynRecord.Destroy ();
+var
+  fld: TDynField;
+  rec: TDynRecord;
 begin
+  if (mRec2Free <> nil) then
+  begin
+    for rec in mRec2Free do
+    begin
+      if (rec <> self) then
+      begin
+        //writeln(formatstrf('freeing: 0x%08x; name=%s; id=%s', [Pointer(rec), rec.mName, rec.mId]));
+        rec.Free();
+      end;
+    end;
+    mRec2Free.Free();
+    mRec2Free := nil;
+  end;
   mName := '';
+  for fld in mFields do fld.Free();
   mFields.Free();
   mFields := nil;
+  {$IF DEFINED(XDYNREC_USE_FIELDHASH)}
+  mFieldsHash.Free();
+  mFieldsHash := nil;
+  {$ENDIF}
   mTrigTypes := nil;
   mHeaderRec := nil;
+  mTagInt := 0;
+  mTagPtr := nil;
   inherited;
 end;
 
 
+procedure TDynRecord.regrec (rec: TDynRecord);
+begin
+  if (rec <> nil) and (rec <> self) then
+  begin
+    if (mRec2Free = nil) then mRec2Free := TDynRecList.Create();
+    mRec2Free.append(rec);
+  end;
+end;
+
+
+procedure TDynRecord.addField (fld: TDynField); inline;
+begin
+  if (fld = nil) then raise Exception.Create('cannot append nil field to record');
+  mFields.append(fld);
+  {$IF DEFINED(XDYNREC_USE_FIELDHASH)}
+  if (Length(fld.mName) > 0) then mFieldsHash.put(fld.mName, mFields.count-1);
+  {$ENDIF}
+end;
+
+
+function TDynRecord.addFieldChecked (fld: TDynField): Boolean; inline; // `true`: duplicate name
+begin
+  result := false;
+  if (fld = nil) then raise Exception.Create('cannot append nil field to record');
+  {$IF not DEFINED(XDYNREC_USE_FIELDHASH)}
+  if (Length(fld.mName) > 0) then result := hasByName(fld.mName);
+  {$ENDIF}
+  mFields.append(fld);
+  {$IF DEFINED(XDYNREC_USE_FIELDHASH)}
+  if (Length(fld.mName) > 0) then result := mFieldsHash.put(fld.mName, mFields.count-1);
+  {$ENDIF}
+end;
+
+
 function TDynRecord.findByName (const aname: AnsiString): Integer; inline;
 begin
+  {$IF DEFINED(XDYNREC_USE_FIELDHASH)}
+  if not mFieldsHash.get(aname, result) then result := -1;
+  {$ELSE}
   result := 0;
   while (result < mFields.count) do
   begin
@@ -1523,6 +1970,7 @@ begin
     Inc(result);
   end;
   result := -1;
+  {$ENDIF}
 end;
 
 
@@ -1541,6 +1989,18 @@ begin
 end;
 
 
+function TDynRecord.getFieldAt (idx: Integer): TDynField; inline;
+begin
+  if (idx >= 0) and (idx < mFields.count) then result := mFields[idx] else result := nil;
+end;
+
+
+function TDynRecord.getCount (): Integer; inline;
+begin
+  result := mFields.count;
+end;
+
+
 function TDynRecord.getIsTrigData (): Boolean; inline;
 begin
   result := (Length(mTrigTypes) > 0);
@@ -1557,7 +2017,19 @@ begin
 end;
 
 
-function TDynRecord.clone (): TDynRecord;
+function TDynRecord.getForTrigCount (): Integer; inline;
+begin
+  result := Length(mTrigTypes);
+end;
+
+
+function TDynRecord.getForTrigAt (idx: Integer): AnsiString; inline;
+begin
+  if (idx >= 0) and (idx < Length(mTrigTypes)) then result := mTrigTypes[idx] else result := '';
+end;
+
+
+function TDynRecord.clone (registerIn: TDynRecord): TDynRecord;
 var
   fld: TDynField;
   f: Integer;
@@ -1565,26 +2037,28 @@ begin
   result := TDynRecord.Create();
   result.mOwner := mOwner;
   result.mId := mId;
-  result.mPasName := mPasName;
   result.mName := mName;
   result.mSize := mSize;
+  result.mHeader := mHeader;
+  result.mBinBlock := mBinBlock;
+  result.mHeaderRec := mHeaderRec;
+  result.mTagInt := mTagInt;
+  result.mTagPtr := mTagPtr;
   if (mFields.count > 0) then
   begin
     result.mFields.capacity := mFields.count;
-    for fld in mFields do result.mFields.append(fld.clone(result));
+    for fld in mFields do result.addField(fld.clone(result, registerIn));
   end;
   SetLength(result.mTrigTypes, Length(mTrigTypes));
   for f := 0 to High(mTrigTypes) do result.mTrigTypes[f] := mTrigTypes[f];
-  result.mHeader := mHeader;
-  result.mBinBlock := mBinBlock;
-  result.mHeaderRec := mHeaderRec;
+  if (registerIn <> nil) then registerIn.regrec(result);
 end;
 
 
 function TDynRecord.findRecordByTypeId (const atypename, aid: AnsiString): TDynRecord;
 var
   fld: TDynField;
-  rec: TDynRecord;
+  idx: Integer;
 begin
   result := nil;
   if (Length(aid) = 0) then exit;
@@ -1595,10 +2069,7 @@ begin
   // find by id
   if (fld.mRVal <> nil) then
   begin
-    for rec in fld.mRVal do
-    begin
-      if StrEqu(rec.mId, aid) then begin result := rec; exit; end;
-    end;
+    if fld.mRHash.get(aid, idx) then begin result := fld.mRVal[idx]; exit; end;
   end;
   // alas
 end;
@@ -1607,7 +2078,7 @@ end;
 function TDynRecord.findRecordNumByType (const atypename: AnsiString; rc: TDynRecord): Integer;
 var
   fld: TDynField;
-  f: Integer;
+  idx: Integer;
 begin
   result := -1;
   // find record data
@@ -1617,16 +2088,16 @@ begin
   // find by ref
   if (fld.mRVal <> nil) then
   begin
-    for f := 0 to fld.mRVal.count-1 do
+    for idx := 0 to fld.mRVal.count-1 do
     begin
-      if (fld.mRVal[f] = rc) then begin result := f; exit; end;
+      if (fld.mRVal[idx] = rc) then begin result := idx; exit; end;
     end;
   end;
   // alas
 end;
 
 
-procedure TDynRecord.addRecordByType (const atypename: AnsiString; rc: TDynRecord);
+function TDynRecord.addRecordByType (const atypename: AnsiString; rc: TDynRecord): Boolean;
 var
   fld: TDynField;
 begin
@@ -1637,12 +2108,16 @@ begin
     // first record
     fld := TDynField.Create(atypename, TDynField.TType.TList);
     fld.mOwner := mHeaderRec;
-    mHeaderRec.mFields.append(fld);
+    mHeaderRec.addField(fld);
   end;
   if (fld.mType <> fld.TType.TList) then raise Exception.Create(Format('cannot append record of type ''%s'' due to name conflict with ordinary field', [atypename]));
   // append
-  if (fld.mRVal = nil) then fld.mRVal := TDynRecList.Create();
-  fld.mRVal.append(rc);
+  if (fld.mRVal = nil) then
+  begin
+    fld.mRVal := TDynRecList.Create();
+    fld.mRHash := hashNewStrInt();
+  end;
+  result := fld.addListItem(rc);
 end;
 
 
@@ -1690,6 +2165,35 @@ begin
 end;
 
 
+function TDynRecord.getUserVar (const aname: AnsiString): Variant;
+var
+  fld: TDynField;
+begin
+  fld := getFieldByName(aname);
+  if (fld = nil) then result := Unassigned else result := fld.varvalue;
+end;
+
+
+procedure TDynRecord.setUserVar (const aname: AnsiString; val: Variant);
+var
+  fld: TDynField;
+begin
+  fld := getFieldByName(aname);
+  if (fld = nil) then
+  begin
+    if (Length(aname) = 0) then raise Exception.Create('cannot create nameless user field');
+    fld := TDynField.Create(aname, val);
+    fld.mOwner := self;
+    fld.mInternal := true;
+    addField(fld);
+  end
+  else
+  begin
+    fld.varvalue := val;
+  end;
+end;
+
+
 procedure TDynRecord.parseDef (pr: TTextParser);
 var
   fld: TDynField;
@@ -1720,9 +2224,7 @@ begin
   end
   else
   begin
-    mPasName := pr.expectId(); // pascal record name
-    pr.expectId('is');
-    mName := pr.expectStr();
+    mName := pr.expectStrOrId();
     while (pr.tokType <> pr.TTBegin) do
     begin
       if pr.eatId('header') then begin mHeader := true; continue; end;
@@ -1749,40 +2251,20 @@ begin
   while (pr.tokType <> pr.TTEnd) do
   begin
     fld := TDynField.Create(pr);
-    if hasByName(fld.name) then begin fld.Free(); raise Exception.Create(Format('duplicate field ''%s''', [fld.name])); end;
+    //if hasByName(fld.name) then begin fld.Free(); raise Exception.Create(Format('duplicate field ''%s''', [fld.name])); end;
     // append
     fld.mOwner := self;
-    mFields.append(fld);
+    if addFieldChecked(fld) then
+    begin
+      fld.Free();
+      raise Exception.Create(Format('duplicate field ''%s''', [fld.name]));
+    end;
     // done with field
   end;
   pr.expectTT(pr.TTEnd);
 end;
 
 
-function TDynRecord.pasdef (): AnsiString;
-var
-  fld: TDynField;
-begin
-  if isTrigData then
-  begin
-    assert(false);
-    result := '';
-  end
-  else
-  begin
-    // record
-    result := '  '+mPasName+' = packed record'#10;
-  end;
-  for fld in mFields do
-  begin
-    if fld.mInternal then continue;
-    if (fld.mBinOfs < 0) then continue;
-    result += '    '+fld.pasdef+#10;
-  end;
-  result += '  end;'#10;
-end;
-
-
 function TDynRecord.definition (): AnsiString;
 var
   f: Integer;
@@ -1809,7 +2291,7 @@ begin
   else
   begin
     // record
-    result := mPasName+' is '+quoteStr(mName);
+    result := quoteStr(mName);
     if (mSize >= 0) then result += Format(' size %d bytes', [mSize]);
     if mHeader then result += ' header';
   end;
@@ -1852,7 +2334,11 @@ var
       if (Length(fld.mRecRefId) = 0) then continue;
       assert(fld.mEBSType <> nil);
       rt := findRecordByTypeId(fld.mEBSTypeName, fld.mRecRefId);
-      if (rt = nil) then raise Exception.Create(Format('record of type ''%s'' with id ''%s'' links to inexistant record of type ''%s'' with id ''%d''', [rec.mName, rec.mId, fld.mEBSTypeName, fld.mRecRefId]));
+      if (rt = nil) then
+      begin
+        e_LogWritefln('record of type ''%s'' with id ''%s'' links to inexistant record of type ''%s'' with id ''%s''', [rec.mName, rec.mId, fld.mEBSTypeName, fld.mRecRefId], MSG_WARNING);
+        //raise Exception.Create(Format('record of type ''%s'' with id ''%s'' links to inexistant record of type ''%s'' with id ''%s''', [rec.mName, rec.mId, fld.mEBSTypeName, fld.mRecRefId]));
+      end;
       //writeln(' ', rec.mName, '.', rec.mId, ':', fld.mName, ' -> ', rt.mName, '.', rt.mId, ' (', fld.mEBSTypeName, '.', fld.mRecRefId, ')');
       fld.mRecRefId := '';
       fld.mRecRef := rt;
@@ -1882,7 +2368,7 @@ begin
         if (btype = 0) then break; // no more blocks
         readLongWord(st); // reserved
         bsize := readLongInt(st);
-        //writeln('btype=', btype, '; bsize=', bsize);
+        {$IF DEFINED(D2D_XDYN_DEBUG)}writeln('btype=', btype, '; bsize=', bsize);{$ENDIF}
         if (bsize < 0) or (bsize > $1fffffff) then raise Exception.Create(Format('block of type %d has invalid size %d', [btype, bsize]));
         if loaded[btype] then raise Exception.Create(Format('block of type %d already loaded', [btype]));
         loaded[btype] := true;
@@ -1906,7 +2392,7 @@ begin
           // create list for this type
           fld := TDynField.Create(rec.mName, TDynField.TType.TList);
           fld.mOwner := self;
-          mFields.append(fld);
+          addField(fld);
           if (bsize > 0) then
           begin
             GetMem(buf, bsize);
@@ -1914,11 +2400,11 @@ begin
             for f := 0 to (bsize div rec.mSize)-1 do
             begin
               mst.setup(buf+f*rec.mSize, rec.mSize);
-              rec := rect.clone();
+              rec := rect.clone(self);
               rec.mHeaderRec := self;
               rec.parseBinValue(mst);
               rec.mId := Format('%s%d', [rec.mName, f]);
-              fld.mRVal.append(rec);
+              fld.addListItem(rec);
               //writeln('parsed ''', rec.mId, '''...');
             end;
           end;
@@ -2103,7 +2589,7 @@ begin
         continue;
       end;
       if fld.mInternal then continue;
-      if fld.mOmitDef and fld.isDefaultValue then continue;
+      if (not fld.mWriteDef) and fld.isDefaultValue then continue;
       wr.putIndent();
       fld.writeTo(wr);
     end;
@@ -2115,13 +2601,79 @@ begin
 end;
 
 
+{$IF DEFINED(D2D_DYNREC_PROFILER)}
+var
+  profCloneRec: UInt64 = 0;
+  profFindRecType: UInt64 = 0;
+  profFieldSearching: UInt64 = 0;
+  profListDupChecking: UInt64 = 0;
+  profAddRecByType: UInt64 = 0;
+  profFieldValParsing: UInt64 = 0;
+  profFixDefaults: UInt64 = 0;
+  profRecValParse: UInt64 = 0;
+
+procedure xdynDumpProfiles ();
+begin
+  writeln('=== XDYNREC PROFILES ===');
+  writeln('record cloning: ', profCloneRec div 1000, '.', profCloneRec mod 1000, ' milliseconds');
+  writeln('findRecType   : ', profFindRecType div 1000, '.', profFindRecType mod 1000, ' milliseconds');
+  writeln('field[]       : ', profFieldSearching div 1000, '.', profFieldSearching mod 1000, ' milliseconds');
+  writeln('list dup check: ', profListDupChecking div 1000, '.', profListDupChecking mod 1000, ' milliseconds');
+  writeln('addRecByType  : ', profAddRecByType div 1000, '.', profAddRecByType mod 1000, ' milliseconds');
+  writeln('field valparse: ', profFieldValParsing div 1000, '.', profFieldValParsing mod 1000, ' milliseconds');
+  writeln('fix defaults  : ', profFixDefaults div 1000, '.', profFixDefaults mod 1000, ' milliseconds');
+  writeln('recvalparse   : ', profRecValParse div 1000, '.', profRecValParse mod 1000, ' milliseconds');
+end;
+{$ENDIF}
+
+
 procedure TDynRecord.parseValue (pr: TTextParser; beginEaten: Boolean=false);
 var
   fld: TDynField;
-  rec, trc, rv: TDynRecord;
+  rec: TDynRecord = nil;
+  trc{, rv}: TDynRecord;
+  {$IF DEFINED(D2D_DYNREC_PROFILER)}
+  stt, stall: UInt64;
+  {$ENDIF}
+
+  procedure linkNames (rec: TDynRecord);
+  var
+    fld: TDynField;
+    rt: TDynRecord;
+  begin
+    //writeln('*** rec: ', rec.mName, '.', rec.mId, ' (', rec.mFields.count, ')');
+    for fld in rec.mFields do
+    begin
+      if (fld.mType = TDynField.TType.TTrigData) then
+      begin
+        if (fld.mRecRef <> nil) then linkNames(fld.mRecRef);
+        continue;
+      end;
+      if (Length(fld.mRecRefId) = 0) then continue;
+      assert(fld.mEBSType <> nil);
+      rt := findRecordByTypeId(fld.mEBSTypeName, fld.mRecRefId);
+      if (rt = nil) then
+      begin
+        e_LogWritefln('record of type ''%s'' with id ''%s'' links to inexistant record of type ''%s'' with id ''%s''', [rec.mName, rec.mId, fld.mEBSTypeName, fld.mRecRefId], MSG_WARNING);
+        //raise Exception.Create(Format('record of type ''%s'' with id ''%s'' links to inexistant record of type ''%s'' with id ''%s''', [rec.mName, rec.mId, fld.mEBSTypeName, fld.mRecRefId]));
+      end;
+      //writeln(' ', rec.mName, '.', rec.mId, ':', fld.mName, ' -> ', rt.mName, '.', rt.mId, ' (', fld.mEBSTypeName, '.', fld.mRecRefId, ')');
+      fld.mRecRefId := '';
+      fld.mRecRef := rt;
+      fld.mDefined := true;
+    end;
+    for fld in rec.mFields do
+    begin
+      //writeln('  ', fld.mName);
+      fld.fixDefaultValue(); // just in case
+    end;
+  end;
+
 begin
   if (mOwner = nil) then raise Exception.Create(Format('can''t parse record ''%s'' value without owner', [mName]));
 
+  {$IF DEFINED(D2D_DYNREC_PROFILER)}stall := curTimeMicro();{$ENDIF}
+
   // not a header?
   if not mHeader then
   begin
@@ -2144,42 +2696,58 @@ begin
     if mHeader then
     begin
       // add records with this type (if any)
+      {$IF DEFINED(D2D_DYNREC_PROFILER)}stt := curTimeMicro();{$ENDIF}
       trc := mOwner.findRecType(pr.tokStr);
+      {$IF DEFINED(D2D_DYNREC_PROFILER)}profFindRecType := curTimeMicro()-stt;{$ENDIF}
       if (trc <> nil) then
       begin
-        rec := trc.clone();
+        {$IF DEFINED(D2D_DYNREC_PROFILER)}stt := curTimeMicro();{$ENDIF}
+        rec := trc.clone(mHeaderRec);
+        {$IF DEFINED(D2D_DYNREC_PROFILER)}profCloneRec := curTimeMicro()-stt;{$ENDIF}
         rec.mHeaderRec := mHeaderRec;
-        try
-          pr.skipToken();
-          rec.parseValue(pr);
-          if (Length(rec.mId) > 0) then
+        // on error, it will be freed be memowner
+        pr.skipToken();
+        rec.parseValue(pr);
+        (*
+        if (Length(rec.mId) > 0) then
+        begin
+          {$IF DEFINED(D2D_DYNREC_PROFILER)}stt := curTimeMicro();{$ENDIF}
+          fld := field[pr.tokStr];
+          {$IF DEFINED(D2D_DYNREC_PROFILER)}profFieldSearching := curTimeMicro()-stt;{$ENDIF}
+          (*
+          if (fld <> nil) and (fld.mRVal <> nil) then
           begin
-            fld := field[pr.tokStr];
-            if (fld <> nil) and (fld.mRVal <> nil) then
-            begin
-              for rv in fld.mRVal do
-              begin
-                if (Length(rv.mId) > 0) and StrEqu(rv.mId, rec.mId) then raise Exception.Create(Format('duplicate thing ''%s'' in record ''%s''', [fld.mName, mName]));
-              end;
-            end;
+            {$IF DEFINED(D2D_DYNREC_PROFILER)}stt := curTimeMicro();{$ENDIF}
+            //idtmp := trc.mName+':'+rec.mId;
+            //if ids.put(idtmp, 1) then raise Exception.Create(Format('duplicate thing ''%s'' in record ''%s''', [fld.mName, mName]));
+            if fld.mRHash.has(rec.mId) then raise Exception.Create(Format('duplicate thing ''%s'' in record ''%s''', [fld.mName, mName]));
+            {$IF DEFINED(D2D_DYNREC_PROFILER)}profListDupChecking := curTimeMicro()-stt;{$ENDIF}
           end;
-          addRecordByType(rec.mName, rec);
-          rec := nil;
-        finally
-          rec.Free();
         end;
+        *)
+        {$IF DEFINED(D2D_DYNREC_PROFILER)}stt := curTimeMicro();{$ENDIF}
+        addRecordByType(rec.mName, rec);
+        {$IF DEFINED(D2D_DYNREC_PROFILER)}profAddRecByType := curTimeMicro()-stt;{$ENDIF}
         continue;
       end;
     end;
 
     // fields
+    {$IF DEFINED(D2D_DYNREC_PROFILER)}stt := curTimeMicro();{$ENDIF}
+    //writeln('0: <', mName, '.', pr.tokStr, '>');
     fld := field[pr.tokStr];
+    //writeln('1: <', mName, '.', pr.tokStr, '>');
+    {$IF DEFINED(D2D_DYNREC_PROFILER)}profFieldSearching := curTimeMicro()-stt;{$ENDIF}
     if (fld <> nil) then
     begin
+      //writeln('2: <', mName, '.', pr.tokStr, '>');
       if fld.defined then raise Exception.Create(Format('duplicate field ''%s'' in record ''%s''', [fld.mName, mName]));
       if fld.internal then raise Exception.Create(Format('internal field ''%s'' in record ''%s''', [fld.mName, mName]));
-      pr.skipToken();
+      pr.skipToken(); // skip field name
+      //writeln('3: <', mName, '.', pr.tokStr, '>:', pr.tokType);
+      {$IF DEFINED(D2D_DYNREC_PROFILER)}stt := curTimeMicro();{$ENDIF}
       fld.parseValue(pr);
+      {$IF DEFINED(D2D_DYNREC_PROFILER)}profFieldValParsing := curTimeMicro()-stt;{$ENDIF}
       continue;
     end;
 
@@ -2187,9 +2755,24 @@ begin
     raise Exception.Create(Format('unknown field ''%s'' in record ''%s''', [pr.tokStr, mName]));
   end;
   pr.expectTT(pr.TTEnd);
+
+  if mHeader then
+  begin
+    // link fields
+    for fld in mFields do
+    begin
+      if (fld.mType <> TDynField.TType.TList) then continue;
+      for rec in fld.mRVal do linkNames(rec);
+    end;
+  end;
+
   // fix field defaults
+  {$IF DEFINED(D2D_DYNREC_PROFILER)}stt := curTimeMicro();{$ENDIF}
   for fld in mFields do fld.fixDefaultValue();
+  {$IF DEFINED(D2D_DYNREC_PROFILER)}profFixDefaults := curTimeMicro()-stt;{$ENDIF}
   //writeln('done parsing record <', mName, '>');
+  //{$IF DEFINED(D2D_DYNREC_PROFILER)}writeln('stall: ', curTimeMicro()-stall);{$ENDIF}
+  {$IF DEFINED(D2D_DYNREC_PROFILER)}profRecValParse := curTimeMicro()-stall;{$ENDIF}
 end;
 
 
@@ -2393,6 +2976,7 @@ var
   rec: TDynRecord;
   ebs: TDynEBS;
 begin
+  //!!!FIXME!!! check who owns trigs and recs!
   for rec in recTypes do rec.Free();
   for rec in trigTypes do rec.Free();
   for ebs in ebsTypes do ebs.Free();
@@ -2495,37 +3079,41 @@ begin
   while true do
   begin
     if not pr.skipBlanks() then break;
-    if (pr.tokType <> pr.TTId) then raise Exception.Create('identifier expected');
 
-    if (pr.tokStr = 'enum') or (pr.tokStr = 'bitset') then
+    if (pr.tokType = pr.TTId) then
     begin
-      eb := TDynEBS.Create(pr);
-      if (findEBSType(eb.name) <> nil) then
+      // enum or bitset
+      if (pr.tokStr = 'enum') or (pr.tokStr = 'bitset') then
       begin
-        eb.Free();
-        raise Exception.Create(Format('duplicate enum/bitset ''%s''', [eb.name]));
+        eb := TDynEBS.Create(pr);
+        if (findEBSType(eb.name) <> nil) then
+        begin
+          eb.Free();
+          raise Exception.Create(Format('duplicate enum/bitset ''%s''', [eb.name]));
+        end;
+        eb.mOwner := self;
+        ebsTypes.append(eb);
+        //writeln(eb.definition); writeln;
+        continue;
       end;
-      eb.mOwner := self;
-      ebsTypes.append(eb);
-      //writeln(eb.definition); writeln;
-      continue;
-    end;
 
-    if (pr.tokStr = 'TriggerData') then
-    begin
-      rec := TDynRecord.Create(pr);
-      for f := 0 to High(rec.mTrigTypes) do
+      // triggerdata
+      if (pr.tokStr = 'TriggerData') then
       begin
-        if (findTrigFor(rec.mTrigTypes[f]) <> nil) then
+        rec := TDynRecord.Create(pr);
+        for f := 0 to High(rec.mTrigTypes) do
         begin
-          rec.Free();
-          raise Exception.Create(Format('duplicate trigdata ''%s''', [rec.mTrigTypes[f]]));
+          if (findTrigFor(rec.mTrigTypes[f]) <> nil) then
+          begin
+            rec.Free();
+            raise Exception.Create(Format('duplicate trigdata ''%s''', [rec.mTrigTypes[f]]));
+          end;
         end;
+        rec.mOwner := self;
+        trigTypes.append(rec);
+        //writeln(dr.definition); writeln;
+        continue;
       end;
-      rec.mOwner := self;
-      trigTypes.append(rec);
-      //writeln(dr.definition); writeln;
-      continue;
     end;
 
     rec := TDynRecord.Create(pr);
@@ -2568,16 +3156,13 @@ begin
   result := nil;
   try
     pr.expectId(headerType.name);
-    res := headerType.clone();
+    res := headerType.clone(nil);
     res.mHeaderRec := res;
     res.parseValue(pr);
     result := res;
     res := nil;
-  except on E: Exception do
-    begin
-      res.Free();
-      raise;
-    end;
+  finally
+    res.Free();
   end;
 end;
 
@@ -2588,65 +3173,30 @@ var
 begin
   result := nil;
   try
-    res := headerType.clone();
+    res := headerType.clone(nil);
     res.mHeaderRec := res;
     res.parseBinValue(st);
     result := res;
     res := nil;
-  except on E: Exception do
-    begin
-      res.Free();
-      raise;
-    end;
+  finally
+    res.Free();
   end;
 end;
 
 
-function TDynMapDef.pasdef (): AnsiString;
+function TDynMapDef.pasdefconst (): AnsiString;
 var
   ebs: TDynEBS;
-  rec: TDynRecord;
-  fld: TDynField;
-  needComma: Boolean;
-  tn: AnsiString;
 begin
   result := '';
   result += '// ////////////////////////////////////////////////////////////////////////// //'#10;
   result += '// enums and bitsets'#10;
   for ebs in ebsTypes do result += #10+ebs.pasdef();
-  result += #10#10'// ////////////////////////////////////////////////////////////////////////// //'#10;
-  result += '// records'#10'type'#10;
-  for rec in recTypes do
-  begin
-    if (rec.mSize < 1) then continue;
-    result += rec.pasdef();
-    result += #10;
-  end;
-  result += #10#10'// ////////////////////////////////////////////////////////////////////////// //'#10;
-  result += '// triggerdata'#10'type'#10;
-  result += '  TTriggerData = record'#10;
-  result += '    case Byte of'#10;
-  result += '      0: (Default: Byte128);'#10;
-  for rec in trigTypes do
-  begin
-    result += '      ';
-    needComma := false;
-    for tn in rec.mTrigTypes do
-    begin
-      if needComma then result += ', ' else needComma := true;
-      result += tn;
-    end;
-    result += ': ('#10;
-    for fld in rec.mFields do
-    begin
-      if fld.mInternal then continue;
-      if (fld.mBinOfs < 0) then continue;
-      result += '        '+fld.pasdef+#10;
-    end;
-    result += '      );'#10;
-  end;
-  result += '  end;'#10;
 end;
 
 
+function TDynMapDef.getTrigTypeCount (): Integer; inline; begin result := trigTypes.count; end;
+function TDynMapDef.getTrigTypeAt (idx: Integer): TDynRecord; inline; begin if (idx >= 0) and (idx < trigTypes.count) then result := trigTypes[idx] else result := nil; end;
+
+
 end.