charset/misc/gen-basic

   1 #!/usr/bin/perl
   2 #
   3 #  Split Unicode Data File
   4 #  (c) 1997--2003 Martin Mares <mj@atrey.karlin.mff.cuni.cz>
   5 #
   6
   7 open(I, "unidata/UnicodeData.txt") || die "Unable to open UniCode data file";
   8 open(C, ">misc/u-cat") || die "cat file open";
   9 open(U, ">misc/u-upper") || die "upper file open";
  10 open(L, ">misc/u-lower") || die "lower file open";
  11 open(G, ">misc/u-ligatures") || die "lig file open";
  12 while (<I>) {
  13         chomp;
  14         (/^$/ || /^#/) && next;
  15         ($code,$name,$cat,$comb,$bidir,$decomp,$d0,$d1,$n0,$mirr,$cmt1,$cmt2,$upper,$lower,$title) = split /;/;
  16         $code =~ /^....$/ || next;
  17         if ($cat =~ /^C/) { $ccat = "_U_CTRL"; }
  18         elsif ($cat =~ /^Z/) { $ccat = "_U_SPACE"; }
  19         elsif ($decomp =~ /<compat>/ && $name =~ / LIGATURE /) {
  20                 $ccat = "_U_LIGATURE";
  21                 print G "$code\n";
  22         } elsif ($cat =~ /^Ll/) { $ccat = "_U_LLOWER"; }
  23         elsif ($cat =~ /^Lu/) { $ccat = "_U_LUPPER"; }
  24         elsif ($cat =~ /^L/) { $ccat = "_U_LETTER"; }
  25         elsif ($code ge "0030" && $code le "0039") { $ccat = "_U_DIGIT | _U_XDIGIT"; }
  26         else { $ccat = ""; }
  27         if ($code ge "0041" && $code le "0046" || $code ge "0061" && $code le "0066") { $ccat = $ccat . "|_U_XDIGIT"; }
  28         if ($ccat ne "") { print C "$code\t$ccat\n"; }
  29         if ($upper ne "") { print U "$code\t0x$upper\n"; }
  30         if ($lower ne "") { print L "$code\t0x$lower\n"; }
  31 }
  32 close I;
  33 close C;
  34 close U;
  35 close L;
  36 close G;