doc/doc-docbook/Tidytxt

   1 #! /usr/bin/perl
   2
   3 # $Cambridge: exim/doc/doc-docbook/Tidytxt,v 1.4 2008/02/04 17:03:34 fanf2 Exp $
   4
   5 # Script to tidy up the output of w3m when it makes a text file. First we
   6 # convert sequences of blank lines into a single blank line, to get everything
   7 # uniform. Then we go through and insert blank lines before chapter and
   8 # sections, also converting chapter titles to uppercase.
   9
  10 # We also have to do some character translation in the first pass. It seems
  11 # that xmlto now generates Unicode in its HTML pages. This gives three problems:
  12 # (1) It inserts the byte sequence C2 A0 (U+00A0) as a fixed-width space;
  13 # (2) It uses U+25CF as its bullet character.
  14 # (3) It inserts a whole slew of "box drawing" characters round the heading.
  15
  16 @lines = <>;
  17
  18 $lastwasblank = 0;
  19 foreach $line (@lines)
  20   {
  21   # (1) non-break space -> normal space
  22   $line =~ s/\x{c2}\x{a0}/ /g;
  23   # (2) bullet -> asterisk
  24   $line =~ s/\x{e2}\x{97}\x{8f}/*/g;
  25   # (3a) horizontal box drawing -> hyphen
  26   $line =~ s/\x{e2}\x{94}[\x{80}\x{81}\x{84}\x{85}\x{88}\x{89}]/-/g;
  27   $line =~ s/\x{e2}\x{95}[\x{8c}\x{8d}\x{90}]/-/g;
  28   $line =~ s/\x{e2}\x{95}[\x{b4}\x{b6}\x{b8}\x{ba}\x{bc}\x{be}]/-/g;
  29   # (3b) vertical box drawing -> bar
  30   $line =~ s/\x{e2}\x{94}[\x{82}\x{83}\x{86}\x{87}\x{8a}\x{8b}]/|/g;
  31   $line =~ s/\x{e2}\x{95}[\x{8e}\x{8f}\x{91}]/+/g;
  32   $line =~ s/\x{e2}\x{95}[\x{b5}\x{b7}\x{b9}\x{bb}\x{bd}\x{bf}]/-/g;
  33   # (3c) corner box drawing -> plus
  34   $line =~ s/\x{e2}\x{94}[\x{8c}-\x{bf}]/+/g;
  35   $line =~ s/\x{e2}\x{95}[\x{80}-\x{8b}\x{92}-\x{b0}]/+/g;
  36   # other
  37   $line =~ s/\x{e2}\x{95}\x{b1}/\//g;
  38   $line =~ s/\x{e2}\x{95}\x{b2}/\\/g;
  39   $line =~ s/\x{e2}\x{95}\x{b3}/X/g;
  40
  41   if ($line =~ /^\s*$/)
  42     {
  43     $line = "" if $lastwasblank;
  44     $lastwasblank = 1;
  45     next;
  46     }
  47   $lastwasblank = 0;
  48   }
  49
  50 # Find start of TOC, uppercasing its title
  51
  52 for ($i = 0; $i < scalar @lines; $i++)
  53   {
  54   $lines[$i] = "TABLE OF CONTENTS\n" if $lines[$i] =~ /^Table of Contents/;
  55   last if $lines[$i] =~ /^1\. /;
  56   }
  57
  58 # Find start of first chapter
  59
  60 for ($i++; $i < scalar @lines; $i++)
  61   { last if $lines[$i] =~ /^1\. /; }
  62
  63 # Process the body. We can detect the starts of chapters and sections by
  64 # looking for preceding and following blank lines, and then matching against
  65 # the numbers.
  66
  67 $chapter = 0;
  68 for (; $i < scalar @lines; $i++)
  69   {
  70   next if $lines[$i-1] !~ /^$/ || $lines[$i+1] !~ /^$/;
  71
  72   # Start of chapter
  73
  74   if ($lines[$i] =~ /^(\d+)\. / && $1 == $chapter + 1)
  75     {
  76     $chapter++;
  77     $section = 0;
  78     $lines[$i] = "\n\n" . ("=" x 79) . "\n" . uc($lines[$i]);
  79     }
  80
  81   # Start of next section
  82
  83   elsif ($lines[$i] =~ /^(\d+)\.(\d+) / && $1 == $chapter && $2 == $section + 1)
  84     {
  85     $section++;
  86     $lines[$i] = "\n$lines[$i]" . "-" x (length($lines[$i]) - 1) . "\n";
  87     }
  88   }
  89
  90 print @lines;
  91
  92 # End