raw_conversion: fix handling of control caracters

git-svn-id: http://svn.parisson.org/svn/crem@30 3bf09e05-f825-4182-b9bc-eedd7160adf0

diff --git a/import/raw_conversion/README b/import/raw_conversion/README
index 2ea95be1c561a17f3715abfd685bb481865fb02e..17f21953ea2e46fbb4459eb8b0cc2fa35f7abd67 100644 (file)
--- a/import/raw_conversion/README
+++ b/import/raw_conversion/README
@@ -35,6 +35,7 @@ copie de la base 4D, et non sur la version de production.
 4.  Créer une base MySQL, par exemple: crem
 
 5.  Importer la toutes les données dans la base MySQL avec la commande::
+
         ./import /tmp/export_crem | mysql -vvv crem
     
     Vérifiez que chaque requête se termine par "Query OK" avec "Warnings: 0", 

diff --git a/import/raw_conversion/export.4d.txt b/import/raw_conversion/export.4d.txt
index 4f7beff30f5f2e96203ef5c19792da1e18e00cb2..bd30cd664f6e07809c8e94f35d4e0b98acb3ad0d 100755 (executable)
--- a/import/raw_conversion/export.4d.txt
+++ b/import/raw_conversion/export.4d.txt
@@ -80,6 +80,7 @@ Boucle ($tableNumber;1;$numberOfTables)
             $fieldValue:=$fieldPtr->  \r
             $fieldValue:=Remplacer chaine ($fieldValue; $fieldDelimiter; " ")\r
             $fieldValue:=Remplacer chaine ($fieldValue; $recordDelimiter; " ")\r
+            $fieldValue:=Remplacer chaine ($fieldValue; Caractere(13); " ")\r
         Fin de cas \r
         \r
         Si ($fieldNumber#$numberOfFields)  \r
@@ -113,10 +114,12 @@ Fin de boucle
 \r
 `Export des relations des formations\r
 \r
+$tab:=Caractere(9)\r
+$fin:=Caractere(10)\r
+$ret:=Caractere(13)\r
+\r
 $doc:=Creer document("c:\export_crem\Formation.txt";"TXT")\r
 Si (ok=1)\r
-  $tab:=Caractere(9)\r
-  $fin:=Caractere(10)\r
   $texte:="Cote_Phono"+$tab+"Instr_Scientif"+$tab+"Instr_Vernacul"+$tab+"Interprète"+$tab+"Total_Instrum"+$fin\r
   ENVOYER PAQUET($doc;Mac vers Windows($texte))\r
   TOUT SELECTIONNER([Phono])\r
@@ -124,16 +127,21 @@ Si (ok=1)
     $cote:=[Phono]Cote_Phono\r
     $cote:=Remplacer chaine($cote; $tab; " ")\r
     $cote:=Remplacer chaine($cote; $fin; " ")\r
+    $cote:=Remplacer chaine($cote; $ret; " ")\r
     TOUS LES SOUS ENREGISTREMENTS([Phono]Formation)\r
     Boucle ($j;1;Sous enregistrements trouves([Phono]Formation)\r
       $instr_scientif:=Remplacer chaine([Phono]Formation'Instr_Scientif; $tab; " ")\r
       $instr_scientif:=Remplacer chaine($instr_scientif; $fin; " ")\r
+      $instr_scientif:=Remplacer chaine($instr_scientif; $ret; " ")\r
       $instr_vernacul:=Remplacer chaine([Phono]Formation'Instr_Vernacul; $tab; " ")\r
       $instr_vernacul:=Remplacer chaine($instr_vernacul; $fin; " ")\r
+      $instr_vernacul:=Remplacer chaine($instr_vernacul; $ret; " ")\r
       $interprete:=Remplacer chaine([Phono]Formation'Interprète; $tab; " ")\r
       $interprete:=Remplacer chaine($interprete; $fin; " ")\r
+      $interprete:=Remplacer chaine($interprete; $ret; " ")\r
       $total:=Remplacer chaine([Phono]Formation'Total_Instrum; $tab; " ")\r
       $total:=Remplacer chaine($total; $fin; " ")\r
+      $total:=Remplacer chaine($total; $ret; " ")\r
       $texte:=$cote+$tab+$instr_scientif+$tab+$instr_vernacul+$tab+$interprete+$tab+$total+$fin\r
       ENVOYER PAQUET($doc;Mac vers Windows($texte))\r
       SOUS ENREGISTREMENT SUIVANT([Phono]Formation)\r
@@ -150,8 +158,6 @@ Fin de si
 \r
 $doc:=Creer document("c:\export_crem\Fonction_Usage.txt";"TXT")\r
 Si (ok=1)\r
-  $tab:=Caractere(9)\r
-  $fin:=Caractere(10)\r
   $texte:="Cote_Phono"+$tab+"Mot_Clef"+$fin\r
   ENVOYER PAQUET($doc;Mac vers Windows($texte))\r
   TOUT SELECTIONNER([Phono])\r
@@ -159,10 +165,12 @@ Si (ok=1)
     $cote:=[Phono]Cote_Phono\r
     $cote:=Remplacer chaine($cote; $tab; " ")\r
     $cote:=Remplacer chaine($cote; $fin; " ")\r
+    $cote:=Remplacer chaine($cote; $ret; " ")\r
     TOUS LES SOUS ENREGISTREMENTS([Phono]Fonction_Usage)\r
     Boucle ($j;1;Sous enregistrements trouves([Phono]Fonction_Usage)\r
       $mot_clef:=Remplacer chaine([Phono]Fonction_Usage'Mot_Clef; $tab; " ")\r
       $mot_clef:=Remplacer chaine($mot_clef; $fin; " ")\r
+      $mot_clef:=Remplacer chaine($mot_clef; $ret; " ")\r
       $texte:=$cote+$tab+$mot_clef+$fin\r
       ENVOYER PAQUET($doc;Mac vers Windows($texte))\r
       SOUS ENREGISTREMENT SUIVANT([Phono]Fonction_Usage)\r

diff --git a/import/raw_conversion/import b/import/raw_conversion/import
index cdfb1c3320fb9608ab6ce5999f458992a7778789..2d694c4de8e9b709b58b3b4488a4b832c9c3ffac 100755 (executable)
--- a/import/raw_conversion/import
+++ b/import/raw_conversion/import
@@ -30,7 +30,7 @@ do
     echo "LOAD DATA INFILE '$src/$filename'"
     echo "    INTO TABLE \`$table\`"
     echo "    CHARACTER SET 'latin1'"
-    echo "    FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'"
+    echo "    FIELDS TERMINATED BY '\t' ESCAPED BY '' LINES TERMINATED BY '\n'"
     echo "    IGNORE 1 LINES;"
     echo "SHOW WARNINGS;"
     echo