Outils pour utilisateurs

Outils du site


scripts-python

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

scripts-python [2017/07/25 19:04] (Version actuelle)
Ligne 1: Ligne 1:
 +====== Scripts Python ======
  
 +===== Corriger l'​encodage d'un texte utf-8 =====
 +[[https://​github.com/​LuminosoInsight/​python-ftfy|ftfy]] (fixes text for you) est une librairie python spécialisée dans la correction des erreurs d'​encodage utf-8
 +
 +
 +Installer pip et ftfy sous ubuntu
 +<code bash>
 +apt install python3-pip
 +pip3 install ftfy
 +</​code>​
 +
 +Corriger l'​encodage d'un fichier (par exemple la sauvegarde d'une base mysql)
 +<code python>
 +#​!/​usr/​bin/​python3
 +# coding: utf-8
 +
 +import ftfy
 +
 +# Set input_file
 +input_file = open('​c1alfahnet.dump',​ '​r',​ encoding="​utf-8"​)
 +# Set output file
 +output_file = open ('​c1alfahnet.utf8.dump',​ '​w'​)
 +
 +# Create fixed output stream
 +stream = ftfy.fix_file(
 +    input_file,
 +    encoding=None,​
 +    fix_entities='​auto', ​
 +    remove_terminal_escapes=False, ​
 +    fix_encoding=True, ​
 +    fix_latin_ligatures=False, ​
 +    fix_character_width=False, ​
 +    uncurl_quotes=False, ​
 +    fix_line_breaks=False, ​
 +    fix_surrogates=False, ​
 +    remove_control_chars=False, ​
 +    remove_bom=False, ​
 +    normalization='​NFC'​
 +)
 +
 +# Save stream to output file
 +stream_iterator = iter(stream)
 +while stream_iterator:​
 +    try:
 +        line = next(stream_iterator)
 +        output_file.write(line)
 +    except StopIteration:​
 +        break
 +</​code>​
scripts-python.txt · Dernière modification: 2017/07/25 19:04 (modification externe)