Avant que les normes Unicode ne viennent uniformiser les pratiques, diverses standards d'encodage des caractères ont émergé dans l'histoire de l'informatique, au gré de l'évolution des techniques matérielles et logicielles. Encore aujourd'hui, certains normes anciennes coexistent avec les standard modernes. Et même, quelques domaines restent exclusivement tributaires du jeu ASCII restreint. On peut notamment citer les adresses de courrier électronique, les en‑têtes de message de certains protocoles de communication, ou encore la syntaxe fondamentale des langages de programmation.

Réputée élémentaire – en tout cas bien moins complexe que les formats d'encodage Unicode (UTF‑8, UTF‑16…) – la norme ASCII recèle tout de même quelques difficultés, en particulier pour l'emploi des différents jeux étendus dans divers contextes (éditeur de code source, terminal d'exécution, etc.).

Quel que soit le système d'exploitation, il devrait être en principe possible d'utiliser n'importe quel jeu ASCII étendu dans un éditeur de code ou dans un terminal de commandes en ligne dès lors que ce jeu de caractères est installé sur la machine. Néanmoins, on verra infra  que ce n'est pas forcément le cas pour les systèmes Linux, parce qu'ils imposent le standard UTF‑8, beaucoup plus performant.

Autres jeux ASCII étendus

La norme ISO/IEC 8859 définit une quinzaine de jeux de caractères ASCII étendus. Ceux représentés en figure ci‑dessous (parties étendues seulement, codes 0xA0 à 0xFF) donnent un aperçu de ce qui existe pour les langues à alphabets non‑latin.

Pour chacun de ces jeux étendus, on trouve aussi une page de code Windows correspondante, qui comporte potentiellement 32 caractères imprimables supplémentaires. Même si elles adoptent des dispositions complètement différentes, ces pages de code répondent aux mêmes besoins que les jeux étendus des normes ISO ci‑dessus (cf. la figure ci‑dessous où sont représentés, dans chaque jeu, les caractères des codes 0x80 à 0xFF).

Au delà du confort apporté par la prise en charge du format UTF‑8, il peut être nécessaire d'imposer un format d'encodage spécifique aux entrées‑sorties textuelles d'un programme.

Même s'il n'est pas question ici de détailler le fonctionnement des paramètres régionaux W (locale) sous Linux, rappelons que dans un terminal de commandes en lignes bash :

• l'encodage des caractères en vigueur peut être affiché via la commande :

  
locale charmap
  

• la liste de tous les formats encodages disponibles peut être affiché via la commande :

  
locale -m
  

De plus, il faut savoir que durant le processus d'exécution dans un terminal d'un programme codé en langage C ou C++, le paramètre régional adopté par défaut n'est pas celui du terminal mais un autre, qui est désigné simplement par C. Quant au format d'encodage associé défini par la variable d'environnement LC_CTYPE, il est typiquement UTF‑8, lequel est incompatible avec les codes ASCII étendus.

Dans le code source d'un programme, on peut modifier ce paramètre régional combiné au format d'encodage C.utf-8. Il suffit pour cela :

• d'ajouter la directive :
  #include <locale.h>
• et dans la fonction main (ou un autre fonction, mais pas hors d'une fonction), de coder l'instruction :
  setlocale(LC_CTYPE, encodage local);
  où l'encodage local est désigné par une chaîne de caractères comme par exemple "fr_FR.iso-8859-1" ;

à condition bien entendu que la locale fr_FR.iso-8859-1 soit générée sur le système (pour cela, cf. le sujet de TP R2‑2 ).

Toutefois, certaines distributions comme Linux Mint n'autorisent dans les locales aucun autre encodage qu'UTF‑8 G. Aussi, pour changer l'encodage des caractères dans le flot de sortie lors de l'exécution d'un programme, plusieurs solutions sont envisageables.

• Une première solution consiste à changer l'encodage des caractères dans le terminal de commandes en lignes via le menu :
  Édition/Préférences/Compatibilité/Codage
  Dans la rubrique Codages obsolètes, on trouve notamment tous les jeux ISO‑8859 et les pages de code Windows (1251, 1252, etc.). L'effet est instantané.
Toutefois, il faut avoir conscience que ce paramétrage ne change pas la variable d'environnement LC_CTYPE dans la locale. Il effectue seulement un transcodage des caractères dans les flux d'entrées‑sorties du terminal.

Considérons le programme académique suivant où l'appel de la fonction printf est censé afficher une chaîne contenant le caractère « œ » :

#include <stdio.h>

int main(void)
{
  printf("Atout cœur !\n");
  return 0;
}



Dans l'éditeur de code Sublime Text, on peut sélectionner l'encodage ISO‑8859‑15 en ouvrant un menu contextuel par clic‑gauche sur l'indication de format d'encodage dans la barre de notifications (en bas à droite de la fenêtre d'édition). Après avoir sauvegardé le fichier source, l'encodage sélectionné est effectif et on peut compiler le programme.

Attention ! Pour que le format d'encodage des caractères s'affiche dans la barre de notification, il faut avoir saisi le paramétrage "show_encoding": "true" dans le fichier Settings de l'application (accessible via le menu Preferences).



Alors, dans le terminal de commandes en ligne où l'exécution du programme est lancée :

• Si on a sélectionné l'encodage ISO‑8859‑15, on obtient l'affichage correct suivant :

Atout cœur !

• Mais si on a sélectionné l'encodage ISO‑8859‑1, on obtient l'affichage incorrect suivant :

Atout c½ur !

puisque le caractère « œ » est absent de ce jeu d'encodage (cf. supra ).
• Une deuxième solution consiste à recourir à l'utilitaire luit  (il ne dispose pas de paquet d'installation apt mais, sous Linux Mint, on peut utiliser le script en Bash suivant ). Enchaîné à la commande d'exécution d'un programme, il transcode le flot des caractères de sortie de ce dernier dans le format d'encodage spécifié en paramètre. Par exemple, la commande :

  
luit -encoding iso-8859-1 printf "\xA9\n"
  
©
  

produit l'affichage du caractère « © » dont le code 0xA9 dans le jeu étendu ISO/IEC 8859‑1 est passé comme argument à la commande printf via la séquence d'échappement \xA9 (cf. infra ).

Le programme académique ci‑dessous a pour but d'afficher la partie étendue imprimable du jeu de caractères de la norme ISO/IEC 8859 sur une machine à système Linux.

#include <stdio.h>
#include <locale.h>

int main(void)
{
  setlocale(LC_CTYPE, "fr-FR.iso-8859-1");
  for (int c = 0xA0; c <= 0xFF; c++) {
    if (c % 0x10 == 0) printf("\n ");
    if (c == 0xA0) printf("\n ");
    printf("%c", c);
  }
  printf("\n");
  return 0;
}

Si l'on se contente de compiler ce programme et d'exécuter directement son code exécutable sous Linux Mint, nommé par exemple displayCharsetLinux, on obtient en sortie standard l'affichage défectueux suivant :

./displayCharsetLinux


 ����������������
 ����������������
 ����������������
 ����������������
 ����������������
 ����������������

En effet, le terminal d'exécution reste en encodage UTF‑8 malgré l'appel de la fonction setlocale à la ligne n° 6. Et dans ce format, les codes ASCII étendus ne sont pas des caractères (ils apparaissent donc tous avec le même symbole de substitution � en mode graphique – cf. infra ).

Pour obtenir l'affichage souhaité, une solution consiste à l'exécuter via la commande luit comme ci‑dessous :

  
luit -encoding iso-8859-1 ./displayCharsetLinux
  


    ¡¢£¤¥¦§¨©ª«¬­®¯
   °±²³´µ¶·¸¹º»¼½¾¿
   ÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏ
   ÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞß
   àáâãäåæçèéêëìíîï
   ðñòóôõö÷øùúûüýþÿ
  

Remarque : en utilisant luit, les lignes n° 2 et 6 du programme source précédent deviennent inutiles.

• On verra également au chapitre C4‑III qu'avec des options appliquées au préprocesseur des langages C/C++, il est possible de transcoder les caractères :
• des fichiers sources d'un programme  ;
• des chaînes de sortie d'un programme appliquées aux fonctions de sortie lors de son exécution .

Dans les versions pour l'Europe occidentale du système Windows (au moins jusqu'à la version 10), l'encodage des caractères est paramétré en ASCII étendu et, selon le contexte, ce n'est pas toujours la même page de code qui est activée par défaut.

• Dans une fenêtre d'édition de code, c'est parfois page de code CP1252 – c'est notamment le cas de l'IDE Code::Blocks. En règle générale, l'encodage des caractères est indiqué en bas de la fenêtre dans la barre de notification de l'éditeur de code.
• Dans le terminal d'exécution (cmd ou powershell), c'est en général la page de code CP850 W héritée du système d'exploitation MS‑DOS W.
On peut le vérifier en exécutant la commande chcp sans argument.

Or dans leur partie étendue, ces deux pages de code sont différentes. En particulier, contrairement à la page CP1252, la page CP850 n'inclut pas les ligatures « œ » et « Œ » ni les lettres accentuées « ÿ » et « Ÿ ».

En langages C et C++, pour changer la page de code de la console d'exécution d'un programme, on peut :

• directement dans la console, saisir la commande :
  chcp n° de page
• ou bien, dans le code source du programme :
• ajouter la directive :
  #include <windows.h>
• et dans la fonction main (ou autre), coder l'instruction :
  SetConsoleOutputCP(n° de page);

De plus, le terminal d'exécution doit être paramétré (via ses propriétés) avec une police d'affichage à chasse fixe W (monospace font) suffisamment riche pour inclure tous les caractères de la page de code – par exemple, une police comme Source Code Pro .

#include <stdio.h> 
#include <windows.h> 

int main(void)
{
  SetConsoleOutputCP(1252); 
  for (int c = 0x80; c <= 0xFF; c++) {
    if (c % 0x10 == 0) printf("\n ");
    if (c == 0x80) printf("\n ");
    printf("%c", c);
  }
  printf("\n\n");
  return 0;
}

 €‚ƒ„…†‡ˆ‰Š‹ŒŽ
 ’“”•–—˜™š›œ
  ¡¢£¤¥¦§¨©ª«¬­®¯
 °±²³´µ¶·¸¹º»¼½¾¿
 ÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏ
 ÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞß
 àáâãäåæçèéêëìíîï
 ðñòóôõö÷øùúûüýþÿ

Cette connaissance est décisive lorsque, dans un programme pour carte Arduino, on souhaite afficher sur le moniteur série des caractères hors du jeu ASCII restreint (par exemple, des lettres accentuées).

• Tant que ces caractères sont saisis sous forme de symboles dans l'éditeur de code source, la compatibilité est totale, puisque les deux fenêtres opèrent avec le même format d'encodage.

L'instruction Serial.print("é"); affiche bien la lettre accentuée « é » sur le moniteur série.

• En revanche, si les caractères sont saisis sous forme de codes (c'est‑à‑dire via une séquence d'échappement – cf. infra ), il est impératif de ne pas employer les codes ASCII étendus mais ceux de l'UTF‑8.

On pourra aussi coder Serial.print("\xC3\xA9"); pour afficher la lettre accentuée « é » sur le moniteur série, puisque le code UTF‑8 de cette lettre est 0xC3A9 (2 octets W).

Idéalement, la valeur d'un caractère doit être la même pour l'édition du code source et pour l'affichage ou la saisie sur une console d'exécution. Mais on a vu supra  que cette condition n'est pas toujours satisfaite par défaut dans la partie étendue d'un jeu ASCII (notamment sous Windows).

Toutefois, pour visualiser la valeur de caractère d'un caractère de contrôle – typiquement, via une expression comme printf("%c", '\b') – il est prévu de le faire apparaître sous la forme d'un symbole de substitution. On parle alors de mode graphique d'affichage par opposition au mode usuel dit normal.

• Dans les terminaux Linux qui, par défaut, utilisent le format UTF‑8, c'est soit le caractère espace (code 0x20), soit le caractère spécial de remplacement � (Unicode U+FFFD ) qui est employé, quel que soit le caractère de contrôle qu'on cherche à afficher en mode graphique.
• Sous Windows, le caractère de substitution dépend de la page de code sélectionnée – cf. par exemple le jeu de symboles de substitution prévu pour le jeu de contrôle C0 (codes 0x00 à 0x1F) et le caractère DEL qui est défini par la page de code CP850 W.