Geschichten, die das Leben schrieb

Schlaue Köpfe wollten einen einzigen Zeichensatz für das ganze Universum bauen. Stolzer Ansatz, aber wie soll das gehen? Mehr Bits was sonst? Sie nannten den Zeichensatz sinnigerweise Unicode.

Die Kerle haben keine neuen Zeichen erfunden nur alle die sie finden konnten in einen einzigen Code gepackt. Wie viele Zeichen sind denn das? Angefangen haben sie mit zwei Byte pro Zeichen, das ergibt 2¹⁶ = 65'536 Zeichen. Die ersten 128 Zeichen haben sie unverändert aus dem ASCII-Code übernommen. Die Erfinder haben alle anderen Zeichen anschliessend eingebaut.

65'536 Zeichen reichten nicht für das ganze Universum. Menschen aus fernen Ländern haben reklamiert und wollten ihre Hieroglyphen auch dabeihaben. Emoticons und ähnliche Symbole wollten auch dabei sein.

Die findigen Köpfe haben weiter gegrübelt. Den 16 Bit (65'536 Zeichen) sagten sie "Ebene". Mit 5 Bit vor der Ebene haben sie 2⁵ = 32 Ebenen erfunden. Von diesen 32 Ebenen sind 17 vorgesehen und 6 heute verwendet. Ein Unicode-Zeichen ist demnach 5 + 16 = 21 Byte lang. Und weil 17 Ebenen vorgesehen wurden, sind 17 * 65'536 = 1'114'112 Zeichen möglich. Warum nur 5 Bit für die Ebenen Nummer? Das wird später beim UFT-8-Format klar.

Beispiel: A = ASCII 1000001 = Unicode 00000 00000000 01000001

Heute umfasst der Unicode also 17 Ebenen à 65'536 Zeichen. 17 x 2 Byte = 17 * 2¹⁶ = 17 * 65'536 = 1'114'112 Zeichen und es hätte noch Platz für weitere 15 Ebenen. Wenn das nicht reichen sollte, treten die findigen Köpfe mit Garantie in Aktion und werden eine Lösung finden. Eventuell sind sie schon dran. Die 1'114'112 Unicode-Zeichen liste ich nicht auf, sonst bist Du lange am Blättern. Schaue im Internet bei Unicode → rein, wenn Du's wissen möchtest.

Beispiele von gängigen Unicode-Zeichen umgesetzt in das UTF-8-Format:
Details zum UTF-8-Format folgen.

Die Knacknuss war wie man die Unicode-Zeichen in eine Datei packt. Zwei verschiedene Dateien (1-Byte-ASCII und 3-Byte-Unicode) lagen nahe. Zwei Dateien wollte man nicht. Die reine ASCII-Datei wollte man beibehalten. Wie gestaltet man nun eine Datei damit die 1-Byte gewohnten Systeme unberührt weiterarbeiten können alle Unicode-Zeichen trotzdem drin sein können und die Datei schlank bleibt?

Die geniale Lösung heisst UTF-8 Format.

Ja ich weiss es gibt noch andere Formate. UTF‑8 hat es mir angetan, weil ich im Internet "zu Hause" bin. Mich interessiert das, was ich selbst angwende und als praktisch empfinde.