Hier ist eine Funktion, die Sie vielleicht nützlich finden:utf8_to_latin9() . Es wird in ISO-8859-15 umgewandelt (einschließlich EURO, die ISO-8859-1 nicht hat), funktioniert aber auch korrekt für UTF-8 ->ISO-8859-1 Konvertierungsteil eines ISO-8859-1 ->UTF-8 ->ISO-8859-1 Hin- und Rückfahrt.
Die Funktion ignoriert ungültige Codepunkte ähnlich wie //IGNORE Flag für iconv, setzt aber zerlegte UTF-8-Sequenzen nicht neu zusammen; das heißt, es wird nicht U+006E U+0303 in U+00F1 . Ich mache mir nicht die Mühe, neu zu komponieren, weil iconv das auch nicht tut.
Die Funktion ist sehr vorsichtig mit dem String-Zugriff. Es wird niemals über den Puffer hinaus gescannt. Der Ausgangspuffer muss ein Byte länger als length sein, da er immer das NUL-Byte am Ende der Zeichenfolge anhängt. Die Funktion gibt die Anzahl der Zeichen (Bytes) in der Ausgabe zurück, ohne das NUL-Byte am Ende der Zeichenfolge.
/* UTF-8 to ISO-8859-1/ISO-8859-15 mapper.
* Return 0..255 for valid ISO-8859-15 code points, 256 otherwise.
*/
static inline unsigned int to_latin9(const unsigned int code)
{
/* Code points 0 to U+00FF are the same in both. */
if (code < 256U)
return code;
switch (code) {
case 0x0152U: return 188U; /* U+0152 = 0xBC: OE ligature */
case 0x0153U: return 189U; /* U+0153 = 0xBD: oe ligature */
case 0x0160U: return 166U; /* U+0160 = 0xA6: S with caron */
case 0x0161U: return 168U; /* U+0161 = 0xA8: s with caron */
case 0x0178U: return 190U; /* U+0178 = 0xBE: Y with diaresis */
case 0x017DU: return 180U; /* U+017D = 0xB4: Z with caron */
case 0x017EU: return 184U; /* U+017E = 0xB8: z with caron */
case 0x20ACU: return 164U; /* U+20AC = 0xA4: Euro */
default: return 256U;
}
}
/* Convert an UTF-8 string to ISO-8859-15.
* All invalid sequences are ignored.
* Note: output == input is allowed,
* but input < output < input + length
* is not.
* Output has to have room for (length+1) chars, including the trailing NUL byte.
*/
size_t utf8_to_latin9(char *const output, const char *const input, const size_t length)
{
unsigned char *out = (unsigned char *)output;
const unsigned char *in = (const unsigned char *)input;
const unsigned char *const end = (const unsigned char *)input + length;
unsigned int c;
while (in < end)
if (*in < 128)
*(out++) = *(in++); /* Valid codepoint */
else
if (*in < 192)
in++; /* 10000000 .. 10111111 are invalid */
else
if (*in < 224) { /* 110xxxxx 10xxxxxx */
if (in + 1 >= end)
break;
if ((in[1] & 192U) == 128U) {
c = to_latin9( (((unsigned int)(in[0] & 0x1FU)) << 6U)
| ((unsigned int)(in[1] & 0x3FU)) );
if (c < 256)
*(out++) = c;
}
in += 2;
} else
if (*in < 240) { /* 1110xxxx 10xxxxxx 10xxxxxx */
if (in + 2 >= end)
break;
if ((in[1] & 192U) == 128U &&
(in[2] & 192U) == 128U) {
c = to_latin9( (((unsigned int)(in[0] & 0x0FU)) << 12U)
| (((unsigned int)(in[1] & 0x3FU)) << 6U)
| ((unsigned int)(in[2] & 0x3FU)) );
if (c < 256)
*(out++) = c;
}
in += 3;
} else
if (*in < 248) { /* 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx */
if (in + 3 >= end)
break;
if ((in[1] & 192U) == 128U &&
(in[2] & 192U) == 128U &&
(in[3] & 192U) == 128U) {
c = to_latin9( (((unsigned int)(in[0] & 0x07U)) << 18U)
| (((unsigned int)(in[1] & 0x3FU)) << 12U)
| (((unsigned int)(in[2] & 0x3FU)) << 6U)
| ((unsigned int)(in[3] & 0x3FU)) );
if (c < 256)
*(out++) = c;
}
in += 4;
} else
if (*in < 252) { /* 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx */
if (in + 4 >= end)
break;
if ((in[1] & 192U) == 128U &&
(in[2] & 192U) == 128U &&
(in[3] & 192U) == 128U &&
(in[4] & 192U) == 128U) {
c = to_latin9( (((unsigned int)(in[0] & 0x03U)) << 24U)
| (((unsigned int)(in[1] & 0x3FU)) << 18U)
| (((unsigned int)(in[2] & 0x3FU)) << 12U)
| (((unsigned int)(in[3] & 0x3FU)) << 6U)
| ((unsigned int)(in[4] & 0x3FU)) );
if (c < 256)
*(out++) = c;
}
in += 5;
} else
if (*in < 254) { /* 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx */
if (in + 5 >= end)
break;
if ((in[1] & 192U) == 128U &&
(in[2] & 192U) == 128U &&
(in[3] & 192U) == 128U &&
(in[4] & 192U) == 128U &&
(in[5] & 192U) == 128U) {
c = to_latin9( (((unsigned int)(in[0] & 0x01U)) << 30U)
| (((unsigned int)(in[1] & 0x3FU)) << 24U)
| (((unsigned int)(in[2] & 0x3FU)) << 18U)
| (((unsigned int)(in[3] & 0x3FU)) << 12U)
| (((unsigned int)(in[4] & 0x3FU)) << 6U)
| ((unsigned int)(in[5] & 0x3FU)) );
if (c < 256)
*(out++) = c;
}
in += 6;
} else
in++; /* 11111110 and 11111111 are invalid */
/* Terminate the output string. */
*out = '\0';
return (size_t)(out - (unsigned char *)output);
}
Beachten Sie, dass Sie in to_latin9() eine benutzerdefinierte Transliteration für bestimmte Codepunkte hinzufügen können funktionieren, aber Sie sind auf die Ersetzung von einem Zeichen beschränkt.
So wie es derzeit geschrieben ist, kann die Funktion eine In-Place-Konvertierung sicher durchführen:Eingabe- und Ausgabezeiger können gleich sein. Die Ausgabezeichenfolge wird niemals länger als die Eingabezeichenfolge sein. Wenn Ihre Eingabezeichenfolge Platz für ein zusätzliches Byte hat (z. B. die NUL am Ende der Zeichenfolge), können Sie die obige Funktion sicher verwenden, um sie von UTF-8 in ISO-8859-1/15 zu konvertieren. Ich habe es bewusst so geschrieben, weil es Ihnen in einer eingebetteten Umgebung einige Mühe ersparen sollte, obwohl dieser Ansatz bzgl. etwas eingeschränkt ist. Anpassung und Erweiterung.
Bearbeiten:
Ich habe ein Paar Konvertierungsfunktionen in eine Bearbeitung dieser Antwort für die Konvertierung von Latin-1/9 zu / von UTF-8 (ISO-8859-1 oder -15 zu / von UTF-8) aufgenommen. Der Hauptunterschied besteht darin, dass diese Funktionen eine dynamisch zugewiesene Kopie zurückgeben und den ursprünglichen String intakt lassen.
iconv - Zeichensatzkonvertierung durchführen
size_t iconv(iconv_t cd,
char **inbuf, size_t *inbytesleft,
char **outbuf, size_t *outbytesleft);
iconv_t iconv_open(const char *tocode, const char *fromcode);
tocode ist "ISO_8859-1" und fromcode ist "UTF-8" .
Arbeitsbeispiel:
#include <iconv.h>
#include <stdio.h>
int main (void) {
iconv_t cd = iconv_open("ISO_8859-1", "UTF-8");
if (cd == (iconv_t) -1) {
perror("iconv_open failed!");
return 1;
}
char input[] = "Test äöü";
char *in_buf = &input[0];
size_t in_left = sizeof(input) - 1;
char output[32];
char *out_buf = &output[0];
size_t out_left = sizeof(output) - 1;
do {
if (iconv(cd, &in_buf, &in_left, &out_buf, &out_left) == (size_t) -1) {
perror("iconv failed!");
return 1;
}
} while (in_left > 0 && out_left > 0);
*out_buf = 0;
iconv_close(cd);
printf("%s -> %s\n", input, output);
return 0;
}