Konvertálja a bináris kódolást, amelyet a fej és a Jegyzettömb el tud olvasni UTF-8-ra

” bináris “nem” t an kódolás (karakterkészlet neve ). Az iconv-nek kódolási névre van szüksége a munkája elvégzéséhez.

A file segédprogram nem ad hasznos információkat, ha nem ismeri fel a fájlformátumot. lehet például UTF-16, bájtkódoló jel nélkül (BOM). notepad ezt olvassa. Ugyanez vonatkozik a UTF-8 (és head megjelenítené ezt , mivel a terminál t beállítható o UTF-8 kódolás, és nem érdekelne egy BOM).

Ha a fájl UTF-16, akkor a terminál ezt a head használatával jeleníti meg, mert a legtöbb karakter ASCII (vagy akár Latin-1) lenne, ami az UTF-16 karakterek “másik” byte-ját nullává tenné.

Mindkét esetben a BOM hiánya (a file) verziója összekeveri. De más programok működhetnek, mert ezek a fájlformátumok használhatók a Microsoft Windows, valamint a Windows rendszeren futó hordozható alkalmazások esetén is.

A fájl UTF-8 formátumba konvertálásához tudnia kell, hogy melyik kódolja használ, és mi az a kódolás neve az iconv névvel. Ha ez már UTF-8, akkor nem kötelező-e hozzáadni egy BOM-ot (az elején). Az UTF-16 két ízzel rendelkezik, amelyek szerint a bájt az első. Vagy akár rendelkezhet UTF-32-vel. A iconv -l ezeket felsorolja:

ISO-10646/UTF-8/ ISO-10646/UTF8/ UTF-7// UTF-8// UTF-16// UTF-16BE// UTF-16LE// UTF-32// UTF-32BE// UTF-32LE// UTF7// UTF8// UTF16// UTF16BE// UTF16LE// UTF32// UTF32BE// UTF32LE// 

Az “LE” és a “BE” kis és nagy végekre utal a bájtsorrendhez. A Windows az “LE” ízeket használja, és az iconv valószínűleg azt feltételezi, hogy azoknál az ízeknél, amelyekből hiányzik az “LE” vagy a “BE”.

Ezt egy oktál segítségével láthatja. (sic) dump:

$ od -bc big-end 0000000 000 124 000 150 000 165 000 040 000 101 000 165 000 147 000 040 \0 T \0 h \0 u \0 \0 A \0 u \0 g \0 0000020 000 061 000 070 000 040 000 060 000 065 000 072 000 060 000 061 \0 1 \0 8 \0 \0 0 \0 5 \0 : \0 0 \0 1 0000040 000 072 000 065 000 067 000 040 000 105 000 104 000 124 000 040 \0 : \0 5 \0 7 \0 \0 E \0 D \0 T \0 0000060 000 062 000 060 000 061 000 066 000 012 \0 2 \0 0 \0 1 \0 6 \0 \n 0000072 $ od -bc little-end 0000000 124 000 150 000 165 000 040 000 101 000 165 000 147 000 040 000 T \0 h \0 u \0 \0 A \0 u \0 g \0 \0 0000020 061 000 070 000 040 000 060 000 065 000 072 000 060 000 061 000 1 \0 8 \0 \0 0 \0 5 \0 : \0 0 \0 1 \0 0000040 072 000 065 000 067 000 040 000 105 000 104 000 124 000 040 000 : \0 5 \0 7 \0 \0 E \0 D \0 T \0 \0 0000060 062 000 060 000 061 000 066 000 012 000 2 \0 0 \0 1 \0 6 \0 \n \0 0000072 

Ha az UTF-16LE-t feltételezzük, a

iconv -f UTF-16LE// -t UTF-8// <input >output 

Megjegyzések

• Tehát hogyan konvertálhatom a fájlt utf-8-ra, szándékom szerint bármilyen formátumot (forrásból származó) konvertálok utf-8-ra.
• @St é phaneChazelas, @ Thomas hogyan találhatom meg a forráskódolást, nem működik ' az utf- 32 (le / be) | 16 (le / be). Van-e parancs a forrásfájl kódolásának megkeresésére?
• Amint azt javasoltuk, egy oktális dump megjelenítése tanácsokkal segítene …
• @St é phaneChazelas Az alábbiak működtek, de mit csinál " NUL " jó eltávolítani ?? macska fájlnév.csv | tr -d ' \ 000 ' > out.csv fájl -bi out.csv szöveg / sima; charset = utf-8
• @WilliamR, ezek a NUL bájtok a csv fájlban valószínűleg egy szélesebb probléma jelzésére szolgálnak, például a fájl valamilyen módon sérült, mivel a szöveges fájlban nem várható ilyen, és hogy ' s, amire érdemes figyelnie. Nézze meg, hol jelennek meg a csv fájlban (bár ^@ néven kell megjeleníteni a vim fájlban), és ellenőrizze, hogy a körülötte lévő adatok érvényesek-e.