Как я могу найти кодировку файла с помощью скрипта в Linux?

Похоже, вы ищете enca. Он может угадывать и даже конвертировать между кодировками. Просто посмотрите справочную страницу.

В противном случае используйте file -i (Linux) или file -I (OS X). Это выведет информацию о типе MIME для файла, которая также будет включать кодировку набора символов. Я тоже нашел для него справочную страницу :)

file -bi <file name>

Если вы хотите сделать это для группы файлов

for f in `find | egrep -v Eliminate`; do echo "$f" ' -- ' `file -bi "$f"` ; done

uchardet - библиотека детектора кодирования, перенесенная из Mozilla.

Использование:

~> uchardet file.java
UTF-8

Различные дистрибутивы Linux (Debian, Ubuntu, openSUSE, Pacman и т. д.) предоставляют двоичные файлы.

Вот пример сценария с использованием file -I и iconv, который работает в Mac OS X.

Для вашего вопроса вам необходимо использовать mv вместо iconv:

#!/bin/bash
# 2016-02-08
# check encoding and convert files
for f in *.java
do
  encoding=`file -I $f | cut -f 2 -d";" | cut -f 2 -d=`
  case $encoding in
    iso-8859-1)
    iconv -f iso8859-1 -t utf-8 $f > $f.utf8
    mv $f.utf8 $f
    ;;
  esac
done

В Debian вы также можете использовать: encguess:

$ encguess test.txt
test.txt  US-ASCII

Чтобы преобразовать кодировку из ISO 8859-1 в ASCII:

iconv -f ISO_8859-1 -t ASCII filename.txt

Действительно сложно определить, соответствует ли это ISO 8859-1. Если у вас есть текст, состоящий только из 7-битных символов, это также может быть ISO 8859-1, но вы не знаете. Если у вас есть 8-битные символы, тогда символы верхнего региона также существуют в порядковых кодировках. Поэтому вам придется использовать словарь, чтобы лучше угадать, какое это слово, и определить оттуда, какая буква это должна быть. Наконец, если вы обнаружите, что это может быть UTF-8, вы уверены, что это не ISO 8859-1.

Кодирование - одна из самых сложных задач, потому что никогда не знаешь, что тебе ничего не говорит.

В Python вы можете использовать модуль chardet.

Это не то, что вы можете сделать надежным способом. Одна из возможностей - проверить каждый символ в файле, чтобы убедиться, что он не содержит никаких символов в диапазонах 0x00 - 0x1f или 0x7f -0x9f, но, как я уже сказал, это может быть верно для любого количества файлов, включая хотя бы один другой вариант ISO 8859.

Другая возможность - поискать определенные слова в файле на всех поддерживаемых языках и посмотреть, сможете ли вы их найти.

Так, например, найдите эквивалент английского и, но, to, of и т. Д. На всех поддерживаемых языках ISO 8859-1 и посмотрите, есть ли у них большое количество вхождений в файле.

Я не говорю о дословном переводе, например:

English   French
-------   ------
of        de, du
and       et
the       le, la, les

хотя это возможно. Я говорю об общих словах в целевом языке (насколько я знаю, в исландском нет слова для и - вам, вероятно, придется использовать их слово для обозначения рыбы [извините, это немного стереотипно. Я не имел в виду никакого оскорбления, просто иллюстрирую точку]).

Я знаю, что вас интересует более общий ответ, но то, что хорошо в ASCII, обычно хорошо в других кодировках. Вот однострочник Python, чтобы определить, является ли стандартный ввод ASCII. (Я почти уверен, что это работает в Python 2, но я тестировал его только на Python 3.)

python -c 'from sys import exit,stdin;exit()if 128>max(c for l in open(stdin.fileno(),"b") for c in l) else exit("Not ASCII")' < myfile.txt

Если вы говорите о файлах XML (ISO-8859-1), объявление XML внутри них указывает кодировку: <?xml version="1.0" encoding="ISO-8859-1" ?> Итак, вы можете использовать регулярные выражения (например, с Perl) для проверки каждого файла на наличие такой спецификации.

Дополнительную информацию можно найти здесь: Как определить кодировку текстового файла.

В PHP вы можете проверить это, как показано ниже:

Явное указание списка кодировок:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

Более точные mb_list_encodings:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Здесь, в первом примере, вы можете видеть, что я использовал список кодировок (определение порядка списка), которые могут совпадать. Чтобы получить более точный результат, вы можете использовать все возможные кодировки с помощью: mb_list_encodings ()

Обратите внимание, что для функций mb_ * требуется php-mbstring:

apt-get install php-mbstring

Я использую следующий сценарий, чтобы

1. Найти все файлы, соответствующие FILTER с SRC_ENCODING
2. Создайте их резервную копию
3. Преобразуйте их в DST_ENCODING
4. (необязательно) Удалите резервные копии

#!/bin/bash -xe

SRC_ENCODING="iso-8859-1"
DST_ENCODING="utf-8"
FILTER="*.java"

echo "Find all files that match the encoding $SRC_ENCODING and filter $FILTER"
FOUND_FILES=$(find . -iname "$FILTER" -exec file -i {} \; | grep "$SRC_ENCODING" | grep -Eo '^.*\.java')

for FILE in $FOUND_FILES ; do
    ORIGINAL_FILE="$FILE.$SRC_ENCODING.bkp"
    echo "Backup original file to $ORIGINAL_FILE"
    mv "$FILE" "$ORIGINAL_FILE"

    echo "converting $FILE from $SRC_ENCODING to $DST_ENCODING"
    iconv -f "$SRC_ENCODING" -t "$DST_ENCODING" "$ORIGINAL_FILE" -o "$FILE"
done

echo "Deleting backups"
find . -iname "*.$SRC_ENCODING.bkp" -exec rm {} \;

С помощью этой команды:

for f in `find .`; do echo `file -i "$f"`; done

вы можете перечислить все файлы в каталоге и подкаталогах и в соответствующей кодировке.

Если в имени файла есть пробел, используйте:

IFS=$'\n'
for f in `find .`; do echo `file -i "$f"`; done

Помните, что это изменит ваш текущий интерпретатор сеанса Bash для пробелов.

Вы можете извлечь кодировку одного файла с помощью команды file. У меня есть файл sample.html с:

$ file sample.html 

sample.html: HTML-документ, текст Unicode UTF-8 с очень длинными строками.

$ file -b sample.html

Документ HTML, текст Unicode UTF-8 с очень длинными строками

$ file -bi sample.html

текст / html; charset = utf-8

$ file -bi sample.html  | awk -F'=' '{print $2 }'

utf-8

В Cygwin, похоже, у меня это работает:

find -type f -name "<FILENAME_GLOB>" | while read <VAR>; do (file -i "$<VAR>"); done

Пример:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done

Вы можете передать это в AWK и создать команду iconv для преобразования всего в UTF-8 из любая исходная кодировка, поддерживаемая iconv.

Пример:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done | awk -F[:=] '{print "iconv -f "$3" -t utf8 \""$1"\" > \""$1"_utf8\""}' | bash

В Perl используйте Encode :: Detect.