Чтобы использовать буквы, не входящие в ASCII, в именах, следует поместить в начале файла с программой директиву

Perl
use utf8;

Тогда станут возможными программы вроде

Perl
use utf8;
for(my $счётчик=1; $счётчик<=100; $счётчик++)
{
	print "$счётчик\n";
}

или

Perl
use utf8;
print $ბაყაყი, $წყალში, $ყიყინებს;

Но мы не приветствуем такие имена. Это полностью противоречит нашему представлению о прекрасном.

Гораздо важнее другое применение директивы use utf8;. С ней строки, заключённые между апострофами и двойными кавычками, будут рассматриваться как строки символьные, а не октетные.

А какая, спрашивается, разница? Обсудим этот важный вопрос подробно.

Рассмотрим строку Привет!. Согласно таблице UCS она состоит из символов U+41F U+440 U+438 U+432 U+435 U+442 U+21. Но, закодированная в UTF-8, она представлена как последовательность октетов D0 9F D1 80 D0 B8 D0 B2 D0 B5 D1 82 21 (в шестнадцатеричной записи). Здесь на каждую русскую букву приходится по два октета, и лишь восклицательный знак (он есть в таблице ASCII) занимает один октет.

Сравним две программы:

Perl
print length "Привет!";

и

Perl
use utf8;
print length "Привет!";

Первая напечатает число 13, поскольку по умолчанию один октет означает один символ с тем же номером. Вторая выведет 7. В отсутствие команды use utf8; с точки зрения Perl строка состоит из символов U+D0 U+9F U+D1 U+80 U+D0 U+B8 U+D0 U+B2 U+D0 U+B5 U+D1 U+82 U+21, то есть Привет!. Пусть читатель поверит нам на слово, здесь действительно 13 символов, но некоторые из них являются служебными, поэтому невидимы.

Директива use utf8; влияет на смысл регулярных выражений. Рассмотрим программу, которая, по нашему замыслу, печатает те названия месяцев, которые состоят из восьми букв:

Perl
for(qw/январь февраль март апрель май июнь июль август сентябрь октябрь ноябрь декабрь/)
{
	print "$_\n" if m/^.{8}$/;
}

Но вместо ожидаемого вывода

сентябрь

появится

март
июнь
июль

Каждая русская буква в кодировке UTF-8 превращается в два октета, которые по умолчанию считаются парой символов с теми же номерами. Так что март — восьмисимвольная строка. Директива исправляет это поведение программы.

Ещё один пример влияния директивы на смысл регулярных выражений. Выведем те названия месяцев, в которые входит русская буква а (заглавная или маленькая).

Perl
for(qw/январь февраль март апрель май июнь июль август сентябрь октябрь ноябрь декабрь/)
{
	print "$_\n" if m/[Аа]/;
}

Но что же это?

январь
февраль
март
апрель
май
июнь
июль
август
сентябрь
октябрь
ноябрь
декабрь

Откуда буква а в слове июнь? Дело в том, что символьный класс в регулярном выражении [Аа] состоит вовсе не из двух русских букв, а из символов U+D0, U+90, U+D0 и U+B0 (два из них совпали). С октета D0 начинается код UTF-8 у многих русских букв, так что не удивительно, что он встречается в названиях всех месяцев. Опять же ситуацию исправит директива.

Каждое строковое значение в программе на Perl кодируется при помощи UTF-8. Но в разных ситуациях оно рассматривается либо как октетная строка, либо как символьная. Соответствующий признак хранится вместе с октетами, составляющими строку. Он называется флагом UTF-8. При использовании директивы use utf8; все строки и регулярные выражения из текста программы устанавливают этот флаг, в отсутствие директивы этот флаг очищен.

Помимо процедуры length, состояние флага влияет и на некоторые другие встроенные процедуры языка Perl. Например, для процедуры substr важно, из чего состоят строки — из октетов или символов. Для процедуры chop флаг тоже имеет значение.

До сих пор мы обсуждали поддержку Юникода в текстах программ. Пришло время подумать о строках, которые программа получает извне, читая из файла, или выводит вовне, записывая в файл.

Когда в разделе «Чтение» мы рассматривали побайтное или посимвольное чтение в связи с процедурой read, мы не делали различия между этими двумя видами чтения, отождествляя байты (октеты) и символы. Теперь мы знаем, чем чревато такое отождествление. Третий параметр процедуры read отвечает за размер порции данных, которую желательно прочесть из дескриптора. Этот размер обычно задаётся в октетах, но если требуется читать заданное количество символов, файл следует открывать для чтения несколько иначе:

Perl
open my $file, '<:utf8', 'input.txt';

Дополнительная опция :utf8 указывает, что файл рассматривается как последовательность символов, закодированная в UTF-8. Все порции, прочитанные процедурой read или оператором <…>, будут символьными строками (то есть с установленным флагом UTF-8). Директива use utf8; не оказывает влияния на данную ситуацию.

Открывая файл для чтения таким образом, нужно быть уверенным, что в нём содержатся правильно закодированные данные (мы уже упоминали, что не всякая последовательность октетов обладает этим свойством). Что же произойдёт, если файл не таков? Каждый раз, когда при чтении встречается неправильная с точки зрения UTF-8 последовательность октетов, происходит ошибка чтения, а вместо такой неправильной последовательности считывается так называемый подстановочный символ U+FFFD, который выглядит так: �. После такой неудачи чтение можно продолжать.

Аналогичным образом открывается файл для записи или добавления, если записываться будут именно символьные строки: в качестве второго параметра в процедуре open указывается '>:utf8' или '>>:utf8'.

Описанная возможность является частью более общего механизма, который позволяет соединить файловый ввод/вывод с дополнительными манипуляциями над считываемыми или записываемыми октетами. Это так называемые слои ввода/вывода, которые появились в Perl не так давно. Мы не ставим перед собой задачу подробно углубляться в эту тему (желающие могут почитать страницу руководства perlopentut). Но упомянем ещё одну возможность, которую дают слои.

Часто большие файлы с целью уменьшения их размера сжимают компрессором. Таких компрессоров несколько, но среди них наиболее популярны gzip и xz. Первый из них уступает второму в степени сжатия, но заметно выигрывает в быстродействии. В комплекте с компрессором поставляется и декомпрессор. Особый слой ввода/вывода позволяет читать и записывать файлы, сжатые при помощи gzip, не прибегая к услугам соответствующих программ — компрессора и декомпрессора:

Perl
open my $in, '<:gzip', 'input.txt.gz';
open my $out, '>:gzip', 'output.txt.gz';

Слой :gzip становится доступным в программе, если в системе установлен модуль PerlIO::gzip, который обеспечивает поддержку слою. Этот модуль не входит в стандартный набор модулей, и его придётся устанавливать дополнительно.

Слои ввода/вывода могут комбинироваться друг с другом. Если требуется читать символьные строки из сжатого файла, открываем его так:

Perl
open my $in, '<:gzip:utf8', 'input.txt.gz';

Для чтения или записи файлов в других кодировках будет полезен слой ввода/вывода :encoding(…). В скобках указывается название кодировки, разумеется, оно должно быть среди известных. В следующем примере программа читает по строкам файл input.txt в кодировке CP1251 и записывает его содержимое уже в кодировке CP866. Это простейший код, осуществляющий перекодировку.

Perl
open my $in, '<:encoding(CP1251)', 'input.txt';
open my $out, '>:encoding(CP866)', 'output.txt';

print {$out} $_ while <$in>;

close $out;
close $in;