Юникод: как программы работают с символами разных языков
Определение: Юникод (Unicode) — стандарт представления символов разных письменностей. Позволяет программам работать с кириллицей, латиницей, иероглифами и множеством других знаков.
Определение: Юникод (Unicode) — стандарт представления символов разных письменностей. Позволяет программам работать с кириллицей, латиницей, иероглифами и множеством других знаков.
3 мин чтения
Определение: Юникод (Unicode) — стандарт представления символов разных письменностей. Позволяет программам работать с кириллицей, латиницей, иероглифами и множеством других знаков.
Компьютеру нужно однозначно представлять текст, чтобы хранить, передавать и обрабатывать его. Если разные программы понимают одни и те же данные по-разному, вместо слов могут появиться нечитаемые сочетания знаков.
Стандарт задает общую систему кодовых позиций для символов и правила, связанные с обработкой текста. Это позволяет объединять в одном документе разные письменности, математические обозначения и другие знаки.
Для сайта такая совместимость важна в статьях, именах пользователей, адресах, сообщениях и данных, полученных из внешних сервисов.
Unicode определяет систему представления символов, а UTF-8 является одним из способов записи соответствующих кодовых позиций в байтах. Также существуют UTF-16 и UTF-32.
В UTF-8 разные кодовые позиции занимают разное количество байтов. Поэтому объем текста в байтах не равен числу букв, которые видит человек. Отличия способов кодирования важны при хранении, передаче и подсчете длины строк.
При обмене данными отправитель и получатель должны согласованно использовать и интерпретировать кодировку.
То, что человек воспринимает как один символ, не всегда соответствует одной кодовой позиции. Буква с дополнительным знаком может быть представлена последовательностью, а некоторые эмодзи состоят из нескольких связанных элементов.
Поэтому задача «обрезать текст до десяти символов» требует уточнения: считаются байты, кодовые позиции или воспринимаемые пользователем знаки. Неправильное разделение способно повредить отображение последнего элемента строки.
Это имеет практическое значение для ограничений в формах, сокращенных заголовков и счетчиков длины сообщения.
Корректное хранение еще не гарантирует наличие нужного изображения символа. Для отображения требуется шрифт, содержащий соответствующие знаки, и поддержка их обработки.
Если символ отсутствует в выбранном шрифте, система может использовать другой или показать обозначение отсутствующего знака. Такая проблема отличается от неправильного прочтения кодировки.
Поэтому при диагностике важно разделять два вопроса: правильно ли сохранены данные и может ли устройство их отобразить.
Поддержка текста должна сохраняться на всем пути: от формы ввода до базы данных, выгрузки и повторного открытия файла. Ошибка на одном этапе может испортить сведения даже при правильной настройке остальных частей.
Для проверки полезно использовать кириллицу, латиницу, знаки валют, буквы с дополнительными отметками и эмодзи, если они разрешены продуктом. Затем нужно убедиться, что значения сохраняются, находятся через поиск и возвращаются без изменений.
Также следует учитывать визуально похожие буквы разных письменностей: внешнее сходство не означает одинаковые кодовые позиции. Корректная работа с текстом требует внимания не только к отображению, но и к сравнению, поиску и проверке введенных значений.
Продолжайте разбираться — соседние термины глоссария.
В базе знаний собраны инструкции, документы и ответы на частые вопросы.
Мы используем обязательные cookie для работы сайта hosthub.ru, авторизации, корзины и безопасности. С вашего согласия подключим Яндекс.Метрику для анализа посещений и улучшения сайта. До согласия аналитика выключена. Нажимая «Принять все», вы даете отдельное согласие на обработку данных для аналитики. Отказаться от нее можно кнопкой «Отклонить необязательные», выбрать параметры - через «Настроить». Изменить решение можно в любое время через «Настройки cookie» внизу сайта. Закрытие уведомления или продолжение просмотра согласием не считается.
Аналитика сейчас не подключена. Выбор можно изменить в настройках cookie.
Политика использования файлов cookie Согласие на обработку данных для аналитики
Аналитика сейчас не подключена. Выбор можно изменить в настройках cookie.
Политика использования файлов cookie Согласие на обработку данных для аналитики