HostHub
Термин глоссария

Юникод

Определение

Определение: Юникод (Unicode) — стандарт представления символов разных письменностей. Позволяет программам работать с кириллицей, латиницей, иероглифами и множеством других знаков.

3 мин чтения

Юникод: как программы работают с символами разных языков

Определение: Юникод (Unicode) — стандарт представления символов разных письменностей. Позволяет программам работать с кириллицей, латиницей, иероглифами и множеством других знаков.

Какую задачу решает стандарт

Компьютеру нужно однозначно представлять текст, чтобы хранить, передавать и обрабатывать его. Если разные программы понимают одни и те же данные по-разному, вместо слов могут появиться нечитаемые сочетания знаков.

Стандарт задает общую систему кодовых позиций для символов и правила, связанные с обработкой текста. Это позволяет объединять в одном документе разные письменности, математические обозначения и другие знаки.

Для сайта такая совместимость важна в статьях, именах пользователей, адресах, сообщениях и данных, полученных из внешних сервисов.

Чем стандарт отличается от UTF-8

Unicode определяет систему представления символов, а UTF-8 является одним из способов записи соответствующих кодовых позиций в байтах. Также существуют UTF-16 и UTF-32.

В UTF-8 разные кодовые позиции занимают разное количество байтов. Поэтому объем текста в байтах не равен числу букв, которые видит человек. Отличия способов кодирования важны при хранении, передаче и подсчете длины строк.

При обмене данными отправитель и получатель должны согласованно использовать и интерпретировать кодировку.

Почему один видимый знак может состоять из нескольких частей

То, что человек воспринимает как один символ, не всегда соответствует одной кодовой позиции. Буква с дополнительным знаком может быть представлена последовательностью, а некоторые эмодзи состоят из нескольких связанных элементов.

Поэтому задача «обрезать текст до десяти символов» требует уточнения: считаются байты, кодовые позиции или воспринимаемые пользователем знаки. Неправильное разделение способно повредить отображение последнего элемента строки.

Это имеет практическое значение для ограничений в формах, сокращенных заголовков и счетчиков длины сообщения.

Почему правильный текст иногда отображается квадратиками

Корректное хранение еще не гарантирует наличие нужного изображения символа. Для отображения требуется шрифт, содержащий соответствующие знаки, и поддержка их обработки.

Если символ отсутствует в выбранном шрифте, система может использовать другой или показать обозначение отсутствующего знака. Такая проблема отличается от неправильного прочтения кодировки.

Поэтому при диагностике важно разделять два вопроса: правильно ли сохранены данные и может ли устройство их отобразить.

Что проверять на сайте и при переносе данных

Поддержка текста должна сохраняться на всем пути: от формы ввода до базы данных, выгрузки и повторного открытия файла. Ошибка на одном этапе может испортить сведения даже при правильной настройке остальных частей.

Для проверки полезно использовать кириллицу, латиницу, знаки валют, буквы с дополнительными отметками и эмодзи, если они разрешены продуктом. Затем нужно убедиться, что значения сохраняются, находятся через поиск и возвращаются без изменений.

Также следует учитывать визуально похожие буквы разных письменностей: внешнее сходство не означает одинаковые кодовые позиции. Корректная работа с текстом требует внимания не только к отображению, но и к сравнению, поиску и проверке введенных значений.

Другие термины

Продолжайте разбираться — соседние термины глоссария.

Весь глоссарий

Остались вопросы по терминам?

В базе знаний собраны инструкции, документы и ответы на частые вопросы.

Открыть базу знаний

Обсудить задачу

Расскажите, что нужно сделать, — ответим и предложим решение.

  • Ответим в рабочее время
  • Подскажем подходящую услугу
  • Без обязательств: сначала обсудим задачу

Аналитика сейчас не подключена. Выбор можно изменить в настройках cookie.

Политика использования файлов cookie Согласие на обработку данных для аналитики