Портрет 4X_Pro
Был в Сети 17 апр. 2024 г., 02:37
Мультиблог
4X_Pro
Кратко о себе: Web-разработчик. Пишу на PHP, Python, JavaScript. Знаю Ruby и Go, со студенческих времён более-менее помню C и asm. Сейчас специализируюсь на ускорении загрузки сайтов и разработке ботов для Telegram. Linuxоид (использую Debian+LXDE). Сторонник IndieWeb.

Социальные сети


Новости сайта в Telegram

t.me/4x_pro

Компьютерное

Переключение по CapsLock в Windows 10 с помощью Switchy

4X_Pro
Наконец-то нашёл приемлемое решение для переключения по CapsLock под Windows 10, которое может заменить ReCaps или CapsLang — приложение Switchy с открытым исходным кодом (скачивать надо на странице Releases). Написано на чистом WinAPI с EXE-файлом всего в 12 Kb. Запускать нужно с параметром nopopup, иначе при каждом переключении будет мелькать раздражающее окно с индикацией раскладки. Корректно работает даже в WSL и современных Windows-приложениях. В общем, именно таким и должен быть софт!

Заголовки Sec-CH-UA-Mobile и HTTP_SEC_CH_UA_PLATFORM

4X_Pro
Несколько лет назад я писал заметку о том, как определить мобильный броузер с помощью регулярного выражения для User Agent. Однако в современных броузерах на основе Chrome появился дополнительный и более простой механизм: при обращении к сайту эти броузеры передают специальные заголовки Sec-CH-UA-Mobile и Sec-CH-UA-Platform. В первом приходит значение ?0 для desktop-версии и ?1 для мобильной, во втором — платформа в виде одной из строк: "Android", "Chrome OS", "Chromium OS", "iOS", "Linux", "macOS", "Windows" или "Unknown".
В PHP эти заголовки можно получить как $_SERVER['HTTP_SEC_CH_UA_MOBILE'] и $_SERVER['HTTP_SEC_CH_UA_PLATFORM'] соответственно. (Буквы должны быть именно заглавными.)
Данный механизм поддерживается с 89 версии Chrome, но всё ещё имеет статус экспериментального. В Firefox и Safari поддержка на данный момент, по данным CanIUse, отсутствует.

Выделение хештегов из текста

4X_Pro
С помощью уже упоминавшегося класса IntlBreakIterator можно легко выделить из текста хеш-теги. Для этого создадим итератор не по предложениям, а по словам с помощью: createWordInstance. Итерация с помощью IntlBreakIterator выдаёт смещения границ слов, что в данном случае не очень удобно. Поэтому воспользуемся методом IntlBreakIterator::getPartsIterator. Он создаёт ещё один итератор, который возвращает уже непосредственно сами слова. Далее, когда встретится символ # (он в режиме WordInstance считается отдельным словом), запоминаем этот факт и следующее слово обрабатываем как хеш-тег.

Вот пример кода:
function getHashTags($text) { $breaker =IntlBreakIterator::createWordInstance('ru_RU'); $breaker->setText($text); $iterator = $breaker->getPartsIterator(); $hashtags = array(); $mode = false; // теперь в $item будут сами слова, а не их смещения foreach ($iterator as $item) { // выставляем $mode в TRUE, если следующее слово нужно обработать как хеш-тег if ($item==='#') $mode=true; elseif ($mode && trim($item) && mb_strlen($item)>1) { // ряд дополнительных проверок, чтобы в хеш-теги не попадал мусор $hashtags[] = mb_strtolower($item); // обработка закочена, поэтому сбрасываем $mode до тех пор, пока не попадётся новый символ # $mode = false; } else $mode=false; } return $hashtags; }
Проверка mb_strlen($item)>1 нужна для отработки случаев вида #! #;,так как в этом случае знаки препинания рассматриваются как отдельные слова. Кроме того, хештеги из одной буквы обычно не имеют смысла.

Автоматическое создание анонса текста на PHP

4X_Pro
При создании скриптов для новостей или блогов часто требуется автоматически сформировать анонс из нескольких первых предложений полного текста, не превышающий определённой длины. Типичный подход для этих целей — это выделить с помощью mb_substr начальную часть текста нужной длины, а потом обрезать получившуюся часть до последней точки.

Но не все знают, что с версии 5.5 в PHP в модуле intl предусмотрен специальный класс IntlBreakIterator, который позволяет решать эту задачу более эффективно. У него есть несколько статических методов для создания итераторов, позволяющих выделять границы отдельных символов (createCharacterInstance), слов (createTitleInstance и createWordInstance, первый выделяет слова с включением пробелов и знаков препинания после них, второй — рассматривает пробелы и знаки препинания как отдельные слова) и целых предложений (createSentenceInstance). Для нашей задачи потребуется последний.

Далее всё просто: создаём экземпляр этого класса, передаём ему текст и получаем смещение конца ближайшего предложения с помощью методов preceding (ближайшая граница до нужной длины) и following (ближайшая граница после):
$test = 'Это тестовый текст. Текст длинный! И с многоточиями… Но нужно лишь только несколько начальных предложений. '; // задаём длину анонса $max_length = 80; // создаём экземпляр класса и указываем локаль для русского языка $breaker =IntlBreakIterator::createSentenceInstance('ru_RU'); // задаём текст для обработки $breaker->setText($test); // получаем ближайшую границу предложения перед указанной в $max_length позицией $offset = $breaker->preceding($max_length); // если оказалось, что первое предложение больше требуемой длины, берём его целиком, иначе анонс будет пустым if ($offset==0) $breaker->following($max_length); // выделяем начало текста $summary = substr($test,0,$offset); // выводим то, что получилось print $summary;
Важно: IntlBreakIterator возвращает смещения в байтах, поэтому для выделения строки нужно использовать substr, а не mb_substr!

Сохранение JPEG в строку, а не файл с помощью PHP GD

4X_Pro
Иногда при работе с изображением с помощью PHP GD может потребоваться сохранить его в строку, а не файл. Например, такое может потребоваться для вывода картинки прямо в коде страницы в формате base64-encoded.
Первое что приходит в голову — это использовать ob_start для создания дополнительного буфера вывода, вывести изображение в него, и дальше получить изображение через ob_get_clean(). Но, как выяснилось, на практике это не работает должным образом — возвращается пустая строка. Возможно, проблема в нулевых байтах или в том, что в строке есть последовательности, которые с точки зрения utf-8 являются некорректными.
Но, как выяснилось, в PHP есть другое решение: открытие файла в памяти (в качестве имени файла нужно указать "php://memory") и работа с ним как с потоком. В этом случае можно добавить стандартный потоковый фильтр, кодирующий данные в base64 на лету. Это даёт возможность избежать проблем с бинарной строкой, описанных выше. Получаем такой код:
function jpeg_to_string($img, $jpeg_quality=80) {   $stream = fopen("php://memory", "w+"); // открываем поток в памяти   stream_filter_append($stream, 'convert.base64-encode', STREAM_FILTER_WRITE); //добавляем фильтр   imagejpeg($img, $stream, $jpeg_quality); // сам вывод картинки   rewind($stream); // возвращаемся к началу потока   $data = stream_get_contents($stream); // читаем содержимое потока в строку   fclose($stream);      return $data; }

О вреде включения индексации на основе обхода по счётчикам

4X_Pro
Есть в Яндекс.Вебмастере такая функция как индексация на основе обхода по счётчикам Метрики. На первый взгляд, достаточно безобидная, и Вебмастер активно уговаривает её включить. Но, на самом деле для качественно сделанного сайта она скорее вредна, чем полезна.
Во-первых, из-за неё может проиндексироваться то, что для индексации вовсе не предназначено, если забыть закрыть это в robots.txt. Например, на этом сайте таким объектом могли бы стать прикреплённые в закрытых разделах форума файлы, так как доступ к ним осуществляется по URL с секретной частью.
Во-вторых, сегодня обнаружил, что несколько дней назад в Яндекс добавилось большое количество новых страниц, которые затем из поиска были выброшены как дубли. Стал разбираться, в чём дело, и обнаружилось, что добавилось большое количество страниц со странными параметрами в URL вроде ?aazw46f13t=aazw46f13t. Судя по всему, кто-то прогнал сайт через сканер безопасности, а Метрика отследила все такие заходы и отправила такие страницы на индексацию, что с точки зрения SEO никакой пользы не несёт. Конечно, от этого можно защититься через указание правильного адреса страницы через canonical-адрес (тег <link rel="canonical" href="URL">).
При этом если сайт сделан качественно, то есть все ссылки доступны поисковому роботу либо на страницах самого сайта, либо через sitemap.xml, индексация по Метрике никакой пользы не даёт. Поэтому, видимо, у себя на сайтах буду держать её выключенной.

Выборочная очистка HTML

4X_Pro
Как известно, любой текст, который вводится пользователем и затем отображается на сайте, нужно обезопасить от XSS-атак — вставок JavaScript, которые могут украсть идентификатор сессии или совершить какие-либо нежелательные действия от имени пользователя.  Если текст не предполагает сложного форматирования, то сделать это достаточно легко: пропустить его через функцию htmlspecialchars, которая экранирует все небезопасные символы и превратит HTML в обычный текст. Но как быть, если пользователю нужно разрешить использовать форматирование текста, например, вставку картинок, ссылок, текста с курсивом и жирным начертанием, видео?

Первое, что приходит в голову — это воспользоваться функцией strip_tags со списком разрешённых тегов. Увы, эта функция имеет существенный недостаток: если тег разрешён, то она позволяет использовать в нём любые атрибуты, в том числе и атрибуты обаботчиков событий (onclick, onmouseover и так далее), на которые легко можно повесить вредоносный код.

Другой вариант — это использование специальных языков разметки, например, BBCode или Markdown, которые затем преобразовывать в HTML. Главный недостаток такого подхода — в том, что это существенно сужает выбор WYSIWYG-редакторов, так как далеко не в каждом из них есть поддержка этих языков.
Поэтому приходится прибегать к другому решению — использованию расширения DOM и удалению все тех тегов и атрибутов, которых нет в белом списке. Для начала решим, как будем задавать этот белый список. На мой взгляд, самый эффективный вариант — это хеш-массив, где ключи — это теги, а значения — массивы разрешённых для тега атрибутов (в примерах кода дальше будем считать, что он лежит в $tags, а HTML-код для очистки — в HTML)
Для начала просто удалим все те теги, которых нет в списке разрешённых, с помощью функции strip_tags:
$html = strip_tags($html,'<'.join('><',array_keys($tags)).'>');
Теперь загрузим HTML-код в объект DOMDocument и создадим объект XPath для поиска атрибутов тегов и выполним этот поиск:
$html = mb_encode_numericentity($html, [0x80, 0x10FFFF, 0, ~0], 'UTF-8'); // без этого не будет корректно работать с UTF-8 if (!class_exists('DOMDocument')) throw new Exception('DOM extension not loaded!'); $dom = new DOMDocument(); $dom->formatOutput = false; $dom->loadHTML($html,LIBXML_NONET|LIBXML_HTML_NOIMPLIED|LIBXML_HTML_NODEFDTD); $xpath = new DOMXPath($dom); $nodes = $xpath->query('//@*');
В переменной $nodes лежит список таких узлов-атрибутов. Пройдёмся по ним и проверим, есть ли тег (на него указывает $node->parentNode->nodeName) в списке разрешённых тегов и есть ли сам атрибут ( $node->nodeName) в списке разрешённых атрибутов для этго тега. Если его там не будет, обратимся к родительскому элементу через $node->parentNode и вызовем метод removeAttribute для его удаления.
foreach ($nodes as $node) {   $tagname = $node->parentNode->nodeName;   if (!empty($tags[$tagname])) {     $attrs = $tags[$tagname];     $attrname = $node->nodeName;     if (!in_array($attr_name,$attrs)) $node->parentNode->removeAttribute($attrname);   } }
Теперь осталась ещё одна задача: проверить атрибуты href и src на наличие адресов вида javascript:alert('Небезопасно'). Для этого найдём с помощью XPath все атрибуты href и src, и проверим, какой протокол для ссылок используется. Если там есть слово script (так как кроме javascript, можно использовать ещё и vbscript), будем считать такую ссылку небезопасной и заменим её на безопасное значение "#":
    $links = $xpath->query('//@href|//@src');     foreach ($links as $link) {       $scheme = parse_url($link->textContent,PHP_URL_SCHEME);       if (strpos(strtolower($scheme),'script')!==false) {                $link->nodeValue='#'; // removing dangerous link address       }     }
   
Теперь осталось только сохранить обработанный HTML-код из DOM-дерева обратно в строку:
$html = $dom->saveHTML();
Посмотреть полный код, оформленный в виде класса HTMLCleaner со статическим методом clean, можно в приложенном файле. В этом же классе определён набор констант с наиболее часто требующимися тегами и их атрибутами: TAGS_MINIMUM — только a и img, TAGS_MEDIA — для мультимедиа-тегов audio и video, TAGS_INLINE — для самых частых строчных тегов оформления, TAGS_FORMAT — для типичных блочных тегов. При необходимости их можно объединять через операцию +.

Немного о заголовках в PHP

4X_Pro
Те, кто занимается разработкой на PHP уже давно и не использует frameworks, наверное, не раз сталкивались с необходимостью правильно выводить код HTTP-ответа с правильной версией протокола и текстовым описанием (например, Ok для 200, Not Found для 404 и т.д.).
Раньше для этих целей приходилось писать множество проверок условий вида:
if ($status==200) header($_SERVER['HTTP_PROTOCOL'].' 200 Ok'); elseif ($status==404) header($_SERVER['HTTP_PROTOCOL'].' 404 Not Found'); // elseif обработка других статусов.
Задача эта совершенно рутинная, и возникает вопрос, неужели нельзя это сделать средствами самого языка PHP. Как выяснилось, ещё в версии 5.4 такая возможность появилась — это функция http_response_code, которой достаточно передать числовой код статуса ответа. Например, если вызвать http_response_code(404), то сервер автоматически сгенерирует заголовок HTTP/1.1 404 Not Found (если запрос был по протоколу HTTP 1.1). Также можно вызвать функцию без параметров, чтобы получить код, который был установлен до этого (по умолчанию он равен 200). Так что теперь выдача заголовка сводится к всего одной строчке кода!
Кроме того, в той же версии появилась ещё одна полезная функция: header_register_callback. Эта функция позволяет устанавливать обработчик, который будет вызван перед отправкой HTTP-заголовков клиенту. В нём можно использовать функции headers_list для получения списка подготовленных заголовков и header_remove для удаления тех, которые требуется исключить из отправки.

Если Windows не видит NVMе-накопитель

4X_Pro
При установке Windows 10 на ноутбуки с процессорами Intel последних поколений NVMe-накопителем часто возникает ситуация, когда установщик Windows не показывает ни одного раздела, куда можно произвести установку. Объясняется это тем, что тем, что в чипсетах для процессоров 11 и более поздних поколений для работы с NVMe используется технология VMD. Для её работы BIOS (точнее, UEFI) подменяет реальные контроллеры NVMe на контроллер RST VMD. Но драйвера для него в дистрибутиве Windows 10 отсутствуют, поэтому установщик и не видит накопителя.
Решить эту ситуацию можно двумя способами. Первый — зайти в BIOS и отключить использование технологии VMD (в ноутбуках от неё всё равно пользы немного). Второй — это на другом компьютере скачать драйвер RST VMD либо с сайта Intel (но он сейчас скачивание недоступно без VPN), либо с сайта какого-либо производителя ноутбуков, например, Lenovo (драйвер от производителя не зависит и должен подойти к любым ноутбукам). Далее нужно запустить скачаный EXE-файл, выбрать Extract вместо Install и распаковать драйвера на флешку (можно на флешку с дистрибутивом самого Windows, можно на отдельную). Далее начать установку Windows 10, на этапе выбора раздела нажать кнопку "Загрузить" и там указать путь к драйверу на флешке. После этого установщик должен написать, что найдено устройство Intel RST VMD, загрузить драйвер и найти раздел (возможно, потребуется нажать кнопку "Обновить"). Дальше установка должна пройти без проблем.

Часовой пояс в ботах для Telegram

4X_Pro
Часто при разработке ботов для Telegram требуется учитывать информацию о часовом поясе пользователя. К сожалению, получить её через Bot API невозможно, поэтому предусматривать в боте команду, с помощью которой пользователь сможет указать, какой часовой пояс он использует. И тут возникает вопрос, как лучше это сделать, чтобы пользователю было удобно. Если бот ориентирован только на российских пользователей, вопрос решается просто: выводим список всех часовых поясов России, пользователь выбирает нужный, и бот сохраняет выбор в базу данных.
Но как быть, если пользователи могут быть из других стран? Выводить огромный список из более чем сотни часовых поясов — крайне неудобно. Требовать от пользователя вручную написать название его часового пояса в формате Europe/Moscow или хотя бы MSK — тоже не самое лучшее решение. Можно предложить указать смещение в формате ±ЧЧ:ММ, но тогда нельзя будет учесть переход на летнее время.

В поисках более удобного решения я наткнулся на модули tzwhere и geopy. Первый позволяет определить часовой пояс для того или иного местоположения, заданного с помощью координат. Второй — получить эти самые координаты по названию города, причём позволяет это делать через Google Maps API, API Яндекс.Карт и ещё почти десяток сервисов. Я решил использовать Nominatim (это сервис Open Street Maps), так как он не требует получения tokenа, в отличие от Яндекс и Google, и при этом понимает названия городов и на английском языке, и на русском.
В итоге код определения часового пояса выглядит примерно так:
import geopy from tzwhere import tzwhere import datetime import pytz def get_timezone(bot,chat_id,city): geo = geopy.geocoders.Nominatim(user_agent="SuperMon_Bot") location = geo.geocode(city) # преобразуе if location is None: bot.send_message(chat_id,"Не удалось найти такой город. Попробуйте написать его название латиницей или указать более крупный город поблизости.") else: tzw = tzwhere.tzwhere() timezone_str = tzw.tzNameAt(location.latitude,location.longitude) # получаем название часового пояса tz = pytz.timezone(timezone_str) tz_info = datetime.datetime.now(tz=tz).strftime("%z") # получаем смещение часового пояса tz_info = tz_info[0:3]+":"+tz_info[3:] # приводим к формату ±ЧЧ:ММ bot.send_message(chat_id,"Часовой пояс установлен в %s (%s от GMT)." % (timezone_str,tz_info)) # здесь должно быть сохранение выбранной строки в БД return timezone_str
Приведение даты к нужному часовому поясу перед выводом пользователю делается либо с помощью метода tz.localize(dt) (для так называемых naive date, то есть не содержащих информацию о часовом поясе), либо с помощью метода dt.astimezone(tz), где dt — объект класса datetime, а tz — timezone.

Страницы:
Задать вопрос

Здесь можно задать мне вопрос или спросить совета по любой теме, затронутой в блогах или на форуме. После того, как я отвечу, вопрос и ответ появятся в соответствующем разделе. Но не забываем, что я — сторонник slow life, поэтому каких-либо сроков ответов не обещаю. Самые интересные вопросы станут основой для новых тем на форуме или записей в блоге.
Сразу предупреждаю: глупости, провокации, троллинг и тому подобное летит прямо в /dev/null.