Компьютерное

Если есть необходимость регулярно удалять старые письма, и на сервере в качестве почтового сервера используется Dovecot, то можно прописать в cron такую команду:
мин час * * * /usr/bin/doveadm expunge -u пользователь mailbox ящик savedbefore период
Например, так 0 4 * * * /usr/bin/doveadm expunge -u nospam@4xpro.ru mailbox Inbox savedbefore 30d
Типичные значения для ящика: Inbox (Входящие), Outbox (Исходящие), Trash (Корзина), Spam.
Так же есть возможность выполнить команду для всех пользователей, использовав вместо -u пользователь аргумент -A.

Недавно столкнулся, что на одном сервере certbot перестал обновлять сертификаты. Стал разбираться, в чём дело, и обнаружил, что происходит это из-за того, что все домены, которые обслуживает сервер, были прописаны в одном сертификате как aliasы, а потом один из поддоменов перенесли на другой сервер. В результате не проходила проверка владением домена (request challenge).
Возник вопрос, как удалить этот alias, чтобы сертификат продолжал обновляться для всех остальных доменов. Как выяснилось, готовой команды «перегенирировать сертификат для всех aliasов, кроме указанного» нет. Нужно вручную указывать все домены, кроме ненужного. Делается это так:
sudo certbot certificates
Там смотрим имя сертификата после строки Certificate Name: далее — список доменов для него после Domains.
Копируем этот список, заменяем пробелы на запятые, убираем ненужный домен. После этого запускаем команду
sudo certbot --cert-name имя_сертификата -d список_доменов
После этого certbot отработал нормально, новый сертификат сгенерировался без проблем.

Пару раз сталкивался с тем, что GRUB переставал работать, проваливаясь в выдавая ошибки вроде grub error symbol grub_disk_native_sectors not found. Чаще всего такое случается при некорректном обновлении, когда основная часть загрузчика (установленная в загрузочный сектор) обновилась, а модули в /boot/grub — нет, или наоборот, но могут быть и другие причины.
Что делать в таких случаях. Во-первых, можно попытаться загрузить Linux вручную с помощью команд:
insmod linux set root=/dev/sdaX linux /boot/vmlinuz-y.z-u-generic root=/dev/sdaX initrd /boot/initrd.img-y.z-u-generic boot
Вместо sdaX нужно указать свой раздел (например, /dev/sda1) , а вместо y.z-u-generic — свою версию ядра. Её можно посмотреть с помощью команды ls. Сначала ls покажет список устройств, которые видит grub вида (hd0,msdos1), (hd0,msdos2), (hd1). Дальше нужно повторить ls для каталога /boot с указанием имени устройства перед ним. Т.е. ls (hd0,msdos1)/boot. Дальше выбрать подходящий файл vmlinuz и соответствующий ему initrd (они должны быть одинаковой версии).
Однако в случае повреждения некоторых модулей GRUB такое не работает, начинаются ошибки после команд insmod или linux. Тогда есть два варианта. Либо найти установочный диск/флешку той же версии системы, что установлена на компьютере, и загрузиться с неё. Но загрузочный образ может быть весьма большим, поэтому может оказаться проще использовать другое решение — SuperGrub 2 Disk. Это крошечный образ ISO (менее 20 Мб), в котором есть только загрузчик GRUB с таким файлом конфигурации, который умеет автоматически находить операционные системы на всех доступных разделах, и начинать процесс загрузки. Очень удобно, если нужно чинить GRUB на удалённом сервере с возможностью монтирования ISO через KVM.
После того, как загрузиться удалось, нужно переустановить GRUB командой
sudo grub-install /dev/sdaX
В Debian-подобных системах имеет смысл также обновить файл конфигурации GRUB с помощью команды sudo update-grub.

Наконец-то нашёл приемлемое решение для переключения по CapsLock под Windows 10, которое может заменить ReCaps или CapsLang — приложение Switchy с открытым исходным кодом (скачивать надо на странице Releases). Написано на чистом WinAPI с EXE-файлом всего в 12 Kb. Запускать нужно с параметром nopopup, иначе при каждом переключении будет мелькать раздражающее окно с индикацией раскладки. Корректно работает даже в WSL и современных Windows-приложениях. В общем, именно таким и должен быть софт!

Несколько лет назад я писал заметку о том, как определить мобильный броузер с помощью регулярного выражения для User Agent. Однако в современных броузерах на основе Chrome появился дополнительный и более простой механизм: при обращении к сайту эти броузеры передают специальные заголовки Sec-CH-UA-Mobile и Sec-CH-UA-Platform. В первом приходит значение ?0 для desktop-версии и ?1 для мобильной, во втором — платформа в виде одной из строк: "Android", "Chrome OS", "Chromium OS", "iOS", "Linux", "macOS", "Windows" или "Unknown".
В PHP эти заголовки можно получить как $_SERVER['HTTP_SEC_CH_UA_MOBILE'] и $_SERVER['HTTP_SEC_CH_UA_PLATFORM'] соответственно. (Буквы должны быть именно заглавными.)
Данный механизм поддерживается с 89 версии Chrome, но всё ещё имеет статус экспериментального. В Firefox и Safari поддержка на данный момент, по данным CanIUse, отсутствует.

С помощью уже упоминавшегося класса IntlBreakIterator можно легко выделить из текста хеш-теги. Для этого создадим итератор не по предложениям, а по словам с помощью: createWordInstance. Итерация с помощью IntlBreakIterator выдаёт смещения границ слов, что в данном случае не очень удобно. Поэтому воспользуемся методом IntlBreakIterator::getPartsIterator. Он создаёт ещё один итератор, который возвращает уже непосредственно сами слова. Далее, когда встретится символ # (он в режиме WordInstance считается отдельным словом), запоминаем этот факт и следующее слово обрабатываем как хеш-тег.

Вот пример кода:
function getHashTags($text) { $breaker =IntlBreakIterator::createWordInstance('ru_RU'); $breaker->setText($text); $iterator = $breaker->getPartsIterator(); $hashtags = array(); $mode = false; // теперь в $item будут сами слова, а не их смещения foreach ($iterator as $item) { // выставляем $mode в TRUE, если следующее слово нужно обработать как хеш-тег if ($item==='#') $mode=true; elseif ($mode && trim($item) && mb_strlen($item)>1) { // ряд дополнительных проверок, чтобы в хеш-теги не попадал мусор $hashtags[] = mb_strtolower($item); // обработка закочена, поэтому сбрасываем $mode до тех пор, пока не попадётся новый символ # $mode = false; } else $mode=false; } return $hashtags; }
Проверка mb_strlen($item)>1 нужна для отработки случаев вида #! #;,так как в этом случае знаки препинания рассматриваются как отдельные слова. Кроме того, хештеги из одной буквы обычно не имеют смысла.

При создании скриптов для новостей или блогов часто требуется автоматически сформировать анонс из нескольких первых предложений полного текста, не превышающий определённой длины. Типичный подход для этих целей — это выделить с помощью mb_substr начальную часть текста нужной длины, а потом обрезать получившуюся часть до последней точки.

Но не все знают, что с версии 5.5 в PHP в модуле intl предусмотрен специальный класс IntlBreakIterator, который позволяет решать эту задачу более эффективно. У него есть несколько статических методов для создания итераторов, позволяющих выделять границы отдельных символов (createCharacterInstance), слов (createTitleInstance и createWordInstance, первый выделяет слова с включением пробелов и знаков препинания после них, второй — рассматривает пробелы и знаки препинания как отдельные слова) и целых предложений (createSentenceInstance). Для нашей задачи потребуется последний.

Далее всё просто: создаём экземпляр этого класса, передаём ему текст и получаем смещение конца ближайшего предложения с помощью методов preceding (ближайшая граница до нужной длины) и following (ближайшая граница после):
$test = 'Это тестовый текст. Текст длинный! И с многоточиями… Но нужно лишь только несколько начальных предложений. '; // задаём длину анонса $max_length = 80; // создаём экземпляр класса и указываем локаль для русского языка $breaker =IntlBreakIterator::createSentenceInstance('ru_RU'); // задаём текст для обработки $breaker->setText($test); // получаем ближайшую границу предложения перед указанной в $max_length позицией $offset = $breaker->preceding($max_length); // если оказалось, что первое предложение больше требуемой длины, берём его целиком, иначе анонс будет пустым if ($offset==0) $breaker->following($max_length); // выделяем начало текста $summary = substr($test,0,$offset); // выводим то, что получилось print $summary;
Важно: IntlBreakIterator возвращает смещения в байтах, поэтому для выделения строки нужно использовать substr, а не mb_substr!

Иногда при работе с изображением с помощью PHP GD может потребоваться сохранить его в строку, а не файл. Например, такое может потребоваться для вывода картинки прямо в коде страницы в формате base64-encoded.
Первое что приходит в голову — это использовать ob_start для создания дополнительного буфера вывода, вывести изображение в него, и дальше получить изображение через ob_get_clean(). Но, как выяснилось, на практике это не работает должным образом — возвращается пустая строка. Возможно, проблема в нулевых байтах или в том, что в строке есть последовательности, которые с точки зрения utf-8 являются некорректными.
Но, как выяснилось, в PHP есть другое решение: открытие файла в памяти (в качестве имени файла нужно указать "php://memory") и работа с ним как с потоком. В этом случае можно добавить стандартный потоковый фильтр, кодирующий данные в base64 на лету. Это даёт возможность избежать проблем с бинарной строкой, описанных выше. Получаем такой код:
function jpeg_to_string($img, $jpeg_quality=80) {   $stream = fopen("php://memory", "w+"); // открываем поток в памяти   stream_filter_append($stream, 'convert.base64-encode', STREAM_FILTER_WRITE); //добавляем фильтр   imagejpeg($img, $stream, $jpeg_quality); // сам вывод картинки   rewind($stream); // возвращаемся к началу потока   $data = stream_get_contents($stream); // читаем содержимое потока в строку   fclose($stream);      return $data; }

Есть в Яндекс.Вебмастере такая функция как индексация на основе обхода по счётчикам Метрики. На первый взгляд, достаточно безобидная, и Вебмастер активно уговаривает её включить. Но, на самом деле для качественно сделанного сайта она скорее вредна, чем полезна.
Во-первых, из-за неё может проиндексироваться то, что для индексации вовсе не предназначено, если забыть закрыть это в robots.txt. Например, на этом сайте таким объектом могли бы стать прикреплённые в закрытых разделах форума файлы, так как доступ к ним осуществляется по URL с секретной частью.
Во-вторых, сегодня обнаружил, что несколько дней назад в Яндекс добавилось большое количество новых страниц, которые затем из поиска были выброшены как дубли. Стал разбираться, в чём дело, и обнаружилось, что добавилось большое количество страниц со странными параметрами в URL вроде ?aazw46f13t=aazw46f13t. Судя по всему, кто-то прогнал сайт через сканер безопасности, а Метрика отследила все такие заходы и отправила такие страницы на индексацию, что с точки зрения SEO никакой пользы не несёт. Конечно, от этого можно защититься через указание правильного адреса страницы через canonical-адрес (тег <link rel="canonical" href="URL">).
При этом если сайт сделан качественно, то есть все ссылки доступны поисковому роботу либо на страницах самого сайта, либо через sitemap.xml, индексация по Метрике никакой пользы не даёт. Поэтому, видимо, у себя на сайтах буду держать её выключенной.

Как известно, любой текст, который вводится пользователем и затем отображается на сайте, нужно обезопасить от XSS-атак — вставок JavaScript, которые могут украсть идентификатор сессии или совершить какие-либо нежелательные действия от имени пользователя.  Если текст не предполагает сложного форматирования, то сделать это достаточно легко: пропустить его через функцию htmlspecialchars, которая экранирует все небезопасные символы и превратит HTML в обычный текст. Но как быть, если пользователю нужно разрешить использовать форматирование текста, например, вставку картинок, ссылок, текста с курсивом и жирным начертанием, видео?

Первое, что приходит в голову — это воспользоваться функцией strip_tags со списком разрешённых тегов. Увы, эта функция имеет существенный недостаток: если тег разрешён, то она позволяет использовать в нём любые атрибуты, в том числе и атрибуты обаботчиков событий (onclick, onmouseover и так далее), на которые легко можно повесить вредоносный код.

Другой вариант — это использование специальных языков разметки, например, BBCode или Markdown, которые затем преобразовывать в HTML. Главный недостаток такого подхода — в том, что это существенно сужает выбор WYSIWYG-редакторов, так как далеко не в каждом из них есть поддержка этих языков.
Поэтому приходится прибегать к другому решению — использованию расширения DOM и удалению все тех тегов и атрибутов, которых нет в белом списке. Для начала решим, как будем задавать этот белый список. На мой взгляд, самый эффективный вариант — это хеш-массив, где ключи — это теги, а значения — массивы разрешённых для тега атрибутов (в примерах кода дальше будем считать, что он лежит в $tags, а HTML-код для очистки — в HTML)
Для начала просто удалим все те теги, которых нет в списке разрешённых, с помощью функции strip_tags:
$html = strip_tags($html,'<'.join('><',array_keys($tags)).'>');
Теперь загрузим HTML-код в объект DOMDocument и создадим объект XPath для поиска атрибутов тегов и выполним этот поиск:
$html = mb_encode_numericentity($html, [0x80, 0x10FFFF, 0, ~0], 'UTF-8'); // без этого не будет корректно работать с UTF-8 if (!class_exists('DOMDocument')) throw new Exception('DOM extension not loaded!'); $dom = new DOMDocument(); $dom->formatOutput = false; $dom->loadHTML($html,LIBXML_NONET|LIBXML_HTML_NOIMPLIED|LIBXML_HTML_NODEFDTD); $xpath = new DOMXPath($dom); $nodes = $xpath->query('//@*');
В переменной $nodes лежит список таких узлов-атрибутов. Пройдёмся по ним и проверим, есть ли тег (на него указывает $node->parentNode->nodeName) в списке разрешённых тегов и есть ли сам атрибут ( $node->nodeName) в списке разрешённых атрибутов для этго тега. Если его там не будет, обратимся к родительскому элементу через $node->parentNode и вызовем метод removeAttribute для его удаления.
foreach ($nodes as $node) {   $tagname = $node->parentNode->nodeName;   if (!empty($tags[$tagname])) {     $attrs = $tags[$tagname];     $attrname = $node->nodeName;     if (!in_array($attr_name,$attrs)) $node->parentNode->removeAttribute($attrname);   } }
Теперь осталась ещё одна задача: проверить атрибуты href и src на наличие адресов вида javascript:alert('Небезопасно'). Для этого найдём с помощью XPath все атрибуты href и src, и проверим, какой протокол для ссылок используется. Если там есть слово script (так как кроме javascript, можно использовать ещё и vbscript), будем считать такую ссылку небезопасной и заменим её на безопасное значение "#":
    $links = $xpath->query('//@href|//@src');     foreach ($links as $link) {       $scheme = parse_url($link->textContent,PHP_URL_SCHEME);       if (strpos(strtolower($scheme),'script')!==false) {                $link->nodeValue='#'; // removing dangerous link address       }     }
   
Теперь осталось только сохранить обработанный HTML-код из DOM-дерева обратно в строку:
$html = $dom->saveHTML();
Посмотреть полный код, оформленный в виде класса HTMLCleaner со статическим методом clean, можно в приложенном файле. В этом же классе определён набор констант с наиболее часто требующимися тегами и их атрибутами: TAGS_MINIMUM — только a и img, TAGS_MEDIA — для мультимедиа-тегов audio и video, TAGS_INLINE — для самых частых строчных тегов оформления, TAGS_FORMAT — для типичных блочных тегов. При необходимости их можно объединять через операцию +.