Очень нервный день
Ну и денёк сегодня! Началось всё с того, что проснувшись, я обнаружил несколько уведомлений от SiteKnockerBot, что перенесённые вчера сайты либо работают медленно, либо есть разовые перебои с доступностью. Решил, что проблема в каналах у хостера и начал было жалеть о том, что переехал к нему. Но на всякий случай решил зайти на сервер и глянуть, всё ли в порядке. Оказалось, что нет! Загрузка процессора была на уровне 90-96%.
Стал разбираться, и выяснилось, что когда техподдержка хостинга разблокировала сегодня утром SMTP-порт (он разблокируется только по заявке), начал работу антивирус clamav, который я поставил вместе с Hestia просто так, на всякий случай. Именно он и загрузил процессор так сильно. Я попытался остановить его через панель, потом — через systemctl, но безрезультано. В итоге разозлился и пошёл на крайние меры — apt purge. После этого и бот перестал сообщать о проблемах, и сайты визуально заработали быстрее.
Днём занимался настройкой почты. Теперь у меня всё по уму: почта с DKIM, DMARK и нормальным SSL-сертификатом от Let's Encrypt. Ещё обнаружил, что переход на новую версию PHP вызвал очень странный глюк Twig: он стал в каких-то случаях «съедать» пробелы возле конструкций {{ выражение }}. В частности, так случилось с формой ввода комментариев, из-за чего она стала отображаться некорректно: склеились два имени CSS-классов. Пришлось сделать жуткий костыль вида {{ ' ' }}, до которого додумался не сразу.
Вечером на связь вышел Corsico и сказал, что его сервер стал тормозить. По описанию было похоже на перегруз канала. Захожу на сервер, запускаю nload, и оказывается, что так и есть: исходящий траффик — 130 Мбит/с. Запускаю netstat и вижу большое количество соединений, большинство из которых нулевые (локальное обращение от nginx к Apache), но есть и к каким-то внешним адресам с просто огромным количеством переданных данных. Смотрю адреса через WhoIs, они разбросаны по всему миру: Бельгия, Канада, Вьетнам, Корея, Китай и ещё какие-то страны. Посовещавшись с Corsico, решили как всё подозрительное перебанить.
Я написал однострочник, который выводил наиболее активные соединения, и начал прописывать правила в iptables. Писать какие-либо скрипты в такой горячке не было возможности, поэтому просто перебанили ботов руками, благо их оказалось всего около трёх десятков (точнее, в двух случаях я забанил целые подсети). После этого загрузка канала снизилась до 10-20 Мбит/с, что вполне обычно для этого сервера.
Пока этим занимались, случилась ещё одна неприятность. Для ускорения процесса я переключился с роутера, где Интернет безлимитный, но медленный, на мобильник в режиме точки доступа. Но через какое-то время телефон просто вырубился. Я сначала подумал, что он разрядился, поставил на зарядку. Но даже через полчаса обнаружил, что не могу его включить. И уже был решил, что телефон помер, не дожив несколько месяцев до плановой замены (она намечена на конец октября или ноябрь). И только сейчас, спустя несколько часов, мне удалось заставить его зайти сначала в recovery-режим, а потом и загрузиться нормально.
Стал разбираться, и выяснилось, что когда техподдержка хостинга разблокировала сегодня утром SMTP-порт (он разблокируется только по заявке), начал работу антивирус clamav, который я поставил вместе с Hestia просто так, на всякий случай. Именно он и загрузил процессор так сильно. Я попытался остановить его через панель, потом — через systemctl, но безрезультано. В итоге разозлился и пошёл на крайние меры — apt purge. После этого и бот перестал сообщать о проблемах, и сайты визуально заработали быстрее.
Днём занимался настройкой почты. Теперь у меня всё по уму: почта с DKIM, DMARK и нормальным SSL-сертификатом от Let's Encrypt. Ещё обнаружил, что переход на новую версию PHP вызвал очень странный глюк Twig: он стал в каких-то случаях «съедать» пробелы возле конструкций {{ выражение }}. В частности, так случилось с формой ввода комментариев, из-за чего она стала отображаться некорректно: склеились два имени CSS-классов. Пришлось сделать жуткий костыль вида {{ ' ' }}, до которого додумался не сразу.
Вечером на связь вышел Corsico и сказал, что его сервер стал тормозить. По описанию было похоже на перегруз канала. Захожу на сервер, запускаю nload, и оказывается, что так и есть: исходящий траффик — 130 Мбит/с. Запускаю netstat и вижу большое количество соединений, большинство из которых нулевые (локальное обращение от nginx к Apache), но есть и к каким-то внешним адресам с просто огромным количеством переданных данных. Смотрю адреса через WhoIs, они разбросаны по всему миру: Бельгия, Канада, Вьетнам, Корея, Китай и ещё какие-то страны. Посовещавшись с Corsico, решили как всё подозрительное перебанить.
Я написал однострочник, который выводил наиболее активные соединения, и начал прописывать правила в iptables. Писать какие-либо скрипты в такой горячке не было возможности, поэтому просто перебанили ботов руками, благо их оказалось всего около трёх десятков (точнее, в двух случаях я забанил целые подсети). После этого загрузка канала снизилась до 10-20 Мбит/с, что вполне обычно для этого сервера.
Пока этим занимались, случилась ещё одна неприятность. Для ускорения процесса я переключился с роутера, где Интернет безлимитный, но медленный, на мобильник в режиме точки доступа. Но через какое-то время телефон просто вырубился. Я сначала подумал, что он разрядился, поставил на зарядку. Но даже через полчаса обнаружил, что не могу его включить. И уже был решил, что телефон помер, не дожив несколько месяцев до плановой замены (она намечена на конец октября или ноябрь). И только сейчас, спустя несколько часов, мне удалось заставить его зайти сначала в recovery-режим, а потом и загрузиться нормально.