🫦 Good news, everyone! Especially for @NudesRemoverBot users!
User and chat counts keep growing, and with that the load, which is logical. But there are downsides. Over the past couple weeks the system slowed down several times, and once the queue grew to 1000+ items, so some messages got checked only an hour later. Obviously unacceptable.
We sat down, thought hard, scratched our heads and optimized everything, rewrote queue processing, moved heavy tasks to separate workers, added dynamic caching and a bunch of tricks under the hood. Now even at peak hours processing runs smoothly. But it probably won't be enough. Almost 2 million messages pass through per day, nearly 100 thousand get analyzed. So we'll soon activate limits for free users. No panic, 95% won't notice.
Initial plan: 100 processed messages per day. Processed means everything under the media filter. We may also display ads in the "media removed" notification (a minute, only our bots). Subscribers have no limits, no ads and priority processing.
Enough about premium, plenty was done for everyone:
— Stickers are small and detected poorly, so we've added a sticker pack blacklist. Add a link and content from that pack gets removed automatically.
— Turned out stickers can be animated or video format, which the bot previously ignored. Fixed.
— Fixed broken username display in bot messages.
— Some users disliked messages from our account, and requested using their own bot. Available for premium.
— Bad actors were sending links that looked like images but were actually video files weighing a couple gigabytes. The system tried to download and crashed. Added protection.
— Advanced video analysis: we extract 10 frames and if one matches, media gets removed. Heavy on resources, subscribers only.
Need help? Ask any questions you like in our support group: @madbots_talk.
———————————
🫦 Отличные новости! Особенно для пользователей @NudesRemoverBot!
Количество пользователей и чатов растёт, а с этим растёт и нагрузка, что как бы логично. Но есть и минусы, за последние пару недель система несколько раз тормозила, а один раз очередь разрослась аж до 1000 элементов, некоторые сообщения были проверены только через час. Понятное дело, всё это недопустимо.
Мы посидели, подумали, почесали головы и всё заоптимизировали, переписали логику обработки очереди, разнесли тяжёлые задачи по отдельным воркерам, добавили динамическое кеширование и ещё пачку хитростей под капотом. Сейчас даже в пиковые часы обработка идёт плавно, по крайней мере такой план. Но скорее всего этого не хватит. Через бота пролетает почти 2 млн сообщений в сутки, из которых почти 100 тысяч анализируется на недопустимый контент. Так что скоро будут активированы лимиты для бесплатных пользователей. Без паники, по статистике 95% чатов этого не заметят.
Предварительно сделаем ограничение на 100 обработанных сообщений в сутки. Обработанным считается всё, что попадает под фильтр на типы медиа. Также возможно будем показывать в сообщении про удалённое медиа рекламу (висит минуту, только свои боты). У подписчиков лимитов и рекламы не будет, плюс приоритетная обработка.
Ну да ладно про премиум, много полезного было сделано для всех:
— Стикеры небольшого размера и детектятся с переменным успехом, добавили чёрный список стикерпаков. Добавляете ссылку и всё что оттуда прилетит будет удалено автоматически.
— Оказалось, что стикеры бывают анимационные и видеоформата, что бот ранее игнорировал. Исправили.
— Поправили криво отображающиеся username пользователей в сообщениях бота.
— Некоторых пользователей смущало, что сообщения от нашего аккаунта, и они попросили возможность использовать своего бота. Доступно для премиума.
— Нехорошие люди закидывали в чат ссылку, которая выглядела как картинка, но по факту это был видеофайл на пару гигабайт. Система пробовала скачать и падала. Добавили защиту.
— Более продвинутый анализ видеоконтента: берём 10 кадров и если хоть один подходит, медиа удаляется. Штука тяжёлая, доступно только для подписчиков.
Проверяем, тестируем. Если обнаружились проблемы, пишите в @madbots_talk.
