✔️ LLM-защита до запроса к модели
Tamga - open-source reverse proxy на Go, который ставится между приложением и LLM-провайдерами вроде OpenAI, Anthropic и Azure.
Задача простая: каждый промпт проходит проверку до отправки в модель.
Что умеет:
* искать PII, секреты и запрещённые паттерны * редактировать или блокировать опасные запросы * работать как OpenAI-compatible proxy * вести аудит инцидентов * прогонять adversarial-тесты в CI * держать низкую задержку на обычном CPU
Самое интересное в статье - честность автора.
Он собрал 62 adversarial-вектора и признаёт: 29 из них всё ещё обходят сканеры. Проблемные зоны ожидаемые:
* Unicode-трюки * zero-width символы * base64-обёртки * многоязычные prompt injection * перефразированные атаки
Вывод для продакшена жёсткий: LLM security нельзя строить только на regex и красивом middleware.
Нужны:
* нормализация текста до сканирования * быстрый deterministic слой * отдельный semantic judge для сложных случаев * adversarial corpus как часть CI * честный baseline по bypass rate
Хороший пример того, как должна выглядеть LLM-инфраструктура в regulated-среде: не «поставили guardrails и забыли», а постоянная проверка, измерение и улучшение.
GitHub: https://github.com/yatuk/tamga