AI и ML

Jev на практике: 3 реальных кейса применения

Три проверенных кейса применения Jev от TypeSafe AI в деталях: оценка 724 объявлений за 40 секунд, ранжирование 700 лидов и защитный барьер для кодинг-агента с точными цифрами по 18 000+ реальных действий.

Опубликовано: 24 сентября 2026 г.
Обновлено: 24 сентября 2026 г.
Автор: Виталий Шинкаренко
⏱: 3 мин

Коротко: три проверенных кейса в деталях — что именно сделали, какие вопросы задали Jev и что получили на выходе. Все цифры из первоисточников, ссылки добавлены.

Главное

Кейс 1: 724 рекламных объявления оценены по шести критериям каждое — 40 секунд, $0,09
Кейс 2: 700 лидов проранжированы по прогнозируемой эффективности аутрича, с детекцией несоответствий — 40 секунд, $0,09
Кейс 3: защитный барьер для кодинг-агента свёл нарушения правил с 6 до 0 в 150 прогонах; отдельно измерен на 18 075 реальных действиях
Общий паттерн: во всех трёх Jev задаёт несколько структурированных вопросов про каждый объект сразу — и делает это в масштабе, недоступном обычной LLM

Кейс 1: оценка 724 рекламных объявлений за 40 секунд

Matthew Berman собрал 724 живых рекламных объявления от 37 брендов и задал Jev шесть вопросов про каждое. Точная цитата из его поста: «за 40 секунд разобрал 724 живых объявления от 37 брендов. каждый хук. каждый формат. оффер. cta. стадия осведомлённости. несоответствие лендинга. потратил 9 центов токенов». Источник: X (@TheMattBerman) (откроется в новой вкладке).

Что именно оценивалось

Хук — первая фраза или кадр, цепляющий внимание
Формат — тип креатива (видео, статичное изображение, карусель и т. д.)
Оффер — что именно предлагается
Призыв к действию (CTA) — какое действие ожидается от зрителя
Стадия осведомлённости — насколько аудитория уже знакома с проблемой или продуктом
Несоответствие лендинга — соответствует ли страница, куда ведёт реклама, обещанию в самом объявлении

Как проверялось несоответствие лендинга

Для последнего критерия Berman загружал саму страницу, куда ведёт каждое объявление, и Jev сравнивал её текст с обещанием в рекламе — по офферу, продукту, цене и призыву к действию. Это позволило автоматически найти объявления, которые обещают одно, а лендинг показывает другое.

Почему это меняет рабочий процесс

До появления дешёвой классификации аналитики обычно выбирают небольшую выборку объявлений для ручного разбора — проверить каждое слишком дорого. Когда первый проход по всему датасету стоит копейки, порядок действий меняется: сначала классифицируется весь массив, а человек смотрит уже на самые интересные кластеры, а не на случайную выборку. По словам Berman, эта функция войдёт в StealAds и будет доступна через MCP.

Кейс 2: скоринг 700 лидов по прогнозируемой эффективности

Romàn (@romanbuildsaas) взял 700 «горячих» лидов вместе с персонализированными сообщениями для аутрича, подготовленными для каждого. Полная цитата: «дали Jev 700 горячих лидов и персонализированные сообщения для аутрича. за 40 секунд он спрогнозировал эффективность каждого сообщения, присвоил показатель уверенности и выявил несоответствия лид-сообщение. всё за $0,09». Источник: X (@romanbuildsaas) (откроется в новой вкладке).

Что вернул Jev для каждого из 700 лидов

Прогноз эффективности сообщения для конкретного лида
Показатель уверенности для каждого прогноза
Выявление несоответствий — когда сообщение явно не подходит профилю лида

Что это открывает для команды

По тому же посту, тот же подход можно использовать шире: оценивать лидов по качеству, анализировать сигналы готовности купить, подбирать лучшее сообщение под конкретного проспекта и определять, какие кампании с наибольшей вероятностью сработают. Вместо того чтобы рассылать аутрич вслепую и узнавать о качестве постфактум по ответам, команда сначала сортирует лидов по прогнозу и начинает с самых перспективных.

Кейс 3: барьер, который ловит то, что не видит линтер

pi-warden (откроется в новой вкладке) — защитные барьеры для кодинг-агента Pi, которые «направляют, а не прерывают». Устанавливается командой `pi install npm:pi-warden` (нужны Pi 0.85+ и Node 22.19+), после чего `/warden enable` активирует проверки через ключ TypeSafe API, а `/warden init` генерирует стартовый файл правил.

Как описываются правила

Правила проекта пишутся простым языком в файле `pi-warden.md` — каждый заголовок является отдельным правилом. Пример прямо из README:

markdown

# Exported functions must have explicit return types
paths: src/**/**.ts
Every exported function declares its return type.

Такие правила не ловит ни один обычный линтер — они описывают намерение, а не синтаксис

Среди других реальных примеров — «TODO должен ссылаться на тикет», «комментарии не должны дублировать код» и «ожидание процесса без таймаута» (зафиксировано как нарушение при реальном использовании). Jev проверяет каждую запись агента на соответствие этим правилам и цитирует нарушение в ответ, вместо того чтобы просто заблокировать действие.

Что ещё ловит барьер, помимо правил проекта

Необратимые действия — force push, `git reset --hard`, рекурсивный `rm`, SQL `DROP` и подобные команды блокируются отдельно от правил проекта
Зацикливание агента — когда агент повторяет то же неудачное действие без прогресса
Неподтверждённые заявления «готово» — когда агент говорит, что задача выполнена, но не запустил тесты или проверку
Слишком большой вывод инструментов — сейвер контекста обрезает слишком длинный вывод, сохраняя полный результат доступным по запросу

Измеренные результаты

0
нарушений с pi-warden: против 6 в контрольной группе, 150 парных прогонов; 13 952
проверенных случаев: 109 циклов ночной проверки, без единого отклонения точности; ≈0,3%
необратимых действий заблокировано: 48 из 18 075 защищённых вызовов в 315 реальных сессиях; 74%
напоминаний «готово?» привели к реальному тесту: 47 напоминаний за 4 дня использования

Когда блокировка необратимого действия оказывалась ложным срабатыванием, повторная попытка снимала блок в 11 из 13 случаев — то есть барьер редко останавливает агента напрасно. Источник: GitHub (откроется в новой вкладке).

Общий паттерн: дешёвый фильтр перед дорогим действием

Во всех трёх кейсах Jev не заменяет основную работу — рекламу всё равно придумывают люди, сообщение всё равно пишет LLM, код всё равно пишет агент. Jev добавляет структурированное суждение поверх этого: оценивает, ранжирует или проверяет результат за секунды, прежде чем человек или система потратят время на то, что можно было отсеять раньше.

python

from langchain_typesafe import Noul, TypeSafeClassifier

classifier = TypeSafeClassifier()

def review_agent_write(diff: str, project_rules: str) -> bool:
    response = classifier.invoke(
        state=f"Rules:\n{project_rules}\n\nProposed change:\n{diff}",
        questions={
            "violates_rule": Noul(instructions="Does this change violate one of the listed rules?")
        },
    )
    # High confidence of a violation -> block and explain, instead of letting it through.
    return response.nouls["violates_rule"].noul < 0.5

Иллюстративный пример того же принципа, что лежит в основе pi-warden

Частые вопросы

Можно ли построить что-то вроде pi-warden самостоятельно?

Да, это один из самых распространённых паттернов: Jev проверяет каждое действие агента на соответствие написанным вами правилам и возвращает вероятность нарушения до того, как действие выполнится. pi-warden — пример с открытым кодом для агента Pi, с которого можно начать.

Почему в кейсе с рекламой понадобилось шесть отдельных критериев, а не один?

Потому что Jev позволяет задать несколько вопросов про один объект в одном запросе почти без дополнительной задержки. Вместо одного размытого «насколько хороша эта реклама» Berman получил шесть чётких отдельных ответов — именно поэтому результат можно было отсортировать и сравнить.

Что происходит, если уверенность Jev низкая?

Во всех трёх кейсах низкая уверенность — сигнал для дополнительной проверки человеком, а не повод игнорировать ответ. Это то, что отличает калиброванную модель от обычного классификатора: числу уверенности можно доверять статистически.

Как часто pi-warden блокирует агента без веской причины?

Редко, судя по измеренным данным: из 18 075 защищённых вызовов заблокировано только 48, и когда блокировка оказывалась ложным срабатыванием, повторная попытка снимала её в 11 из 13 случаев.

Обсудить, где Jev подойдёт в вашем продукте

01 — Новости

Расскажите, что вам нужно

Ответим с предложением.

Удобнее поговорить?

Записаться на звонок 15 минут Написать в Telegram

Или напишите на [email protected]