Хабр — ИТ-новостиНовости2 мин чтенияПодтверждено
Тестируем Jev на открытых и внутренних данных: классификатор или фильтр?
Оригинал: [Перевод] Проверяем Jev на открытых и внутренних данных: классификаторили фильтр?
21 сентября 2026 г.00
1 / 91 / 9Оригинал: [Перевод] Проверяем Jev на открытых и внутренних данных: классификаторили фильтр?
Сравнение Jev с современными LLM на открытых и внутренних данных помогает понять, когда узкий классификатор выгоднее универсальной модели.
Переводное исследование проверяет, чем на самом деле является Jev — классификатором или фильтром. Модель отвечает только «да/нет» или выбирает из предложенных вариантов, и автор прогоняет её через 16 000 вызовов, сравнивая с gpt-5.4-mini и gpt-5.6-luna на четырёх открытых датасетах.
Вторая часть эксперимента — несколько тысяч реальных решений в рабочих процессах. Это важный методологический ход: открытые бенчмарки часто не отражают поведение модели в проде, а здесь есть попытка проверить её именно на прикладных задачах.
Автор показывает, где Jev выигрывает, где ошибается и как ведёт себя на границах классов. Для команд, выбирающих между LLM и специализированными классификаторами, это полезный ориентир: иногда узкая модель оказывается дешевле и точнее, а иногда — проигрывает универсальной.
Полные таблицы результатов и разбор ошибок — на сайте источника.
Материал агрегирован; полный текст — на сайте Хабр — ИТ-новости.
Для команд, использующих LLM в продакшене — от монтажных ассистентов до сценарных инструментов — важно понимать, где модель реально классифицирует, а где просто фильтрует.
Jev — модель, работающая в бинарном режиме «да/нет» или выборе из вариантов, что делает её потенциально удобной для узких задач автоматизации.
Практическая ценность для киноиндустрии ограничена, но для студий, внедряющих AI в пайплайны (тегирование, отбор дублей, модерация), результаты тестов могут сэкономить бюджет на интеграции.
Увеличить1 / 9Комментарий редактора Игоря
Полезный технический разбор для тех, кто строит AI-инструменты под контент-пайплайны, — но не более того.
Как перестать писать шаблонный код в Symfony: Практические DX-трюки для ленивого разработчика
Хабр — ИТ-новости · 22м
Paramount и 12 штатов близки к мировому по антимонопольному иску — сделка с Warner Bros. Discovery на финишной прямой
Hollywood Reporter · 27м
Индонезийский ремейк «Потомков солнца» выходит на рынок Пусана с Barunson E&A
Variety — Film · 30м
Канделаки назвала российский фэнтези-ответ «Гарри Поттеру» — и это громкое заявление
Кино Mail.ru · 30м
Алена Хмельницкая поздравила дочь от Тиграна Кеосаяна с 32-летием
Кино Mail.ru · 50м
Google выпускает Googlebook за $899 — ставка на то, что вы купите ноутбук ради Gemini
TechCrunch · 51м