Прорыв в модерации AI-контента: Moonbounce привлекает $12 млн для создания защитных механизмов в реальном времени

BitcoinWorld

Прорыв в модерации контента с помощью ИИ: Moonbounce получает 12 млн $ для создания защитных барьеров в реальном времени

В значительном шаге по решению нарастающего кризиса онлайн-безопасности стартап Moonbounce, являющийся пионером модерации контента с помощью ИИ в реальном времени, эксклюзивно сообщил Bitcoin World о раунде финансирования в размере 12 млн $. Эти инвестиции, совместно возглавляемые Amplify Partners и StepStone Group, поддерживают миссию компании по преобразованию статических политических документов в исполняемый код, создавая немедленный уровень безопасности для пользовательского и созданного ИИ контента. Следовательно, финансирование приходит в момент, когда платформы сталкиваются с растущим юридическим и репутационным давлением из-за громких провалов модерации.

Решение Moonbounce для модерации контента с помощью ИИ

Основная инновация Moonbounce — это подход «политика как код». Компания обучает собственную большую языковую модель (LLM) усваивать письменные политики безопасности клиента. Затем эта система оценивает контент в точный момент генерации — будь то от человека-пользователя или чат-бота на основе ИИ. Она выдает решение о принудительном исполнении менее чем за 300 миллисекунд. Следовательно, этот переход от реактивной, отложенной человеческой проверки к проактивному, мгновенному машинному исполнению представляет собой фундаментальное изменение в инфраструктуре цифрового доверия и безопасности.

Система предлагает гибкие действия по исполнению в зависимости от потребностей клиента. Например, она может:

• Блокировать высокорискованный контент мгновенно, прежде чем его увидит любой пользователь.
• Замедлить распространение пограничного контента, ставя его в очередь для последующей проверки человеком.
• Предоставить детальное обоснование своих решений, способствуя прозрачности.

В настоящее время Moonbounce обслуживает три основных сектора: социальные приложения и приложения для знакомств с пользовательским контентом, платформы компаньонов и персонажей на основе ИИ, а также сервисы генерации изображений с помощью ИИ. Компания уже обрабатывает более 40 млн ежедневных проверок для более чем 100 млн ежедневно активных пользователей в своей клиентской базе.

Фундаментальная проблема современной модерации

Генеральный директор Moonbounce Бретт Левенсон задумал эту идею после того, как столкнулся с серьезными недостатками устаревших систем во время своей работы по обеспечению деловой честности в Facebook. Он обнаружил, что человеческие рецензенты работали с плохо переведенными, длинными документами о политике. Затем у них было всего несколько секунд, чтобы принять сложные решения по отмеченному контенту, достигая точности лишь «немного лучше 50%».

«Это было похоже на подбрасывание монеты», — сказал Левенсон Bitcoin World. «Это происходило через много дней после того, как вред уже был нанесен». Эта реактивная модель критически неадекватна против сегодняшних хорошо обеспеченных ресурсами, гибких враждебных субъектов. Более того, взрывное распространение генеративного ИИ экспоненциально увеличило объем и изощренность вредоносного контента, делая ручную проверку совершенно неустойчивой.

Доверие инвесторов к критической потребности

Финансирование подчеркивает растущий консенсус о том, что внешняя специализированная инфраструктура безопасности необходима. «Модерация контента всегда была проблемой, которая преследовала крупные онлайн-платформы, но теперь, когда LLM находятся в центре каждого приложения, эта проблема стала еще более пугающей», — сказал Ленни Прусс, генеральный партнер Amplify Partners. «Мы инвестировали в Moonbounce, потому что представляем мир, где объективные защитные барьеры в реальном времени станут обеспечивающей основой каждого приложения, опосредованного ИИ».

Этот внешний подход предлагает ключевое преимущество. Система Moonbounce работает как нейтральная сторонняя платформа между пользователем и ИИ. В отличие от самого чат-бота, который должен управлять обширным разговорным контекстом, модель Moonbounce сосредоточена исключительно на обеспечении соблюдения правил во время выполнения. Это разделение задач приводит к более быстрым, последовательным и менее предвзятым решениям по безопасности.

Превращение безопасности в преимущество продукта

Традиционно модерация контента была дорогостоящей внутренней функцией соответствия требованиям. Однако Левенсон утверждает, что Moonbounce позволяет безопасности стать основной функцией и отличительной чертой продукта. «Безопасность на самом деле может быть преимуществом продукта», — объяснил он. «Просто она никогда не была таковой, потому что это всегда то, что происходит позже, а не то, что вы можете действительно встроить в свой продукт».

Ранние клиенты подтверждают эту теорию. Например, руководитель отдела доверия и безопасности Tinder сообщил о 10-кратном улучшении точности обнаружения с использованием аналогичных сервисов на основе LLM. Клиенты Moonbounce включают стартап компаньонов на основе ИИ Channel AI, платформу генерации изображений Civitai и сервисы ролевых игр с персонажами Dippy AI и Moescape.

Путь вперед: от блокировки к управлению

Следующая фаза разработки Moonbounce сосредоточена на «итеративном управлении». Эта продвинутая возможность, вдохновленная трагическими инцидентами, такими как случай 2024 года с подростком, одержимым чат-ботом Character AI, выходит за рамки простой блокировки контента. Вместо этого система будет перехватывать потенциально вредный разговор в реальном времени и интеллектуально перенаправлять его.

Технология будет модифицировать запросы пользователей, чтобы направить чат-бот к более поддерживающему и полезному ответу. «Мы надеемся... взять запрос пользователя и модифицировать его, чтобы заставить чат-бот быть не просто эмпатичным слушателем, но и полезным слушателем в таких ситуациях», — сказал Левенсон. Это представляет собой более тонкую, интервенционистскую модель безопасности ИИ.

Заключение

Раунд финансирования Moonbounce на сумму 12 млн $ сигнализирует о ключевом сдвиге в том, как технологическая индустрия подходит к модерации контента с помощью ИИ. Переводя расплывчатые политики в исполняемый код и действуя со скоростью генерации, стартап предлагает масштабируемый путь вперед для безопасности платформ. По мере того как генеративный ИИ становится повсеместным, спрос на надежные защитные барьеры в реальном времени будет только усиливаться. Технология Moonbounce, построенная на основе непосредственного опыта системных сбоев, позиционирует ее как критически важного игрока в создании более безопасной, более надежной цифровой экосистемы, где безопасность является неотъемлемой частью пользовательского опыта.

Часто задаваемые вопросы

Q1: Что такое «политика как код» в модерации контента с помощью ИИ?
«Политика как код» — это методология Moonbounce для преобразования письменных правил безопасности платформы в машинно-исполняемую логику. Это позволяет системе ИИ автоматически и мгновенно оценивать контент в соответствии с этими правилами в момент его создания, вместо того чтобы полагаться на медленную, непоследовательную человеческую проверку политических документов.

Q2: Насколько быстра система модерации с помощью ИИ от Moonbounce?
Система разработана для оценки контента и предоставления ответа о принудительном исполнении за 300 миллисекунд или меньше. Эта скорость в реальном времени имеет решающее значение для предотвращения распространения вредного контента на быстроразвивающихся социальных платформах и в интерактивных чатах с ИИ.

Q3: Какие типы компаний используют услуги Moonbounce?
Moonbounce в основном обслуживает три направления: платформы с пользовательским контентом (например, приложения для знакомств), компании, создающие чат-ботов или компаньонов на основе ИИ, и сервисы генерации изображений и видео с помощью ИИ. Среди ее клиентов Channel AI, Civitai, Dippy AI и Moescape.

Q4: Что такое «итеративное управление»?
Итеративное управление — это продвинутая возможность, которую разрабатывает Moonbounce. Вместо того чтобы просто блокировать вредный контент, система будет перехватывать рискованный разговор с чат-ботом на основе ИИ и динамически модифицировать запросы пользователя в реальном времени. Цель — направить взаимодействие к более позитивному, поддерживающему и полезному результату.

Q5: Почему важна внешняя модерация контента с помощью ИИ?
Внешняя система модерации сторонних платформ работает независимо от основной модели ИИ. Она не обременена необходимостью чат-бота запоминать длинные истории разговоров, что позволяет ей сосредоточиться исключительно на обеспечении соблюдения правил безопасности. Это разделение может уменьшить предвзятость, повысить согласованность и обеспечить специализированный уровень защиты, который внутренним командам может быть сложно построить в масштабе.

Эта публикация «Прорыв в модерации контента с помощью ИИ: Moonbounce получает 12 млн $ для создания защитных барьеров в реальном времени» впервые появилась на BitcoinWorld.