Как мы доверили нейросети раскаленную до 900 градусов печь, и где она ошиблась

ИИ — отличный помощник в быту и творчестве. Нейросети заменяют нам гугл, мы спрашиваем у них рецепты, просим помочь с рабочими письмами, вайбкодим.

А в СИБУРе мы используем нейросети на производстве в самых разных задачах: от диагностики оборудования до оптимизации производственных процессов. Но сегодня расскажу про одну конкретную задачу — как ИИ следит за температурой в печах пиролиза, чтобы предотвратить образование кокса и прогорание труб.

Меня зовут Сергей, я Data Scientist в СИБУРе. Сейчас расскажу, как мы учим нейросеть видеть то, что человек физически увидеть не может.

Сто печей размером с 16-ти этажный дом

Немного ликбеза.

Когда добывают нефть, вместе с ней из скважины выходит газ. Мы в СИБУРе этот газ перерабатываем.

Из этого газа мы получаем базовые полимеры — полиэтилен, полипропилен, каучук. Дальше из них уже другие производители делают привычные для всех нас вещи: пластиковые пакеты, бутылки, медицинские изделия, автодетали, ткани.

Но остановимся на нашей цепочке. Ключевой этап в производстве полимеров — пиролиз. Берём газ, греем до 800-900 градусов. После этого получаем сырье, которое идёт на производство пластиков.

У нас сто пиролизных печей по всей России. Каждая размером с 16-ти этажный дом. Внутри каждой печи — горелки и трубы-змеевики, по которым идёт сырьё.

Когда труба работает при 900 градусах, на её внутренних стенках нарастает кокс — чёрный нагар, который образуется из-за химических реакций.

Прогоревшая труба — это остановка печи на 14 дней. Нужно вызвать бригаду, со склада тащить новую трубу, варить, монтировать. Каждый день простоя — это миллионы рублей потерянной прибыли и дополнительных затрат.

Если же заметить перегрев трубы вовремя — достаточно остановить печь на 3-5 дней для плановой чистки.

Поэтому мы постоянно следим за температурой труб.

Как мы следили за температурой раньше?

Это происходило так.

Инженер-химик ходит вокруг пиролизной печи с пирометром — это ручной прибор для определения температуры, примерно такой же, которым во время пандемии у всех измеряли температуру.

Раньше было так: инженер записывает результаты на листочек, потом переносит в Excel.

Далее эти данные используются для управления производством.

У такого подхода было несколько проблем:

• Точечное измерение. Пирометр показывает температуру только в одной точке трубы. Остальные ее участки остаются непроверенными — можно пропустить перегрев на соседнем участке.

• Легко подделать. Никто не проверит, действительно ли человек измерил температуру или просто переписал вчерашние цифры.

• Человеческий фактор. Можно промахнуться прибором, записать неправильно, устать и пропустить важный участок.

Мы решили изменить процесс и создать систему умного мониторинга труб, которая бы отвечала требованиям современного производства.

Главная цель — повысить точность измерений и снизить влияние человеческого фактора при сборе критически важных данных.

Для этого потребовался новый подход с использованием инфракрасных камер.

Как следим за температурой сейчас?

Инженеру больше не нужно целиться в конкретную точку с ювелирной точностью.

Ручной пирометр заменили инфракрасной камерой, то есть тепловизором, которым он снимает 15-секундное видео через окошко.

Камера фиксирует температуру всего видимого участка трубы, и в каждом пикселе видеокадра фиксируется отдельное значение измерения температуры.

Дальше в дело вступают нейросети. Они склеивают кадры в панораму и находят на ней трубы. Алгоритмы машинного зрения выделяют зоны перегрева для каждой трубы и извлекают температурные профили. Всё автоматически.

Таким образом за этими 15 секундами видео стоит целая цепочка обработки, которая в итоге помогает сэкономить сотни миллионов рублей.

Расскажу подробнее. Начну с того, как выбирали камеры. Далее вы узнаете, как работает сам процесс умного мониторинга труб — от обхода печи до получения данных для управления производством.

Как выбрали камеры

У нас было два варианта.

• Вариант первый — встроенные инфракрасные камеры.

Они монтируются прямо в стенки печей, и мониторят трубы 24/7. Для корректной работы таких камер нужна строить специальная система охлаждения.

Капитальные затраты в таком случае — четыре миллиарда рублей за камеры на все печи, плюс операционные расходы за охлаждающую систему. Очень дорого.

• Вариант второй — портативные инфракрасные камеры.

Они похожи на домашние видеокамеры из 90х, только с механическим охлаждением внутри.

Мы выбрали портативный вариант. Эти камеры обошлись нам в 27 раз дешевле встроенных. Они дорогие, каждая стоит как премиальный автомобиль. Зато операционные расходы небольшие: только периодическая поверка камер и перезарядка охладителя.

Да, мониторинг не круглосуточный, инженер обходит печь раз в смену. Но такого интервала достаточно для контроля труб, так как за это время в печи не происходит критических изменений. При этом мы сэкономили миллионы на капитальных и операционных затратах.

Купить камеры — это только первый шаг. Дальше мы перестроили весь процесс.

Этап 1. Новый процесс обхода

Раньше инженер при обходе записывал все данные на бумажку, от номера окна до температуры конкретного участка трубы.

Сейчас данные сохраняются автоматически, но сам процесс усложнился.

Инженер использует нашу корпоративную систему мобильных обходов, которой пользуются большинство работников на наших заводах, — в ней он чекинится на локации через QR-код, снимает IR-видео, а система автоматически привязывает видео к точке съёмки.

Через чекин инженер фиксирует, из какого именно окна печи снято каждое видео. Каждая запись содержит уникальный набор измерений, поэтому подделать её практически невозможно. Цифровой след записи, хэш-сумма, уникален.

Инженер подносит объектив камеры максимально близко к окну печи. В течение 15 секунд он плавно меняет её положение: наклоняет вверх и вниз, поворачивает вправо и влево, чтобы захватить разные участки труб.

На экране камеры в момент съемки он видит цветное изображение, как на обычном тепловизоре, например: горячие места красные, холодные — синие. Но камера сохраняет не просто картинку: для каждого пикселя она записывает точное значение температуры в градусах.

Если на экране пиксель красный, в файле сохраняется конкретная цифра, например 872.3 градуса.

Теперь вместо одного значения с ручного замера мы получаем миллионы измерений.

В одной печи пиролиза до 60 окон. За обход инженер снимает видео через каждое окно печи. За день на заводе накапливается около 4000 видеофайлов.

Дальше самое интересное — надо превратить этот поток данных в понятную картину того, что происходит внутри печи.

Этап 2. Склеиваем панораму

Итак, инженер снимает 15-секундное видео, захватывая разные участки труб. При этом каждый отдельный кадр показывает только небольшой фрагмент.

Чтобы увидеть весь доступный участок трубы, эти фрагменты нужно собрать в единую панораму. Это позволяет точно сопоставить температуру трубы с её координатами по всей длине.

Для этого инженер загружает данные с тепловизора на сервер завода.

Когда файлы загрузились, запускается программа склейки. Она анализирует видеокадры, находит совпадающие элементы на соседних кадрах и объединяет их в одну температурную матрицу.

В результате зона обзора увеличивается в два–три раза по сравнению с одним кадром.

Склейка одного 15-секундного видео в панораму занимает около минуты.

Для склейки кадров сначала мы пробовали стандартные алгоритмы компьютерного зрения — SIFT и RANSAC. Эти алгоритмы доступны в виде готовых программных библиотек для обработки изображений, их обычно используют для склейки фотографий в панорамы.

Мы попробовали две популярные библиотеки с этими алгоритмами:

OpenCV — самая популярная библиотека компьютерного зрения, написанная на C++. Алгоритмы в ней работают очень быстро. Однако в ходе разработки выяснилось, что эти алгоритмы не умеют работать с матрицами вещественных чисел. А именно в таком виде у нас хранятся измерения температур.

Чтобы использовать OpenCV, пришлось бы сначала преобразовать температурную матрицу в обычное цветное изображение.

При этом часть признаков, которые потенциально могут быть использованы для сборки панорам, могут искажаться из-за особенностей такого преобразования.

Т.е. панорамы получаются хуже по качеству, чем при использовании алгоритмов, которые работают с температурными данными напрямую.

Scikit-Image — библиотека, в которой алгоритмы SIFT и RANSAC умеют работать напрямую с матрицами вещественных чисел — измерениями температур. Это даёт лучшее качество панорам. Однако Scikit-Image работает значительно медленнее OpenCV, и из-за этого не подходит для промышленного использования.

Поэтому мы решили попробовать современные подходы на базе нейросетей. В нашем случае хорошо себя показала связка нейросети SuperPoint + LightGlue. SuperPoint находит ключевые точки на кадрах, а LightGlue сопоставляет их между собой для склейки.

Эти модели работают напрямую с вещественными значениями температур.

При этом скорость склейки сопоставима с OpenCV даже после конвертации моделей в формат ONNX для работы на CPU.

То есть нейросети оптимизированы так, чтобы быстро работать на обычных процессорах, без крутого «железа», что важно для промышленной эксплуатации.

Полученные панорамы весят примерно в 10 раз меньше исходных видеофайлов., Поэтому мы можем хранить их длительное время, например в течение года с момента записи. После сборки на производстве панорамы автоматически отправляются в центр обработки данных компании, где происходит их дальнейший анализ.

А исходные файлы значительно тяжелее. За день полного обхода их объём достигает примерно 190 гигабайт. Мы храним эти видео ограниченное время для архива, доработки алгоритмов и ретроспективного анализа.

В дата-центр они загружаются не сразу, а ночью, вне пиковых часов нагрузки на сеть.

Этап 3. Находим трубы на панораме

Панорама поступает в дата-центр. После загрузки нужно понять, где на на ней находятся трубы и какие у них порядковые номера в печи.

Через одно окно печи обычно видно сразу несколько труб. Они идут параллельно друг другу. Поэтому важно не просто найти трубы на изображении, а точно выделить контуры каждой из них. Эта задача называется сегментацией. Её результат позволяет извлечь температурные профили труб и выявить зоны перегрева.

Для сегментации мы используем нейросеть семейства YOLO. Это популярные модели компьютерного зрения, которые умеют находить объекты на изображениях и обводить их контуры.

YOLO легко обучается под новую задачу. Достаточно показать примеры, где находится труба, а где фон, и модель начинает их различать. Однако у моделей семейства YOLO есть нюанс: они работают только с обычными цветными изображениями.

Поэтому алгоритмы конвертируют температурную панораму в цветную картинку, где каждому диапазону температур присваивается свой цвет. Например, 700 градусов отображаются оранжевым, 800 — ярко-красным, 900 — тёмно-красным.

При таком преобразовании точные значения температуры округляются. Однако для поиска границ труб это не критично. Для склейки панорам точность важнее, а для сегментации достаточно цветового контраста.

Все точные температурные данные при этом сохраняются в исходной панораме. Именно они используются дальше для оценки перегревов и построения температурных профилей змеевиков.

YOLO анализирует цветную панораму и выдаёт координаты контуров каждой трубы. Контур описывается в виде набора точек, которые образуют многоугольник.

Проще говоря, это список координат, задающих границу трубы на изображении. Каждая точка — это пара чисел.

Например, контур может начинаться с точки 99 и 1052, потом идти к точке 95 и 11, дальше к 167 и 17, и заканчиваться в точке 168 и 1048. Не стоит забывать, что в компьютере вертикальная ось отсчитывается сверху вниз, а не снизу вверх, как мы привыкли.

После этого система применяет полученные координаты к исходной панораме. В результате она точно знает, где на панораме находится каждая труба.

Правильность разметки проверяет инженер. Он открывает панораму, где трубы уже обведены и пронумерованы автоматически. Если нейросеть ошиблась, инженер поправляет контуры мышкой и выбирает правильный номер из списка труб для данного окна.

Для сегментации можно использовать и другие модели, например архитектуры из библиотеки Segmentation Models. Но тогда придётся настраивать кучу дополнительных параметров: препроцессинг, постпроцессинг, гиперпараметры самой модели и алгоритмов её обучения. Если разница в точности сегментации не видна, зачем тратить на это время?

Этап 4. Ищем перегрев

После определения контуров труб можно искать перегревы: система анализирует температурные значения внутри границ трубы. Если находится достаточно большое скопление соседних пикселей с температурой выше порога, это указывает на образование кокса.

Без сегментации система не сможет выделить перегрев и построить точный температурный профиль вдоль трубы.

Если найден критический участок, инженер может снизить нагрузку на него, погасив соответствующую горелку. Если этого недостаточно, печь останавливают для чистки — по трубам пропускают пар под давлением, как в автомобильной мойке «Керхер». Пар прочищает трубу змеевика и позволяет ей работать дальше, не прогорев.

Предотвращение прогаров даёт эффект примерно 20 миллионов рублей в год на трёх заводах. Но поиск перегрева — это скорее тактическая задача.

Стратегическая цель в другом.

Этап 5. Собираем данные для системы управления производством

Кроме поиска перегревов, система решает вторую задачу. Она собирает данные для RTO — программы, которая управляет всем пиролизом на заводе в режиме реального времени.

RTO рассчитывает, что происходит внутри каждой трубы: какие химические реакции идут и с какой скоростью, сколько целевого продукта получится на выходе при текущем режиме работы.

В результате этих химических реакций образуется твёрдый осадок. Он хаотично налипает на внутренние стенки змеевика, ухудшает теплопроводность металла и увеличивает давление в трубе.

Если мы соберём достаточно производственных данных о температуре на разных участках змеевика, мы поймём, какой была средняя толщина кокса. Это позволит вносить корректировки в физико-химическую модель коксообразования.

Точный прогноз коксообразования важен для двух вещей: понять, когда оптимально остановить печь на чистку, и спрогнозировать результат самих реакций, а значит эффективность всего производства.

Раньше системы RTO были импортные. Они были откалиброваны зарубежными лицензиарами под весь периметр внедрения и под наши производства, поэтому не требовали самостоятельной перекалибровки. Сейчас в компании проходит обкатку собственная система RTO для пиролиза.

Благодаря миллионам точных измерений температуры по каждой трубе мы получили ценный поток данных для непрерывного улучшения системы управления производством.

Но для калибровки физико-химической модели данные о температуре труб с панорам нужно представить в специальном формате.

Для физико-химической модели RTO нужен температурный профиль внешней стенки змеевика вдоль потока газа. То есть по всей совокупной длине змеевика в радиантной камере, а не по каждому отдельному участку.

Чтобы получить такой профиль, сначала нам нужен температурный профиль каждого видимого на панораме участка трубы. Это график, который показывает, как температура меняется вдоль всей длины трубы от начала до конца на одной панораме.

Построить его непросто, потому что одну трубу видно из разных окон печи по частям. Нужно собрать все кусочки в один полный график. Сейчас объясню, как мы это делаем.

Как строим график температуры трубы

Сначала программа строит график для участка трубы, видимого через одно окно.

Берёт контур трубы, который обвела YOLO, и находит центральную линию. Эта линия идёт посередине трубы от начала до конца видимого участка.

Для этого используется алгоритм скелетизации. Он сжимает контур до тонкой линии, проходящей по центру трубы.

Дальше программа идёт вдоль этой линии и усредняет температуру в окружности нескольких пикселей, попадающих в контур трубы. Получается короткий график температуры для этого участка трубы.

Инженер обошёл печь и снял видео через 60 окон. Для каждого окна получилось несколько небольших графиков температуры видимых участков труб с разных точек обзора.

Эти небольшие отрезки нужно склеить в один график змеевика.

Змеевики длинные, от 40 до 250 метров. Кокс налипает на них хаотично. Для калибровки модели и понимания того, как скапливается кокс при разных режимах работы, не нужна детализация до сантиметра. Достаточно разбить весь змеевик на участки по одному метру и объединить все измерения каждого участка со всех окон, откуда он был виден.

На один метровый участок может приходиться от двух-трёх измерений до нескольких десятков. Все они усредняются в одну точку. Каждая точка характеризуется двумя значениями: средней температурой участка и покрытием. Покрытие показывает, сколько измерений было использовано для расчёта, то есть насколько точны данные.

Так обрабатывается каждый метр змеевика. В итоге получается практически цельный график температуры всего змеевика радиантной камеры от начала до конца.

Благодаря точным данным о температуре змеевика повышается эффективность работы системы RTO. Эффект от её работы — сотни миллионов рублей в год. Это не прямая заслуга нашей системы мониторинга. Но без неё мы не смогли бы понять, правильно ли работает разработанная в СИБУРе система RTO для пиролиза, и улучшить её на реальных производственных данных.

Как это всё работает технически

Немного расскажу, как мы технически развернули систему умного мониторинга на заводах.

Старались максимально использовать имеющуюся инфраструктуру.

Взяли базовую систему мобильных обходов, которой давно пользуются наши сотрудники, и встроили в неё функционал для работы с IR-камерами.

Написали библиотеку на Python для обработки IR-изображений. Она умеет склеивать панорамы, запускать YOLO, строить температурные профили.

Система обработки IR-изображений в мобильных обходах устроена по модульному принципу. Каждый сервис обращается к нужному алгоритму библиотеки через CLI-интерфейс, то есть через командную строку, без графических окон и кнопок.

Сервис передаёт алгоритму видеофайл и конфигурационные параметры, а на выходе получает готовый результат. Например, при сборке панорамы сервис подаёт на вход исходное видео и настройки, а алгоритм возвращает склеенную температурную матрицу вместе с метриками качества сборки.

Обработка производится децентрализовано:

• На заводе стоят виртуальные машины. Там склеивают видео в панорамы с помощью нейросетей SuperPoint и LightGlue. Сразу после сборки они передаются в дата-центр.

• В дата-центре сервисы работают в кластере Kubernetes. Там запускают YOLO и строят температурные профили.

Всё упаковано в Docker-контейнеры и разворачивается через Ansible. Docker позволяет упаковать программу со всеми зависимостями в изолированный модуль, который можно запустить на любом сервере. Ansible позволяет сконфигурировать на лету сервисы под каждое производство и автоматически развернуть собранные контейнеры с сервисами на нужных машинах.

Нейросети в проде запускаем через ONNX Runtime на CPU. Работает он достаточно быстро и не требует установки тяжёлых библиотек.

Для хранения данных две уже развернутые в компании системы:

• Hadoop хранит видеофайлы и панорамы. Видео удаляем по истечению 60 дней с момента съемки — это один полный цикл работы печи пиролиза между чистками. Панорамы хранятся год, чтобы можно было сравнивать динамику изменений и использовать их для обучения новых моделей сегментации.

• Vertica — наше корпоративное озеро данных. Хранит температурные профили труб в структурированном виде. Отсюда их можно забрать как для калибровки моделей RTO, так и для решения любых других насущных задач, так как доступ к озеру данных есть у всех основных корпоративных систем.

Как разрабатывали

Первые шаги начали в конце 2023 года. Главная сложность была в том, чтобы понять, как вообще должен выглядеть процесс.

Когда получили первые данные с IR-камер, было непонятно, что с ними делать. Маленькие окошки по 20 сантиметров, огромная печь внутри, трубы видны только частями. Думали, как все это собрать в единую картину.

Пробовали разные подходы, смотрели, что получается. Каждый завод со своими особенностями, а процесс нужен один для всех, чтобы его было легко поддерживать.

Я писал библиотеку обработки на Python. Остальное переиспользовали. Команда системы мобильных обходов (дизайнер, два бэкендера, фронтендер) дорабатывала свою систему.

Они делали интерфейсы для загрузки видео, формы для проверки разметки, связки с сервисами обработки. Сэкономили кучу времени и денег, потому что не писали всё с нуля.

Сейчас проблемы с интерфейсом и загрузкой данных решает команда мобильных обходов — это первая и вторая линия поддержки. А проблемы с алгоритмами умного мониторинга на мне — это третья линия.

Результаты внедрения

Решение развёрнуто на весь периметр пиролиза СИБУРа, это 100 печей. Тестируем его и на других типах печей, где процессы похожие. Предстоит еще доказать эффекты на практике, собрать статистику, прежде чем запускать на постоянной основе.

Другие химические компании тоже используют аналогичные печи пиролиза. Технически наше решение можно адаптировать под них. Но на практике это сложно. У нас многое завязано на внутреннюю инфраструктуру. Развернуть такое решение с нуля, не имея этой базы, будет намного дороже и даст меньше эффекта.

Это результат многолетнего развития и совершенствования цифровой экосистемы компании.

Таким образом, накапливая эффекты, мы не только предотвращаем прогары и экономим до 20 млн рублей ежегодно на трёх заводах, но и повышаем точность собственной системы управления производством — что даёт потенциал экономии в сотни миллионов рублей в год.