Пластик, сети, бетон: на Камчатке нейросеть ищет мусор с точностью до килограмма

Вместе с Yandex Cloud, студентами Школы анализа данных и специалистами ДВФУ создали облачную нейросеть, которая по фотографиям умеет определять вид и объём мусора на побережье. Это помогает заранее планировать экспедиции и сэкономить ресурсы.

Каждый год в океан попадает более 11 млн тонн пластика. Среди них — обломки лодок, рыболовные сети, пластиковые бутылки, строительный мусор и даже бетонные конструкции. Собрать его вручную трудно, особенно в труднодоступных местах Камчатки. Здесь и пришли на помощь технологии: нейросеть обучили не просто «видеть» мусор, а классифицировать его по 6 типам (пластик, дерево, резина, железо, бетон и рыболовные сети), определять границы на фото и оценивать примерный объём.

Технология основана на семантической сегментации изображений — методе компьютерного зрения, который позволяет выделять конкретные объекты на снимках. Чтобы обучить такую модель, команда ШАД разработала собственное приложение, где эксперты размечают мусор на фото простыми кликами. Модель сразу реагирует, выделяя объекты, а человек при необходимости уточняет границы, добавляя позитивные или негативные клики. Это быстро, удобно и даёт высокую точность.

Такой подход особенно полезен, когда мусор скрыт среди камней, наполовину закопан в песке или покрыт водорослями. А чтобы нейросеть не путалась в разных типах берегов (галечные, песчаные, с растительностью), данные усиливали с помощью аугментации: искусственно увеличивали выборку, используя алгоритмы преобразований и генеративные нейросети (например, StarGAN).

В итоге модель стала гораздо устойчивее к разным условиям съёмки и ландшафтам. Уже в первой экспедиции, организованной по данным нейросети, удалось убрать 5 тонн мусора с территории Южно-Камчатского заказника.

Теперь проект можно масштабировать — использовать на других побережьях России и в Арктике. Модель также легко интегрируется в геоинформационные системы, чтобы точно наносить очаги загрязнения на карту.

А что с мазутом?

Нейросеть в «Чистом береге» пока распознаёт только твёрдый мусор. С жидкими загрязнениями, вроде мазута, всё сложнее: он часто смешивается с водой и плохо различим на фото. Сейчас над этим работает другая команда — специалисты РАН разрабатывают сервис спутникового мониторинга мазутных пятен, где Яндекс тоже участвует как технологический партнёр.

Более подробно о процессе, как это работает и как распределяются обязанности рассказал Дмитрий Сошников, научный руководитель студентов ШАД.