Обучение нейросети для поиска людей по фотоснимкам, полученным с БПЛА

В настоящее время для поиска людей спасательные отряды стали применять БПЛА. С помощью дрона они облетают всю область поиска, делают снимки и потом осматривают эти снимки на наличие людей.

– Проблема заключается в том, что за день дрон может сделать около 10 000 снимков, и даже при условии, что их будут просматривать около 30 человек, это может занять около 8 часов, за это время человеческий глаз может устать и упустить важные моменты. Для того чтобы ускорить обработку снимков и увеличить шанс на нахождение человека можно использовать нейросеть, – рассказал выпускник специальности «Информационные системы и технологии» СГУГиТ и основной разработчик Вадим Архипов.

Работа, которую выполнял выпускник, была посвящена обучению нейросети для поиска людей по фотоснимкам, полученным с беспилотного летательного аппарата. В процессе выполнения работы был проведен анализ предметной области, который включал в себя изучение проблематики, анализ существующих решений (проект Lacmus, решение от Билайн), разработку требований к ПО, анализ основных параметров глубокого обучения. Также подготовлены фотоснимки для обучения нейронной сети, обучена модель RT-DETR с помощью фреймворка Ultralytics на датасетах Lacmus Drone Dataset и Vis Drone Dataset, спроектировано и разработано кроссплатформенное (для ОС Windows и Linux) приложение на Python 3.12 с помощью библиотеки пользовательского интерфейса DearPyGUI для работы с обученной нейросетью, а также проведена оценка точности и скорости нейросети на реальных данных. Итоговая точность модели составила 95% на датасете LaDD.

В результате выполнения работы была обучена нейросеть для поиска людей по фотоснимкам, полученным с БПЛА, а также разработан прототип приложения, имеющий следующий функционал:

• открытие изображений;
• обработка изображений;
• просмотр изображений;
• просмотр количества открытых и распознанных изображений, найденных объектов;
• изменение цветовой схемы;
• выбор ускорителя для нейросети.

Разработка позволит ускорить и упростить обработку фотоснимков, а также позволит повысить шансы на обнаружение потерявшегося человека.