Система представляет собой детектор для решения задачи сегментации объектов в видеопотоке, а также определения расстояния до них.
В качестве алгоритмической базы используется семантический детектор yoloact++ с базовой сетью Resnet50-FPN и разрешением изображения 550 пикселей.
Определения расстояния до детектируемых объектов производится на основе полученной карты глубин. Для получения карты глубин использовался контроллер kinectv2.
Сначала производится детекция и локализация объекта. Далее при помощи контроллера отрисовывается карта глубин изображения. Для соотнесения полученных при детекции сегментационных масок используется ключевая точка (пиксель), которая связывает объект с картой глубин, в которой уже присутствует расстояние до каждого и пикселей. Для получения корректной информации необходимо всегда знать центр объекта, что достигается путем применения алгоритма для поиска центра пятна изображения (мемод моментов), используя моменты нулевого, первого и второго порядка.