autopilot/dissertation/chapter_1/chapter_1_5.md

1.5 Корреляционные методы навигации по видовой информации

Корреляционно‑экстремальные навигационные системы используют сопоставление текущих изображений с эталонной картой или 3D‑моделью местности для коррекции дрейфа ИНС и решения задач типа «вернуться в уже посещённую область». В ряде современных работ эталонная карта строится по данным оптико‑электронной системы в процессе предварительного облёта, после чего в полёте БПЛА периодически сравнивает текущий вид с фрагментами этой карты и уточняет свои координаты.
В исследовании Беляева и Зикратова имитируется ситуация, когда эталонная карта и искомая область получены из разных источников (например, спутниковые снимки и бортовая видеокамера) и существенно различаются по текстуре и освещённости [2]. Для таких условий сравниваются:
	автокорреляционная функция;
	коэффициент корреляции Пирсона;
	индекс структурного сходства SSIM;
	простая нейронная сеть‑перцептрон.
Используются различные стратегии обхода карты (прямой проход, проход с перекрытием, по спирали, случайный), а метриками служат время полного обхода для заданного размера окна и успешность нахождения целевой области на зашумлённых и искажённых примерах. Вывод работы состоит в том, что автокорреляционный подход при правильном выборе шага обхода и размера окна позволяет удовлетворить ограничения по времени, оставаясь при этом достаточно точным и устойчивым к различным искажениям, что делает его хорошей основой для визуальной коррекции курса при возврате.
В серии работ по оптико‑электронным ыкорреляционно‑экстремальным системам малого БПЛА также показывается, что при разумных ограничениях на высоту, скорость и частоту съёмки возможно достигать приемлемой точности определения координат по цифровой модели местности, построенной заранее или в ходе облёта. Такие системы непосредственно решают задачу поддержания заданного маршрута и коррекции навигации, включая фазу возврата в исходную точку, и могут работать как в полностью автономном, так и в полуавтономном режимах.
Особое место занимают работы, где целью явно объявляется возврат БПЛА в точку старта по данным бортовой видеокамеры. В одной из таких статей маршрут от старта до момента потери спутниковой навигации используется для построения глобальной карты в системе географических координат, после чего возврат выполняется за счёт локализации по ранее построенной карте без её дальнейшего расширения; в экспериментах на квадрокоптере «DJI Phantom 3 Pro» авторы демонстрируют устойчивое возвращение в окрестность исходной точки. В другой работе предлагается сопоставление текущих кадров при полёте «домой» с кадрами, ранее записанными при полёте «туда», с использованием меры сходства по яркостным и текстурным признакам, что позволяет оценивать смещение вдоль маршрута и корректировать курс даже без явной 3D‑карты.
Эти примеры показывают, что корреляционно‑экстремальные методы и сопоставление видеопоследовательностей дают практически применимые решения задачи возврата в точку старта, которые могут быть реализованы на коммерческих БПЛА при относительно умеренных требованиях к вычислительным ресурсам. 
Альтернативой сложным VIO‑алгоритмам для малых БПЛА являются корреляционно‑экстремальные методы, сопоставляющие текущие изображения местности с эталонной цифровой картой или ранее накопленной видеопоследовательностью. Такие методы особенно удобны в сценариях, когда доступна карта маршрута или имеется возможность сформировать эталонную базу изображений на этапе прямого полёта (предварительный облёт, съёмка при наличии GPS и т.п.).
В простейшем случае эталонная карта представляется в виде двумерного массива яркостей I_{\mathrm{ref}}(x,y), а текущий кадр бортовой камеры — как фрагмент I_{\mathrm{cur}}(u,v), соответствующий некоторой неизвестной области карты. Задача навигации сводится к поиску таких сдвигов (\Delta x,\Delta y), при которых мера сходства между I_{\mathrm{cur}} и соответствующим окном карты I_{\mathrm{ref}}(x+\Delta x,y+\Delta y) максимальна.
В работе, посвящённой исследованию автономной навигации БПЛА на основе корреляционных методов сравнения изображений, рассматривается задача поиска области соответствия между двумя изображениями одного и того же участка местности, полученными из разных источников и отличающимися по шуму, освещённости и деталям. В качестве эталона используется «карта» местности, а в качестве текущего наблюдения — искомая область, которая может быть зашумлена, затемнена или искажена; различие источников моделирует эффект смены домена между, например, спутниковыми и бортовыми изображениями.
Рассматриваются несколько базовых метрик сходства. Для двух окон изображений X={x_i} и Y={y_i} (последовательно взятые пиксели) автокорреляционная функция и коэффициент корреляции Пирсона записываются как
R_{XY}=\sum_{i}\hairsp(x_i-x)(yi-y),ρXY=i  (xi-x)(yi-y)i  (xi-x)2 i  (yi-y)2,
где x,y — средние значения яркости в окнах. Индекс структурного сходства SSIM оценивает сходство по яркости, контрасту и структуре и обычно записывается в виде
SSIM(X,Y)=\frac{(2\mu_X\mu_Y+C_1)(2\sigma_{XY}+C_2)}{(\mu_X^2+\mu_Y^2+C_1)(\sigma_X^2+\sigma_Y^2+C_2)},
где \mu_X,\mu_Y — средние значения, \sigma_X^2,\sigma_Y^2 — дисперсии, \sigma_{XY} — ковариация, C_1,C_2 – малые постоянные для стабилизации.
В указанной работе систематически сравниваются автокорреляционная функция, коэффициент корреляции Пирсона, индекс структурного сходства SSIM и простая нейросетевая модель‑перцептрон, применяемые в режиме «скользящего окна» по эталонной карте. Используются различные стратегии обхода окна (прямой проход, проход с перекрытием, по спирали, случайный), а метриками служат время полного обхода для заданного размера окна и успешность нахождения целевой области, в том числе для зашумлённых и искажённых фрагментов карты. Полученные результаты показывают, что автокорреляционный подход при правильно выбранных параметрах окна обеспечивает наилучший компромисс между вычислительной сложностью и точностью: он демонстрирует высокую скорость обработки полного изображения и надёжно выделяет область соответствия как для оригинального, так и для искажённых фрагментов. Методы Пирсона и SSIM уступают по быстродействию при близкой или худшей точности, а нейросетевой перцептрон даёт заметно большую вычислительную нагрузку при ограниченном выигрыше по качеству.
Отдельный класс работ посвящён оптико‑электронным корреляционно‑экстремальным навигационным системам малого БПЛА. В таких системах по последовательности оптических изображений строится трёхмерная цифровая модель местности, после чего в полёте выполняется корреляционная обработка текущих и эталонных 3D‑моделей для коррекции инерциальной навигации. На основе эталонной модели M_{\mathrm{ref}} и текущих наблюдений M_{\mathrm{cur}} формируется функционал вида
J(p)=-\ Corr(M_{\mathrm{ref}},T(p)M_{\mathrm{cur}}),
где p описывает положение и ориентацию БПЛА, T(p) — оператор преобразования модели, а Corr — выбранная корреляционная метрика. Минимизация J(p) позволяет скорректировать оценку состояния инерциальной навигационной системы. В подобных работах подробно исследуется влияние высоты и скорости полёта, перекрытия кадров и периодичности коррекции ИНС на итоговую точность определения координат по эталонной 3D‑модели.
Корреляционно‑экстремальные навигационные системы в целом используют сопоставление текущих изображений с эталонной картой или 3D‑моделью местности для компенсации дрейфа ИНС и решения задач типа «вернуться в уже посещённую область». В ряде современных работ эталонная карта строится по данным оптико‑электронной системы в процессе предварительного облёта, после чего в полёте БПЛА периодически сравнивает текущий вид с фрагментами этой карты и уточняет свои координаты. При разумных ограничениях на высоту, скорость и частоту съёмки удаётся достигать приемлемой точности привязки для поддержания маршрута и коррекции навигации, включая фазу возврата в исходную точку, причём системы могут работать как в полностью автономном, так и в полуавтономном режиме.
Особое место занимают работы, где целью является возврат БПЛА в точку старта по данным бортовой видеокамеры. В одном из подходов маршрут от старта до момента потери спутниковой навигации используется для построения глобальной карты в системе географических координат, после чего на этапе возврата карта «замораживается», и полёт осуществляется за счёт локализации по ранее построенной карте без её дальнейшего расширения. Локализация сводится к сопоставлению текущих кадров с ближайшими по траектории эталонными фрагментами и оценке положения аппарата относительно координатной системы карты; по этим оценкам формируются управляющие воздействия для следования по маршруту в обратном направлении. Эксперименты, в том числе на квадрокоптере «DJI Phantom 3 Pro», показывают возможность устойчивого возвращения в окрестность исходной точки при отсутствии спутниковой навигации.
В другом подходе предлагается сопоставление текущих кадров при полёте «домой» с кадрами, ранее записанными при полёте «туда», с использованием меры сходства по яркостным и текстурным признакам. По максимальному значению меры сходства определяется индекс наиболее похожего кадра в эталонной последовательности, что фактически задаёт положение БПЛА вдоль маршрута. Это позволяет оценивать смещение вдоль трассы и корректировать курс даже без явной трёхмерной модели сцены.
Таким образом, корреляционно‑экстремальные методы и сопоставление видеопоследовательностей дают практически применимые решения задачи возврата в точку старта, которые могут быть реализованы на коммерческих БПЛА при относительно умеренных требованиях к вычислительным ресурсам. Для задачи возврата в точку старта они особенно привлекательны тем, что позволяют сопоставлять текущий кадр с локальными фрагментами эталонной карты вдоль маршрута без построения полной плотной карты сцены и без сложной фактор‑графовой оптимизации, что делает такие подходы перспективными для малогабаритных БПЛА с ограниченными ресурсами.