7.4 KiB
1.8 Метрики оценки качества навигации и возврата
Визуально‑инерциальные алгоритмы традиционно оцениваются с использованием наборов данных EuRoC, TUM‑VI, KITTI и др., где для каждого датасета известна «истинная» траектория. Наиболее распространённые метрики: ATE (Absolute Trajectory Error) – среднеквадратическая ошибка по положению между восстановленной и эталонной траекториями, измеряемая по всей длине маршрута; часто используется как интегральный показатель качества VIO‑алгоритма; RPE (Relative Pose Error) – ошибка относительного смещения и поворота на фиксированном временном горизонте, характеризующая локальную стабильность и дрейф [19]; процентная ошибка по расстоянию – отношение ошибки конечного положения к длине траектории, выраженное в процентах; для ряда VIO‑решений она составляет доли процента даже на километровых дистанциях. ATE измеряет насколько далеко в среднем лежит оцененная траектория от истинной после выравнивания. Для каждого момента времени i есть истинные позы БПЛА T_i^{gt} (ground truth) и оцененные позы T_i^{est} (estimated). Определим матрицу S, преобразовывает каждую оцененную позу таким образом, что суммарная разница между позами минимизируется. Для каждого момента времени определим ошибку E_i=\left(T_i^{gt}\right)^{-1}ST_i^{est} Итоговая метрика определяется следующим образом: ATE_{RMSE}=\sqrt{\frac{1}{N}\sum_{i}\left|\left|trans\left(E_i\right)\right|\right|^2}, где trans\left(E_i\right) – норма трансляции, иными словами – смещение, а N – количество кадров. Для интуитивного понимания можно представить, что ATE характеризует насколько в среднем расходится оцененная траектория полета от истинной в каждый момент времени. RPE измеряет локальную ошибку относительного движения на фиксированном интервале (между кадрами). Для этого в каждый момент времени i рассчитывается относительное движение истинной траектории: \Delta T_i^{gt}=\left(T_i^{gt}\right)^{-1}T_{i+\Delta}^{gt} И похожим образом для оцененной траектории: \Delta T_i^{est}=\left(T_i^{est}\right)^{-1}T_{i+\Delta}^{est} Теперь, разница между различными смещен рассчитывается по следующей формуле: E_i^{rel}=\left(\Delta T_i^{gt}\right)^{-1}\Delta T_i^{est} Аналогичным образом высчитывается средняя ошибка на каждый переход кадров. Преимущество RPE в том, что он не зависит от начального смещения и ориентации и лучше показывает накопление ошибок со временем. Данные метрики применяются в различных публикациях. Например, в работе по SP‑VIO показано, что алгоритм обеспечивает более низкий ATE по сравнению с VINS‑Mono и OpenVINS как на общеизвестных датасетах (EuRoC, TUM‑VI, KITTI), так и на собственных данных, при этом сохраняется вычислительная эффективность, характерная для фильтрационных подходов. В экспериментах с автомобильной траекторией длиной порядка 4.5 км достигнута ошибка порядка долей процента, что критично для задач возврата: подобная точность позволяет вернуться в небольшую окрестность исходной точки без внешней навигации. Для аппаратного ускорителя «Navion» оцениваются как точность траектории, так и энергетическая эффективность; средняя ошибка траектории составляет около 0.28% на сложном мультироторном датасете EuRoC, при этом потребляемая мощность — всего порядка 24 мВт при частоте обработки до 171 кадр/с. Такие характеристики демонстрируют, что при соответствующей аппаратной поддержке VIO может выступать в качестве базового навигационного ядра и для задачи возврата [15]. Для корреляционно‑экстремальных систем вводятся метрики: максимальная ошибка привязки искомой области к карте (в пикселях карты или в метрах на местности); вероятность правильного обнаружения области при зашумлении, затемнении и искажениях (моделируется как имитация «domain shift» между разными источниками изображений); время обхода карты при различных стратегиях сканирования (прямой обход, обход с перекрытием, по спирали, случайный), определяющее возможность работы в реальном времени. В исследовании Беляева и Зикратова проводится количественное сравнение нескольких корреляционных метрик (автокорреляция, коэффициент Пирсона, SSIM, однослойный перцептрон) по точности обнаружения и времени обработки при различных режимах обхода скользящего окна [3]. Показано, что автокорреляционный подход обеспечивает оптимальное сочетание точности и быстродействия, а также устойчив к зашумлению и искажению эталонной карты.