26 lines
7.4 KiB
Markdown
26 lines
7.4 KiB
Markdown
1.8 Метрики оценки качества навигации и возврата
|
||
|
||
Визуально‑инерциальные алгоритмы традиционно оцениваются с использованием наборов данных EuRoC, TUM‑VI, KITTI и др., где для каждого датасета известна «истинная» траектория. Наиболее распространённые метрики:
|
||
ATE (Absolute Trajectory Error) – среднеквадратическая ошибка по положению между восстановленной и эталонной траекториями, измеряемая по всей длине маршрута; часто используется как интегральный показатель качества VIO‑алгоритма;
|
||
RPE (Relative Pose Error) – ошибка относительного смещения и поворота на фиксированном временном горизонте, характеризующая локальную стабильность и дрейф [19];
|
||
процентная ошибка по расстоянию – отношение ошибки конечного положения к длине траектории, выраженное в процентах; для ряда VIO‑решений она составляет доли процента даже на километровых дистанциях.
|
||
ATE измеряет насколько далеко в среднем лежит оцененная траектория от истинной после выравнивания. Для каждого момента времени i есть истинные позы БПЛА T_i^{gt} (ground truth) и оцененные позы T_i^{est} (estimated). Определим матрицу S, преобразовывает каждую оцененную позу таким образом, что суммарная разница между позами минимизируется. Для каждого момента времени определим ошибку
|
||
E_i=\left(T_i^{gt}\right)^{-1}ST_i^{est}
|
||
Итоговая метрика определяется следующим образом:
|
||
ATE_{RMSE}=\sqrt{\frac{1}{N}\sum_{i}\left|\left|trans\left(E_i\right)\right|\right|^2},
|
||
где trans\left(E_i\right) – норма трансляции, иными словами – смещение, а N – количество кадров. Для интуитивного понимания можно представить, что ATE характеризует насколько в среднем расходится оцененная траектория полета от истинной в каждый момент времени.
|
||
RPE измеряет локальную ошибку относительного движения на фиксированном интервале (между кадрами). Для этого в каждый момент времени i рассчитывается относительное движение истинной траектории:
|
||
\Delta T_i^{gt}=\left(T_i^{gt}\right)^{-1}T_{i+\Delta}^{gt}
|
||
И похожим образом для оцененной траектории:
|
||
\Delta T_i^{est}=\left(T_i^{est}\right)^{-1}T_{i+\Delta}^{est}
|
||
Теперь, разница между различными смещен рассчитывается по следующей формуле:
|
||
E_i^{rel}=\left(\Delta T_i^{gt}\right)^{-1}\Delta T_i^{est}
|
||
Аналогичным образом высчитывается средняя ошибка на каждый переход кадров. Преимущество RPE в том, что он не зависит от начального смещения и ориентации и лучше показывает накопление ошибок со временем.
|
||
Данные метрики применяются в различных публикациях. Например, в работе по SP‑VIO показано, что алгоритм обеспечивает более низкий ATE по сравнению с VINS‑Mono и OpenVINS как на общеизвестных датасетах (EuRoC, TUM‑VI, KITTI), так и на собственных данных, при этом сохраняется вычислительная эффективность, характерная для фильтрационных подходов. В экспериментах с автомобильной траекторией длиной порядка 4.5 км достигнута ошибка порядка долей процента, что критично для задач возврата: подобная точность позволяет вернуться в небольшую окрестность исходной точки без внешней навигации.
|
||
Для аппаратного ускорителя «Navion» оцениваются как точность траектории, так и энергетическая эффективность; средняя ошибка траектории составляет около 0.28% на сложном мультироторном датасете EuRoC, при этом потребляемая мощность — всего порядка 24 мВт при частоте обработки до 171 кадр/с. Такие характеристики демонстрируют, что при соответствующей аппаратной поддержке VIO может выступать в качестве базового навигационного ядра и для задачи возврата [15].
|
||
Для корреляционно‑экстремальных систем вводятся метрики:
|
||
максимальная ошибка привязки искомой области к карте (в пикселях карты или в метрах на местности);
|
||
вероятность правильного обнаружения области при зашумлении, затемнении и искажениях (моделируется как имитация «domain shift» между разными источниками изображений);
|
||
время обхода карты при различных стратегиях сканирования (прямой обход, обход с перекрытием, по спирали, случайный), определяющее возможность работы в реальном времени.
|
||
В исследовании Беляева и Зикратова проводится количественное сравнение нескольких корреляционных метрик (автокорреляция, коэффициент Пирсона, SSIM, однослойный перцептрон) по точности обнаружения и времени обработки при различных режимах обхода скользящего окна [3]. Показано, что автокорреляционный подход обеспечивает оптимальное сочетание точности и быстродействия, а также устойчив к зашумлению и искажению эталонной карты.
|