Kitty Points Leaderboard

О KITTI Vision Benchmark Suite

KITTI Vision Benchmark Suite — это набор реальных данных и эталонных тестов, созданный совместно Karlsruher Institut für Technologie и Toyota Technological Institute at Chicago. Проект ориентирован на задачи компьютерного зрения, возникающие в системах автономного вождения: стереоскопическое зрение, оптический поток, визуальная одометрия, 3D‑детекция объектов и их трекинг. Данные собирались на обычном автомобиле, оборудованным двумя высококачественными цветными и серыми видеокамерами, лазерным сканером Velodyne и GPS/IMU блоком, что обеспечивает точную разметку сцены и высококачественное ground truth.

Состав и структура набора данных

• Сырые последовательности изображений (RAW) с калибровкой всех датчиков.
• Подготовленные бенчмарки для стерео (2012, 2015), оптического потока (2012, 2015), сценарного потока (2015), глубины (completion и prediction), одометрии, детекции 2D и 3D объектов, bird’s‑eye view оценки, семантической и экземплярной сегментации дорожной разметки, а также трекинга объектов (MOT, MOTS).
• Для каждого теста предоставлены скрипты оценки, метрики (например, Average Precision, HOTA для трекинга) и готовые результаты для сравнения с опубликованными методами.
• Все данные распространяются под лицензией Creative Commons Attribution‑NonCommercial‑ShareAlike 3.0, то есть бесплатно для академических и исследовательских целей.

Как работать с KITTI

Для начала работы достаточно загрузить нужный набор с официального сайта http://www.cvlibs.net/datasets/kitti/. Данные доступны в виде архивов с изображениями, файлами калибровки (.txt), метками ground truth и devkit‑ами на MATLAB и Python. Devkit содержит функции для чтения данных, визуализации и запуска оценки. Типичный workflow:

• Распаковываем архив с нужным бенчмарком (например, 2012_stereo).
• Подключаем devkit к своему проекту, загружаем изображения и калибровку.
• Запускаем свой алгоритм, получаем результаты в требуемом формате ( disparity map, flow field, bounding boxes и т.д.).
• Воспользуемся скриптом оценки из devkit, который выведет метрики и сравнит с baseline‑ами.
• При желании можно отправить свои результаты на сервер для inclusion в официальный рейтинг.

Преимущества

• Реалистичные условия: съёмка проводилась в городской среде, загородных трассах и на автомагистралях, с переменным освещением и погодой.
• Богатство аннотаций: помимо disparity и flow предоставлены 3D‑боксы, сегментации road, lane, а также метаданные о положении камеры и скорости.
• Множество взаимосвязанных задач позволяет проводить комплексные исследования (например, совместная оценка потока и детекции).
• Высококачественное ground truth, проверенное несколькими независимыми источниками (Velodyne, GPS, ручная разметка).
• Открытая лицензия и бесплатный доступ для научного сообщества.
• Регулярные обновления и добавление новых бенчмарков (MOTS, семантическая сегментация, bird’s‑eye view 3D-детекция).

Ограничения

• Набор ориентирован исключительно на исследовательское и академическое использование; коммерческое применение запрещено лицензией CC‑BY‑NC‑SA.
• Требует определённого уровня expertise: работа с большими объёмами данных, калибровкой датчиков и пониманием форматов меток.
• Отсутствует готовый graphical user interface; всё делается через скрипты и командную строку.
• Размер отдельных наборов может достигать нескольких десятков гигабайт, что требует достаточное дисковое пространство и быстрый интернет для загрузки.
• Некоторые бенчмарки обновлялись нерегулярно, поэтому при сравнении со старыми результатами нужно проверять версию протокола оценки.

Итого, KITTI остаётся одним из самых авторитетных и widely‑used источников данных для разработки и тестирования алгоритмов компьютерного зрения в условиях, приближённых к реальным сценариям автономного вождения. Его открытость, разнообразие задач и качественная разметка делают его indispens‑able инструментом для исследователей, студентов и инженеров, работающих над распознаванием сцены, глубиной, потоком и трекингом объектов.