Реферат по теме выпускной работы магистра

Автор: Середа Андрей Александрович

Тема работы: "Разработка автоматизированной системы анализа видеозаписей спортивных соревнований"

Руководитель: кандидат технических наук, доцент, Ладыженский Юрий Валентинович

Содержание

Введение

Моя работа посвящена разработке автоматизированной системы анализа видеозаписей спортивных соревнований, в частности, футбольных матчей, предназначенной для тренеров команд. Назначение системы - анализировать видеозаписи футбольного матча и на их основе рассчитывать и визуализировать различные данные, которые могут помочь тренеру при анализе матча.

Система состоит из 2 основных частей: подсистемы анализа видеозаписей и подсистемы анализа траекторий объектов.

Входными данными подсистемы анализа видеозаписей являются:

1. Один или несколько видеофайлов. Каждый из видеофайлов получен с помощью отдельной видеокамеры и содержит видеозапись всего матча. Все видеокамеры цветные, неподвижные и снимают стадион под разными ракурсами. При этом каждый участок поля попадает в поле зрения как минимум одной камеры.
2. Данные, необходимые для перевода координат точек из системы координат кадров в систему координат поля и обратно.
3. Дополнительные сведения о матче (цвета форм команд, геометрические параметры поля, и т.д.).

Выходными данными подсистемы анализа видеозаписей являются траектории объектов на поле на протяжении всего матча. Под объектами понимаются игроки, судьи и мяч.

Подсистема анализа траекторий вычисляет по полученным траекториям различные статистические данные (скорости и перемещения игроков, число подач, время владения мячом, часто посещаемые области поля, и т.п.), моделирует отдельные моменты матча анимацией, и т.д.

Упрощенная схема работы разрабатываемой системы

В моей работе внимание уделяется в первую очередь разработке подсистемы анализа видеозаписей.

Цели и задачи работы

1. Исследовать существующие подходы к решению задачи нахождения траекторий игроков по видеозаписям.
2. Разработать и реализовать практически применимый алгоритм нахождения траекторий игроков по видеозаписям, способный работать с небольшим числом камер и минимизирующий процесс автоматизированного ввода.
3. Исследовать эффективность разработанного алгоритма при различных условиях в сравнении с другими существующими алгоритмами.

Актуальность разработки

Как известно, футбол - чрезвычайно популярная игра. Футбольные клубы готовы платить большие деньги за любую разработку, которая может повысить эффективность труда тренера. Поэтому разрабатываемая система востребована на современном рынке.

Подобные системы уже существуют, однако они обладают определенными недостатками:

1. Высокая стоимость.
2. Большое количество используемых камер.
3. Невозможность быстро переносить с одного стадиона на другой.
4. Большой объем вводимой вручную информации.

Как видно, разработка системы, способной использовать небольшое число камер (2-4), которые могут быть установлены не в строго определенных местах, а также максимально автоматизирующей процесс анализа видео и минимизирующей ручной ввод является актуальной.

Научная новизна

В данной работе разрабатывается и реализуется алгоритм отслеживания объектов, способный эффективно работать с небольшим числом камер не высокого качества. Предполагается, что создаваемый алгоритм будет достаточно быстрым и точным. Выполняется исследование факторов, влияющих на его скорость и качество работы. Также может быть проведено сравнительное исследование эффективности нескольких различных алгоритмов отслеживания объектов.

Обзор существующих решений

В настоящее время существуют 2 автоматизированных системы, осуществляющих компьютеризированный анализ футбольных матчей на основе данных, полученных из видеозаписей [1].

Английская компания ProZone в настоящее время предлагает систему ProZone3 - Fottball. Анализ матча, выполняемый этой системой включает в себя 5 частей: статистику, анализ тактики (протоколирование и просмотр игровых событий, показ распределения сил команды по полю, и т.п.), анимацию (на двумерном поле футболисты изображаются кружками с номерами), анализ физического состояния игроков (изменение скорости игрока во время матча, перемещение за время матча и т.п.), и утилиту для демонстрации результатов анализа на презентациях. Для получения видео используется 8 камер, расположенных в разных точках стадиона. Ручной ввод используется для протоколирования игровых событий и для разрешения автоматически нераспознанных ситуаций. Эту систему используют такие известные клубы как Манчестер Юнайтед и Арсенал.

Французская компания Sport Universal представляет несколько продуктов, связанных с компьютеризированным анализом спортивных соревнований. Среди них - система Amisco Pro, предназначенная для анализа футбольных матчей. Эта система схожа с ProZone по предоставляемым функциям и интерфейсу. Распространена в основном среди клубов Франции и Испании, среди которых есть такие клубы, как Реал (Мадрид) и Олимпик (Марсель).

Существуют и множество других систем, близких разрабатываемой системе по принципам функционирования или сфере использования. Система Digital Sport Information компании Trakus, предназначенная для компьютеризированного анализа спортивных соревнований, осуществляют захват движения, используя датчики, закрепленные на игроках. Система SporTrack компании Orad также использует датчики, но предназначена не для анализа матчей тренером, а для отображения информации в реальном времени во время трансляции мачта. Видеоанализ теннисных матчей в реальном времени осуществляет система компании LucentVision, также предназначена для организации трансляций. Системы Digital Soccer помогает осуществлять объективный анализ матча, но всю информацию о матче необходимо вводить вручную. Системы SportsCode компании Sportstec и PlayBack компании ProZone позволяют просматривать и редактировать видеозаписи матча, но не производят автоматизированного анализа. Кроме того, отслеживание движущихся объектов при помощи анализа видео, применяется в охранных системах, системах контроля дорожного трафика, системах захвата движений человека для киноиндустрии и других системах.

Обзор существующих методов

Задачу отслеживания объектов по видеозаписи их движения можно разбить на 2 подзадачи:

1. Выделение изображений объектов или их частей в одном кадре (сегментация изображения)
2. Отслеживание перемещений объектов с течением времени.

В настоящее время разработано и описано множество алгоритмов, методов и подходов к решению этих задач. Ниже описаны все основные подходы, а также трудности, возникающие при их применении.

Фильтрация изображения

Эффективность всех сегментации можно повысить, если предварительно провести фильтрацию изображения. Фильтрация может быть использована для устранения шума, устранения хроматических и геометрических аберраций, повышения резкости и контрастности изображений. Могут использоваться и более сложные фильтры, например, устраняющие тени футболистов на поле.

Методы сегментации

Задачей сегментации в разрабатываемой системе является попиксельное выделение в текущем кадре изображений игроков и мяча. Главными проблемами, возникающими при сегментации, являются:

1. Частичное или полное перекрытие одними игроками других.
2. Низкое качество изображения некоторых записей (шумы, малая резкость, аберрации, артефакты сжатия).
3. Тени футболистов на поле.
4. Неоднородность фона (наличие линий разметки и неоднородный фон области за пределами поля).
5. Большой объем обрабатываемых данных требует высокой скорости работы алгоритмов.

Поиск определенных цветов

Это самый простой метод выделения объектов на изображении. Например, если команда имеет форму оранжевого цвета, то игроков изображения футболок игроков можно найти просто поиском оранжевых пикселей.

Проведенные эксперименты показали, что на реальных видеозаписях матча выделение таким способом всех градаций серого цвета, а также всех темных цветов сильно затруднено в связи с наличием на поле теней игроков, линий разметки и сильного искажения цветов изображений игроков (все цвета смешаны с зеленым). Однако, этот подход может быть использован совместно с другими методами.

Сравнение кадра с предыдущим кадром

Данный кадр сравнивается попиксельно с предыдущим кадром. Разницу между цветами двух пикселей можно определять, например, как сумму квадратов разностей их цветовых компонент. Если в какой-то его части не было движущихся объектов, то разность цветов в этой области будет малой, а если происходило движение - то большой.

Совокупность всех выделенных пикселей указывает на примерное положение движущихся объектов в кадре, но не соответствует изображениям этих объектов. Кроме того, не выделяются объекты, неподвижные в данном кадре. Поэтому в рассматриваемой задаче этот подход плохо применим. Обычно он применяется в системах, не отслеживающих движущиеся объекты, а лишь регистрирующих движение, например, в охранных.

Вычитание из фона

Пусть для данной камеры имеется фоновое изображению, соответствующее виду поля без футболистов и мяча. Тогда чтобы выделить объекты в некотором кадре достаточно сравнить попиксельно этот кадр с имеющимся фоновым изображением. Пиксели, для которых разница цвета меньше порогового значения, определяются как относящиеся к фону, а те, для которых больше - как относящиеся к объектам. Этот метод, как и все описанные выше, не способен отделять объекты, частично накладывающиеся друг на друга [1], [2], [5].

В текущей версии разрабатываемой системы используется именно этот метод.

Фоновое изображение может быть получено явно съемкой поля в тот момент, когда на нем нет объектов, построено вручную из фрагментов разных кадров или найдено автоматически по последовательности кадров с объектами. Автоматическое получение фонового изображения является предпочтительным, поскольку облегчает труд операторов системы.

Наложение шаблонов

В программе имеется библиотека изображений, содержащая изображения игроков во всех характерных позах. Изображения раскрашиваются в цвета формы команд. Найти игроков в кадре можно последовательно сравнивая все шаблоны с каждым участком изображения, учитывая ожидаемые размеры игрока в данном месте кадра. Этот метод при большом числе шаблонов является достаточно точным, но очень медленным. При определенной реализации наложение шаблонов может разрешать ситуации, когда объекты частично перекрывают друг друга. Для его ускорения можно предварительно находить области, сравниваемые с шаблонами, более быстрыми алгоритмами [1].

Другой подход - не хранить библиотеку шаблонов, а использовать как шаблон изображение объекта в предыдущем кадре. Это существенно сокращает количество шаблонов (до 1) и ускоряет алгоритм. Однако, существует вероятность, что в качестве шаблона на некотором шаге может быть использовано не изображение объекта, что вызовет ошибки отслеживания. Этот метод эффективен в видеопоследовательностях с высокой частотой кадров и менее эффективен с низкой (когда за время одного кадра изображение объекта может претерпеть существенные деформации).

Кластеризация

Кластеризации при сегментации изображений - это нахождение однородных областей изображения (имеющих примерно одинаковый цвет, текстуру и, возможно, некоторые другие параметры). Кластеризация дает гораздо больше ценной информации, чем, например, вычитание из фона для последующей процедуры отслеживания объектов. Например, можно отдельно выделять футболку, шорты и конечности игрока. Это делает возможным разрешать случаи частичного перекрытия объектов. Кластеризация занимает много времени. Для первоначального определения областей изображения, в которых происходит сегментация посредствам кластеризации, можно использовать более быстрые алгоритмы, например, вычитание из фона [3].

Нахождение участков изображения с определенными признаками

Существуют методы выделения изображений объектов, базирующиеся на нахождении некоторых характерных участков изображений. Такими участками могут быть, например, углы или цветовые метки. Метод может работать достаточно быстро и может разрешать случаи частичного перекрытия объектов. Однако, этот метод плохо подходит для поиска изображений людей, поскольку их изображения подвержены сильным деформациям [4].

Нейронные сети

Для поиска изображений объектов можно использовать нейронные сети. На практике они показывают хорошие результаты во многих приложениях, связанных с распознаванием образов. Однако, при программной реализация обладают невысоким быстродействием.

Отслеживание объектов

Цель отслеживания - для каждого объекта, определить его положение на всех кадрах, на которых он присутствует. Другими словами, необходимо найти соответствие между идентичными объектами на различных кадрах.

В некоторых задачах возможно производить идентификацию объектов непосредственно в каждом кадре. Например, при анализе снимка бильярдного стола все шары можно опознать по цвету. В таком случае задача отслеживания становится тривиальной.

При анализе футбольного матча для данного объекта на поле возможно определить его тип (мяч или человек), а для объектов-людей - цвет формы (команда 1, команда 2, судья, и т.п.). Качества видеозаписи, полученной недорогими камерами без телеобъективов, недостаточно для идентификации отдельных игроков, например, по номерам на форме. Поэтому в разрабатываемой системе номера всех вновь появляющихся на поле объектов задаются вручную, а затем автоматически отслеживаются перемещения объекта с сохранением его номера.

Простейший подход

Простейший подход заключается в том, чтобы выделять изображения объектов в каждом кадре, а затем сопоставлять объекты, найденные на двух соседних кадрах. Например, можно каждому объекту на одном кадре сопоставлять ближайший к нему объект другого кадра. Этот метод обладает меньшей скоростью и качеством, чем метод, использующий прогнозирование, поэтому его нецелесообразно применять на практике.

Прогнозирование положения объектов

При определении положения объектов в текущем кадре целесообразно использовать информацию об их координатах и скорости на предыдущем кадре. На основе этих данных для каждого ранее найденного объекта можно предсказать область, где он будет находиться на текущем кадре, и производить поиск объектов только в этих областях [1],[2]. Этот подход имеет 2 преимущества по сравнению с предыдущим:

1. Меньший объем выполняемых вычислений.
2. Частично решается задача сопоставления объектов на двух кадрах

Чтобы не пропустить появление на кадре новых объектов, необходимо периодически не только отслеживать существующие объекты, но и производить поиск новых по всему кадру. Для предсказания областей возможного нахождения объектов нужно построить математическую модель их движения, учитывающую их особенности (например, максимально возможные скорость и ускорение).

На рисунке ниже приведена демонстрация отслеживании положения одного объекта с сегментацией на основе вычитания из фона.

Демонстрация отслеживания объекта с использованием предсказания координат (анимация, 7 кадров)

Системы координат

В задаче отслеживания координат движущихся объектов присутствуют 2 системы координат (далее СК): СК реального мира (например, двумерную декартову СК, связанную с футбольным полем) и СК, связанную с кадром. При отслеживании объектов и прогнозировании их координат можно:

1. Отслеживать координаты объектов в СК поля. Координаты обнаруженных изображений объектов в кадре сразу переводить в СК поля. В настоящий момент реализован именно этот метод.
2. Отслеживать координаты объектов в СК экрана. Переводить координаты в СК поля только перед получением окончательного результата.
3. Отслеживать одновременно объекты на экране и на поле.

Третий подход является наиболее точным.

Для перевода из одной СК в другую необходимо знать положение камеры относительно поля, ее угол поворота и угол обзора. Можно также не иметь в явном виде сведений о расположении камеры, но использовать матрицы преобразования координат, также учитывая перспективу. Последний вариант является предпочтительными, т.к. избавляет пользователя от необходимости проводить сложные измерения.

Столкновения объектов

Главной проблемой всех алгоритмов отслеживания объектов, являющейся в общем случае неразрешимой, является проблема столкновений объектов. Под столкновением понимается ситуация, когда изображение одного объекта в кадре частично или полностью перекрывает изображение другого.

Чтобы получить правильные траектории объектов необходимо разрешать все столкновения объектов вручную. Рассмотрим один из способов организации ручного ввода. Пусть до столкновения каждый объект имел свой уникальный номер. После того, как несколько объектов столкнулись и разделились, каждый из вышедших из столкновения объектов получает новый уникальный номер. Для каждого нового номера сохраняется список номеров старых объектов, которым мог бы соответствовать этот новый объект. Пользователю предъявляются несколько кадров (например, до столкновения, во время столкновения и после столкновения) и для каждого объекта после столкновения предлагается выбрать один из нескольких возможных объектов до столкновения, которым он на самом деле является.

Такую ручную корректировку можно выполнять во время анализа сразу при возникновении столкновений видео или после завершения анализа всего матча. Второй вариант являет предпочтительным, поскольку экономит время оператора, и поэтому используется в разрабатываемой системе.

Полностью разрешить часть столкновений или сократить число возможных вариантов выбора помогает анализ скоростей и цветов объектов, а также некоторые другие эвристики. Например, в случае столкновения двух игроков разных команд ручного ввода вообще не требуется.

Сложные алгоритмы сегментации, такие, как кластеризация, могут в некоторых случаях правильно разделять частично перекрывающиеся объекты, что может существенно сократить объем ручного ввода [2].

Отслеживание мяча

В целом для отслеживания мяча применяются те же методы, что и при отслеживании людей на поле. Особенности состоят в следующем:

1. Мяч движется быстрей игроков.
2. Изображение мяча не изменяет свою форму.
3. Мяч может пролетать высоко над полем на фоне трибун, где очень трудно обнаружить его изображения.
4. Значительную часть времени его изображение сливается с изображением одного из игроков.

Для отслеживания мяча, который находится у игрока можно не пытаться отделить изображение мяча от изображения игрока, пометить игрока как "владеющего мячом" и определять момент, когда изображения мяча и игрока разделятся [1], [6].

Текущие результаты

1. Разработан удобный для пользователя способ нахождения матриц преобразований координат из СК кадров в СК поля и обратно.
2. Разработан и реализован алгоритм выделения фонового изображения из последовательности кадров.
3. Реализован алгоритм поиска объектов в кадре методом вычитания из фона.
4. Разработан и реализован эффективный способ фильтрации теней футболистов на поле.
5. Разработана и реализована простая модель движения человека.
6. Разработан и реализован алгоритм отслеживания объектов, способный работать с несколькими камерами. В алгоритме были применены несколько эвристик, позволяющих разрешать некоторые случаи столкновения объектов без участия человека.

Было проведено испытание реализованного алгоритма. Средствами трехмерного моделирования были созданы 2 видеоролика разрешением 320x200 из 20 кадров, соответствующих двум камерам, снимающим движение четырех объектов с разных точек. В течении видеоролика происходило 2 столкновения объектов. Траектории объектов были найдены без ошибок. На компьютере с процессором Athlon XP 2200+ анализ длился 0.6 с. На реальной видеозаписи разрешением 720x580 из 60 кадров с 13 игроками время работы составило 3.2 с. Однако, качество распознавания на данной стадии разработки оказалось недостаточным для практического использования.

В настоящее время ведется работа по улучшению качества отслеживания объектов на реальных видеозаписях низкого качества.

Выводы

Тема исследования является актуальной. Задача является разрешимой, существуют реальные системы, решающие ее. Однако, эти системы не лишены недостатков и потребность в новой системе с улучшенными характеристиками все еще существует. Были рассмотрены основные подходы к решению поставленной задачи. В рамках данной работы были реализованы некоторые алгоритмы. К настоящему моменту точность реализованных алгоритмов еще недостаточна для практического применения. Основную проблему составляет соотнесение изображений в кадре и объектов на поле для близко расположенных объектов. Ведется работа по повышению точности алгоритмов анализа изображений. Предполагается кроме отслеживания объектов на поле производить непосредственное отслеживание их изображений в видеозаписи.

Ожидаемое время окончания работы - январь 2007 года. Данный реферат фиксирует текущее состояние разработки. Материалы, касающиеся дынной работы, Вы сможете получить у автора работы или руководителя после защиты работы в январе 2007 года.

Список использованной литературы

1. D. Setterwall. Computerised Video Analys of Football - Technics and Commercial Possibilities for Football Coaching. Masters Thesis in computer science.
   http://cid.nada.kth.se/pdf/247.pdf
   

2. Виктор Гаганов, Антон Конушин. Сегментация движущихся объектов в видео
   http://cgm.graphicon.ru/obzoryi/segmentatsiya_dvizhuschihsya_obektov_v_video_potoke..html
   

3. Tracking video objects in cluttered background. A. Cavallaro, O. Steiger, T. Ebrahimi.
   http://lts1pc19.epfl.ch/repository/Cavallaro2004_865.pdf
   

4. P. Roman. A comparison of visual feature tracking methods for traffic monitoring
   http://www.icg.tu-graz.ac.at/pub/pdf/pflugfelderOGAI2000
   Сравненительный анализ разлиичных методов отслеживания, основанных на поиске особенностей изображений

5. Background Information Fusion and its Application in Video Target Tracking. Y. Chen, C. Han, X. Kang
   http://www.fusion2004.foi.se/papers/IF04-0747.pdf
   

6. V. Lumikero. Football Tracking in Wide-Screen Video Sequences. Master's Thesis in Computer Science at the School of Electrical Engineering, Royal Insitute of Technology
   http://www.nada.kth.se/utbildning/grukth/exjobb/rapportlistor/2004/rapporter04/lumikero_ville_04010.pdf