Об'ємно - Просторова модель. Методика побудови просторово-часових та трендових ем Просторові та динамічні моделі

Існує клас завдань, в яких особливу важливість набуває інформація структурі та русі об'єктів складної сцени (відеоспостереження в закритих приміщеннях, у місцях великого скупчення людей, управління рухом робототехнічних комплексів, спостереження за рухом транспортних засобів і т.д.). Послідовності зображень є складним інформаційним ресурсом, структурованим у просторі та в часі та об'єднує вихідну інформацію у вигляді багатовимірних сигналів, форму її представлення в комп'ютері та фізичні моделі динамічних об'єктів, явищ, процесів. Нові технічні можливості цифрової обробки зображень дозволяють частково враховувати таку специфіку зображень, використовуючи одночасно досягнення когнітивної теорії сприйняття зорових образів.

Аналіз просторово-часового обсягу даних дозволяє виявляти як статичні, а й динамічні ознаки об'єктів спостереження. І тут завдання розпізнавання можна з'ясувати, як класифікацію сукупностей станів чи як класифікацію траєкторій, вирішення якої може бути знайдено класичними методами розпізнавання, т.к. тимчасові переходи можуть породжувати перетворення зображень, що не описуються відомими аналітичними залежностями; Також поряд із завданням розпізнавання динамічних об'єктів виникають завдання розпізнавання активних дій та подій, наприклад, для виявлення несанкціонованих дій у місцях скупчення людей або визначення жанру сцени для індексації у мультимедійних базах даних. Якщо розглядати завдання розпізнавання об'єктів і подій за послідовностями зображень як єдиного процесу, то найбільш доцільним є ієрархічний підхід з елементами паралельної обробки кожному рівні.

Удосконалення технічних засобів збору та відтворення інформації у вигляді статичних зображень (фотографій) та відеопослідовностей потребує подальшого розвитку методів та алгоритмів їх обробки, аналізу ситуацій та розпізнавання зображених об'єктів. Початкова теоретична постановка задачі розпізнавання зображень відноситься до 1960-1970 років. і відбито у ряді робіт відомих авторів. Постановка завдання розпізнавання зображень може змінюватись від власне завдання розпізнавання об'єктів, задач аналізу сцен до завдань розуміння зображень та проблем машинного зору. При цьому системи прийняття інтелектуальних рішень, що базуються на методах розпізнавання образів та зображень, використовують вхідну інформацію комплексного типу. До неї відносяться як зображення, отримані в широкому хвильовому діапазоні електромагнітного спектра (ультрафіолетовому, видимому, інфрачервоному та ін), так і інформація у вигляді звукових образів та локаційних даних. Незважаючи на різну фізичну природу, таку інформацію можна подати у вигляді реальних зображень об'єктів та специфічних зображень. Радіометричні дані - це плоскі зображення сцени, представлені у перспективній чи ортогональній проекції. Вони формуються шляхом вимірювання інтенсивності електромагнітних хвиль певного спектрального діапазону, які відображені або випромінюються об'єктами сцени. Зазвичай використовують фотометричні дані, виміряні у видимому спектральному діапазоні - монохроматичні (яскраві)* або кольорові зображення: Локаційні дані - це просторові координати точок сцени, що спостерігаються. Якщо координати виміряні для всіх точок сцени, такий масив локаційних даних можна назвати зображенням глибини сцени. Існують спрощені моделі зображень (наприклад, моделі афінної проекції, представлені слабоперспективними, пара-перспективними, ортогональними та паралельними проекціями), в яких глибина сцени вважається постійною величиною, і локаційне зображення сцени не несе корисної інформації. Звукова інформація має у разі допоміжний подієвий характер.

Найбільш оперативно вимірюються фотометричні дані. Локаційна інформація, як правило, обчислюється за даними, які отримують від спеціальних пристроїв (наприклад, лазерного далекоміра, радіолокатора) або з використанням стереоскопічного методу аналізу зображень яскравих. Внаслідок труднощів оперативного отримання локаційних даних (особливо для сцен з формою візуальних об'єктів, що швидко змінюється) переважають завдання опису сцени по одному візуальному зображенню, тобто. Завдання монокулярного зорового сприйняття сцени. Загалом повністю визначити геометрію сцени по одному зображенню неможливо. Тільки за певних обмежень для досить простих модельних сцен та наявності апріорних відомостей про просторове розташування об'єктів вдається побудувати повний тривимірний опис по одному зображенню. Одним із способів виходу з даної ситуації є обробка та аналіз відеопослідовностей, отриманих від однієї або декількох відеокамер, встановлених нерухомо або що переміщуються у просторі.

Таким чином, зображення є основною формою представлення інформації про реальний світ, і потрібен подальший розвиток методів перетворення та семантичного аналізу як окремих зображень, так і послідовностей. Одним з найважливіших напрямів розробки таких інтелектуальних систем є автоматизація вибору методів опису та перетворення зображень з урахуванням їх інформаційної природи та цілей розпізнавання вже на початкових етапах обробки зображень.

Перші роботи дослідників із США (Louisiana State University, Carnegie Mellon University, Pittsburgh), Швеції ("Computational Vision and Active Perception Laboratory (CVAP), Department of Numerical Analysis and Computer Science), Франції (INRIA), Великобританії (University of Leeds) , ФРН (University of Karlsruhe), Австрії (University of Queensland), Японії, Китаю (School of Computer Science, Fudan University) з обробки послідовностей зображень та розпізнавання динамічних об'єктів були опубліковані в кінці 1980-х рр. Пізніше аналогічні роботи стали з'являтися і у Росії: у Москві (МДУ, МАІ (ДТУ), МФТІ, ДержНДІ АС), С.Петербурзі (СПбДУ, ГУАП, ФГУП ГОІ, ЛОМО), Рязані (РГРТУ), Самарі (СДАУ), Воронежі (ВДУ), Ярославлі ( ЯрГУ), Кірові (ВДУ), Таганрозі (ТТІ ЮФУ), Новосибірську (НГУ), Томську (ТДПУ), Іркутську (ІрДУ), Улан-Уде (ВСГТУ) та ін. у цій галузі, як академік РАН, д.т.н., Ю. І. Журавльов, член-кореспондент РАН, д.т.н. В. А. Сойфер, д.т.н. М. Г. Загоруйко, д.т.н. Л. М. Местецький, д.т.н. Б. А. Алпатов та ін. На сьогоднішній день досягнуто значних успіхів при побудові систем відеоспостереження, систем автентифікації особи за зображеннями і т.д. Однак існують невирішені проблеми при розпізнаванні динамічних образів через складність та різноманітність поведінки об'єктів реального світу. Таким чином, даний напрямок потребує вдосконалення моделей, методів і алгоритмів розпізнавання динамічних об'єктів і подій за послідовностями зображень у різних діапазонах електромагнітного випромінювання, що дозволить розробляти системи відеоізображення на якісно новому рівні.

Метою дисертаційної роботи є підвищення ефективності розпізнавання динамічних об'єктів, їх активних дій та подій у складних сценах за послідовностями зображень для систем зовнішнього та внутрішнього відеоспостереження.

Поставлена ​​мета визначила необхідність вирішення наступних завдань:

Провести аналіз методів оцінки руху та знаходження ознак руху об'єктів за набором послідовних зображень, методів сегментації динамічних об'єктів та семантичного аналізу складних сцен, а також підходів до побудови систем розпізнавання та стеження за динамічними об'єктами різного цільового призначення.

Розробити моделі розпізнавання статичних та динамічних образів, ґрунтуючись на ієрархічній процедурі обробки часових рядів, зокрема, послідовностей зображень.

Розробити метод оцінки руху динамічних структур щодо просторово-часової інформації, отриманої в різних діапазонах електромагнітного випромінювання, що дозволяє вибирати методи сегментації залежно від характеру руху та, тим самим, виконувати адаптивне розпізнавання динамічних образів.

Створити модель багаторівневого руху динамічних структур у складній сцені, що дозволяє на основі отриманих одометричних даних будувати траєкторії руху динамічних структур та висувати гіпотези про існування візуальних об'єктів на основі аналізу передісторії рухів.

Розробити комплексний алгоритм сегментації, що враховує сукупність виявлених ознак динамічних структур при довільних напрямках переміщень та перекриттів проекцій об'єктів, ґрунтуючись на моделі багаторівневого руху у складних сценах.

Розробити метод розпізнавання динамічних образів, представлених у термінах формальної граматики та відеографа сцени, на основі методу колективного прийняття рішень, а також методи розпізнавання активних дій та подій у складній сцені, що використовують графи активних дій та подій (що розширюють відеограф складної сцени), та байєсовську мережу .

На основі розроблених методів та моделей спроектувати експериментальні системи різного призначення; призначені для обробки послідовностей зображень об'єктів, що характеризуються фіксованим та довільним набором 2£>-проекцій, і-розпізнавання динамічних образів. складні сцени.

Методи, дослідження. За виконання дисертаційної роботи використовувалися методи теорії розпізнавання образів, дескриптивної теорії розпізнавання зображень, теорії обробки сигналів, методи векторного аналізу та тензорного обчислення, а також теорія груп, теорія формальних граматик.

Наукова новизна дисертаційної роботи полягає в наступному:

1. Побудовано нову модель перетворення динамічних зображень, що відрізняється розширеними ієрархічними рівнями сегментації (за локальними та глобальними векторами руху) та розпізнавання (об'єктів та їх активних дій), що дозволяє знаходити цільові ознаки для статичних сцен з рухомими об'єктами та динамічних сцен на основі поняття максимального динамічний інваріант.

2. Розширена дескриптивна теорія розпізнавання зображень запровадженням чотирьох нових принципів: облік мети розпізнавання на початкових стадіях аналізу, розпізнавання поведінки динамічних об'єктів, оцінка передісторії, змінна кількість об'єктів спостереження, що дозволяє підвищити якість розпізнавання об'єктів, що рухаються за рахунок підвищення інформативності результат.

3. Вперше розроблено адаптивний просторово-часовий метод оцінки руху в синхронних послідовностях видимого та інфрачервоного діапазонів електромагнітного випромінювання, що дозволяє отримувати ознаки руху на різних ієрархічних рівнях, поєднуючи переваги обох типів послідовностей зображень.

4. Розроблено нову модель багаторівневого руху; що дозволяє проводити декомпозицію сцени на окремі рівні; не > обмежується; загальноприйнятим поділом на передній план і фон, що дозволяє виконувати більш достовірну сегментацію зображень об'єктів; складні перспективні сцени.

5: Чи обґрунтований? та побудований; новий; узагальнений алгоритм сегментації динамічних об'єктів; з, застосуванням, безлічі ознак, що включають передісторії поведінки; і дозволяє відстежувати як динаміку окремих візуальних об'єктів, і взаємодії об'єктів у сцені (перекриття проекцій; поява/зникнення об'єктів із поля зору відеодатчика) з урахуванням групових перетворень; та вперше запропонованому аналізі загальної частини проекцій об'єкта (з двох сусідніх кадрів) із застосуванням інтегральних та інваріантних оцінок.

6. Модифікований метод колективного прийняття рішень, що відрізняється знаходженням ознак міжкадрових проекцій об'єкта і що дозволяє враховувати передісторію спостережень для розпізнавання активних дій та подій на основі байєсівської мережі, а також запропоновані чотири види псевдо-відстаней для знаходження міри подібності v динамічних образів з еталонними динаміками Залежно від представлення динамічних ознак.

Практична значимість. Запропоновані в дисертаційній роботі методи та алгоритми призначені для практичного застосування при моніторингу автотранспортних засобів при багатосмуговому русі в рамках державного проекту «Безпечне місто», в системах автоматизованого контролю за різними технологічними виробничими процесами з відеопослідовностей, в системах зовнішнього відеоспостереження та відеоспостереження в закритих приміщеннях. а також у системах ідентифікації об'єктів на аерофотознімках та розпізнаванні ландшафтних зображень На основі дисертаційних досліджень розроблено програмні комплекси обробки та розпізнавання динамічних об'єктів, що застосовуються у різних сферах діяльності.

Реалізація результатів роботи. Розроблені програми зареєстровані у Російському реєстрі програм для ЕОМ: програма «Сегментація зображень рукописного тексту (SegPic)» (свідоцтво №2008614243, м. Москва, 5 вересня 2008 р.); програма «Визначення руху (MotionEstimation)» (свідоцтво №2009611014, м. Москва, 16 лютого-2009 р.); програма "Локалізація особи (FaceDetection)" (свідоцтво №2009611010, м. Москва, 16 лютого-2009 р.); програма "Система накладання візуальних природних ефектів на статичне зображення (Natural effects imitation)" (свідоцтво №2009612794, м. Москва, 30 липня 2009 р.); програма "Візуальне детектування диму (SmokeDetection)" (свідоцтво №2009612795, м. Москва, 30 липня 2009 р.); «Програма візуальної реєстрації державних номерних знаків автотранспортних засобів при багатопотоковому русі (FNX CTRAnalyzer)» (свідоцтво №2010612795, м. Москва, 23 березня 2010 р.) Москва, 31 березня 2010 р.

Отримано акти про передачу та використання алгоритмічного та програмного забезпечення для розпізнавання корпусів холодильників на складальній лінії (ВАТ КЗГ «Бірюса», м. Красноярськ), для ідентифікації з об'єктів на ландшафтних зображеннях (Концерн радіобудування «Вега», ВАТ КБ «Промінь», м. Рибінськ Ярославської області), для сегментації лісової рослинності за набором послідовних аерофотознімків (ТОВ «Альтекс Геоматика», м. Москва), для виявлення пластин державних реєстраційних знаків автотранспортних засобів у відеопослідовності при багатопоточному русі та підвищення якості їх відображення^ (УГИБД Красноярському краю, м. Красноярськ).

Розроблені алгоритми та програмне забезпечення використовуються в навчальному процесі при проведенні занять з дисциплін «Інтелектуальне оброблення даних», «Комп'ютерні технології в науці та освіті», «Теоретичні основи цифрової обробки зображень», «Розпізнавання образів», «Нейронні мережі», «Алгоритми обробки зображень», «Алгоритми обробки відеопослідовностей», «Аналіз сцен та машинний зір» у Сибірському державному аерокосмічному університеті імені академіка М.Ф. Решетньова (СібДАУ).

Достовірність отриманих у дисертаційній роботі результатів забезпечується коректністю використовуваних методів дослідження математичною строгістю виконаних перетворень, а також відповідністю сформульованих положень-і висновків результатам їх експериментальної перевірки.

Основні положення, що виносяться на захист:

1. Модель обробки та розпізнавання динамічних образів у складних сценах, істотно розширена ієрархічними рівнями сегментації та розпізнавання не тільки об'єктів, але і їх активних дій.

2. Розширення дескриптивної теорії розпізнавання зображень для тимчасових рядів (послідовностей зображень) з допомогою підвищення інформативності аналізованих даних у просторової області, а й у тимчасової складової.

3. Адаптивний просторово-часовий метод оцінки руху. на основі тензорних уявлень локальних ЗІ обсягів у синхронних послідовностях видимого та інфрачервоного діапазонів електромагнітного випромінювання.

4. Модель багаторівневого руху у складних сценах, що розширює декомпозицію перспективних сцен на окремі рівні для достовірнішого аналізу траєкторій руху об'єктів.

5. Узагальнений алгоритм сегментації динамічних об'єктів, що дозволяє на основі групових перетворень та запропонованих інтегральних та інваріантних оцінок виявляти перекриття проекцій об'єктів, появу/зникнення об'єктів із поля зору відеодатчика.

6. Методи розпізнавання динамічних образів на основі модифікованого методу колективного прийняття рішень та знаходження псевдовідстаней у метричних просторах, а також активних дій та подій у складних сценах.

Апробація роботи. Основні положення та результати дисертаційних досліджень доповідалися та обговорювалися на 10 міжнародній конференції "Pattern Recognition and Image Analysis: Modern Information Technologies", (S.-Petersburg, 2010), міжнародному конгресі "Ultra Modern Telecommunications and Control Systems ICUMT2010" ; XII міжнародному симпозіумі з непараметричних методів у кібернетиці та системному аналізі (Красноярськ, 2010), II міжнародному симпозіумі «Intelligent Decision-Technologies - IDT 2010» (Baltimore, 2010), III міжнародній конференції. «Automation, Control? and Information Technology - AOIT-ICT"2010" (Novosibirsk, 2010), 10-й, 11-й та 12-й міжнародних конференціях та виставках "Цифрова обробка сигналів та її застосування" (Москва, 2008 - 2010 рр.), X міжнародній науково-технічній конференції «Теоретичні та прикладні питання сучасних інформаційних технологій» (Улан-Уде, 2009 р.), IX міжнародній науково-технічній конференції «Кібернетика та високі технології XXI століття» (Вороніж, 2008), всеросійській конференції «Моделі та методи обробки зображень» (Красноярськ, 2007 р.), на X, XI та XIII міжнародних наукових конференціях «Решетневські читання» (Красноярськ, 2006, 2007, 2009 рр.), а також на наукових семінарах Державного університету аерокосмічного приладу -Петербург, 2009), Інституту обчислювального моделювання СО

РАН (Красноярськ, 2009), Інституту систем обробки зображень РАН (Самара, 2010).

Публікації. За результатами дисертаційного дослідження опубліковано 53 друковані роботи, з них 1 монографія, 26 статей (з них 14 статей – у виданнях, включених до списку ВАК, 2 статті – у виданнях, перерахованих у «Thomson Reuters: Science Citation Index Expanded / Conference Proceeding Index»), 19 тез доповідей, 7 свідоцтв, зареєстрованих у Російському реєстрі програм для ЕОМ, а також 3 звіти з НДР.

Особистий внесок. Усі основні результати, викладені у дисертації, включаючи постановку завдань та їх математичні та алгоритмічні рішення, отримані автором особисто, або виконані під його науковим керівництвом та за безпосередньої участі. За матеріалами роботи було захищено дві дисертації на здобуття наукового ступеня кандидата технічних наук, у виконанні яких автор був офіційним науковим керівником.

Структури роботи. Робота складається із вступу, шести розділів, висновків, бібліографічного списку. Основний текст дисертації містить 326 сторінок, виклад ілюструється 63 рисунками та 23 таблицями. Бібліографічний список містить 232 найменування.

6.7 Висновки на чолі

В даному розділі докладно розглянуто структуру та основні функції експериментального програмного комплексу «ЗРОЕЛ», у.1.02, який; виконує системну ієрархічну обробку послідовностей зображень аж до вищих рівнів розпізнавання об'єктів і подій. графів, мереж і класифікаторів Ряд низькорівневих модулів системи працює в автоматичному режимі Структура програмного комплексу така, що можлива модифікація модулів без впливу на інші модулі системи.Представлені функціональні схеми основних модулів системи: , модуля розпізнавання об'єктів та модуля розпізнавання активних дій

Експериментальні дослідження на основі даного програмного комплексу проводилися на кількох відеопослідовностях та інфрачервоних послідовностях із тестової бази «OTCBVS^07», на тестових відеопослідовностях «Hamburg taxi», «Rubik cube». "Silent", а також на власному відеоматеріалі. Тестувалися п'ять методів оцінки руху. Експериментально було показано, що метод зіставлення блоків та запропонований метод для інфрачервоної послідовності показують близькі значення і є найменш точними. Запропонований метод для відеопослідовності та метод стеження за точковими особливостями демонструють близькі результати. У цьому розроблений тензорний підхід вимагає меншого обсягу комп'ютерних обчислень проти методом стеження точковими особливостями. Спільне використання синхронізованих відеопослідовностей та інфрачервоної послідовності доцільно використовувати для знаходження модуля вектора швидкості та в умовах зниженого освітлення сцени.

Для розпізнавання візуальних об'єктів застосовувалися чотири види псевдо-відстаней (псевдо-відстань Хаусдорффа, Громова-Хаусдорффа, Фреше, природна псевдо-відстань) для знаходження міри подібності вхідних динамічних образів з еталонними динамічними образами (залежно від уявлення динамічної ознаки - множини безлічі векторів, безлічі функцій). Вони показали свою спроможність для образів із допустимими морфологічними перетвореннями. Використовувалися інтегровані нормалізовані оцінки форми контуру Кс загальної частини проекції об'єкта між умовно сусідніми кадрами та площа загальної частини 5е та інваріантна оцінка – кореляційна функція загальних частин проекцій Fcor. Застосування модифікованого методу колективного прийняття рішень дозволяє «відкинути» невдалі спостереження вхідних образів (випадки перекриття проекцій об'єктів, спотворення сцени від джерел освітлення тощо) і вибрати найбільш підходящі спостереження. Експерименти показали, що застосування модифікованого методу колективного прийняття рішення підвищує точність розпізнавання в середньому на 24-29%.

Експериментальні результати оцінки руху, сегментації та розпізнавання об'єктів були отримані на тестових послідовностях зображень ("Hamburg taxi", "Rubik cube". "Silent", відеопослідовності та інфрачервоні послідовності з тестової бази "ОТСВVS"07"). Для розпізнавання активних дій людей використовувалися приклади з тестових баз PETS, CAVIAR, VACE Характер тестової візуальної послідовності впливає на показники Гірше розпізнаються об'єкти, що здійснюють обертальний рух (Rubik cube), краще - техногенні об'єкти невеликих розмірів (Hamburg taxi, «Відео 1») Найкращі результати показує розпізнавання за двома послідовностями, а також кращі експериментальні результати досягалися при розпізнаванні періодичних активних дій людей, які не перебувають у групах (ходіння, біг, підняття рук). .

У завершенні шостого розділу були розглянуті такі прикладні проекти, як «Візуальна реєстрація державних номерних знаків автотранспортних засобів при багатопоточному русі», «Система ідентифікації моделей корпусів холодильників за зображеннями», «Алгоритми.обробки та-сегментації, ландшафтних зображень. Ідентифікація об'єктів ».Алгоритмічне та.програмне забезпечення передано зацікавленим, організаціям: Результати тестової експлуатації показали працездатність програмного забезпечення, розробленого на основі запропонованих у дисертаційній роботі моделей та методів.

ВИСНОВОК

У дисертаційній роботі було поставлено та вирішено важливу науково-технічну проблему обробки просторово-часових даних, отриманих із послідовностей видимого та інфрачервоного діапазонів електромагнітного випромінювання, та розпізнавання динамічних образів у складних сценах. Система ієрархічних методів обробки та вилучення ознак із просторово-часових даних є методологічною основою рішення прикладних завдань у галузі відеоспостереження.

У вступі обґрунтовано актуальність дисертаційної роботи, сформульовано мету та поставлено завдання дослідження, показано наукову новизна та практичну цінність виконаних досліджень, представлено основні положення, що виносяться на захист.

У першому розділі показано, що візуальні об'єкти в відеопослідовності характеризуються більш багатовимірним вектором ознак, ніж образи в класичній постановці завдання розпізнавання статичних зображень. У дисертаційній роботі вводяться уточнюючі етапи на середньому і вищому рівнях обробки, які мають істотне значення для динамічних зображень.

Побудовано класифікацію основних типів завдань розпізнавання для статичних зображень, статичних сцен з елементами руху та послідовностей зображень, що відображає історичний характер розвитку математичних методів у цій галузі. Проведено докладний аналіз методів оцінки руху, алгоритмів сегментації об'єктів, що рухаються, методів інтерпретації подій у складних сценах.

Розглянуто існуючі комерційні апаратно-програмні комплекси в таких галузях, як моніторинг транспортних засобів різного призначення, обробка спортивних відеоматеріалів, забезпечення безпеки (розпізнавання осіб, несанкціоноване проникнення людей на територію, що охороняється), Також аналізуються дослідницькі розробки для систем відеоспостереження.

На завершення глави 1 наведена постановка задачі просторово-часової обробки послідовностей зображень, представлена ​​у вигляді трьох рівнів та п'яти етапів обробки та розпізнавання візуальної інформації з послідовностей зображень.

У другому розділі дисертації розроблено формальні моделі обробки та розпізнавання об'єктів за їх статичними зображеннями та послідовностями зображень. Побудовані допустимі відображення у просторі зображень та просторі ознак для прямого завдання та зворотного завдання. Наведено правила побудови інваріантних вирішальних функцій та узагальненого максимального динамічного інваріанту. При розпізнаванні траєкторії різних образів багатомірному просторі ознак можуть перетинатися. При перетині проекцій об'єктів знаходження узагальненого максимального динамічного інваріанту стає ще складнішим, а в деяких випадках і неможливим завданням.

Розглянуто основні принципи дескриптивної теорії розпізнавання зображень, основою якої лягли регулярні методи вибору та синтезу алгоритмічних процедур обробки інформації при розпізнаванні зображень. Запропоновано додаткові принципи, що розширюють дескриптивну теорію для динамічних зображень: облік мети розпізнавання на початкових стадіях обробки послідовності зображень, розпізнавання ситуацій динамічних об'єктів, оцінка передісторії динамічних об'єктів, змінна кількість об'єктів спостереження в складних сценах.

Докладно розглянуто проблему пошуку цільових ознак для аналізу послідовностей зображень залежно від типу зйомки (у разі одноракурсної зйомки), руху відеодатчика та наявності об'єктів, що рухаються в зоні видимості. Наведено описи чотирьох ситуацій у просторі ознак у міру ускладнення задачі.

У третьому розділі сформульовані етапи обробки послідовностей зображень та розпізнавання об'єктів, активних дій, подій та жанру сцени. Етапи відбивають послідовний ієрархічний характер обробки візуальної інформації. Також представлені умови та обмеження ієрархічних методів просторово-часової обробки послідовностей зображень.

Класифікація динамічних регіонів зображення проводиться шляхом аналізу власних значень 31) структурного тензора, власні вектори якого визначаються за локальними зсувами інтенсивностей зображень сусідніх кадрів і використовуються для оцінки локальних орієнтацій динамічних регіонів. Обґрунтовано новий метод оцінки руху у просторово-часовому обсязі даних видимого та інфрачервоного діапазонів випромінювання на основі тензорного підходу. Розглянуто можливість застосування просторово змінного ядра, адаптивного до розмірів та орієнтації оточення точки. Адаптація оточення, спочатку має форму кола, а потім перетворюється після 2-3 ітерацій на форму орієнтованого еліпса дозволяє поліпшити оцінку орієнтованих структур на зображенні. Така стратегія покращує оцінки градієнтів у просторово-часовому наборі даних.

Оцінка локальних параметрів руху провадиться шляхом обчислення геометричних примітивів та особливих точок локального регіону. Таким чином, оцінка локальних ознак руху регіонів є основою висування подальших гіпотез належності візуальних об'єктів того чи іншого класу. Використання синхронних відеопослідовностей та інфрачервоної послідовності дозволяє покращити результати сегментації рухомих регіонів на зображенні та знаходження локальних векторів руху.

Показано, що оцінити межі кольорових зображень можна на основі багатовимірних градієнтних методів, побудованих по всіх напрямках у кожній точці кордону, векторними методами з використанням порядкових статистики про кольорове зображення, а також застосуванням тензорного підходу в рамках багатовимірних градієнтних методів. Способи уточнення контурної інформації мають важливе значення для регіонів із довільною кількістю допустимих проекцій.

У четвертому розділі побудовано багаторівневу модель руху на основі структур руху, що відображає динаміку об'єктів реальних сцен і розширює дворівневу виставу сцени, що поділяється на об'єкти інтересу і нерухоме тло.

Досліджуються моделі руху об'єктів на площині, що базуються на теорії компактних груп Лі. Представлені моделі для проектного перетворення та різновидів моделей афінного перетворення. Такі перетворення добре описують структури руху з обмеженою кількістю проекцій (техногенні об'єкти). Подання структур із необмеженою кількістю проекцій (антропогенні об'єкти) афінними чи проективними перетвореннями супроводжується низкою додаткових умов (зокрема, вимога віддаленості об'єктів від відеодатчика, малорозмірні об'єкти тощо). Наводяться визначення та теорема, доведена Л. С. Понтрягіним, на підставі яких вдалося знайти внутрішній автоморфізм групових координат, що описують певний об'єкт з точністю до зрушень між сусідніми кадрами. Величина зрушень визначається за методом оцінки руху міжкадрової різниці, розробленому в 3" розділі.

Побудовано розширення допустимих переходів між групами перетворень через двоїстість природи 2£)-зображень (відображення змін проекції окремого об'єкта та візуальне перетинання кількох об'єктів: (взаємодія об'єктів)). Знайдені критерії, які при зміні груп перетворень фіксують активні дії та події, в сцені, а саме, інтегровані оцінки форми контуру Кс загальної частини проекції між умовно сусідніми кадрами та площа загальної частини 5е та інваріантні оцінки - кореляційна функція загальних частин проекцій РСОГ та структурні константи групи Лі с'д, які дозволяють оцінити ступінь мінливості і виявити характер руху об'єктів, що спостерігаються.

Також побудована модель передісторії руху об'єктів у послідовностях зображень, що включає тимчасові ряди траєкторій переміщення, зміни форми об'єкта при його русі в просторі, а також зміни форми об'єкта, пов'язані із взаємодією об'єктів у сцені та появою/зникненням об'єкта з поля зору датчика (використовується для розпізнавання активних дій та подій у сцені). 1

Розроблено узагальнений алгоритм сегментації об'єктів у складних сценах, що враховує складні випадки сегментації (перекриття зображень, поява та зникнення об'єктів з поля зору камери, рух на камеру), який включає три підетапи: передсегментацію, сегментацію та постсегментацію. Для кожного підетапу сформульовані завдання, вихідні та вихідні дані, розроблені блок-схеми алгоритмів, що дозволяють проводити сегментацію складних сцен, використовуючи переваги синхронних послідовностей різних діапазонів випромінювання.

У п'ятому розділі розглядається процес розпізнавання динамічних образів, що використовує формальну граматику, відеограф сцени та модифікований метод колективного прийняття рішень. Динамічна сцена з багаторівневим рухом має структуру, що змінюється в часі, тому доцільно використовувати структурні методи розпізнавання. Запропонована трирівнева контекстна граматика розпізнавання складних сцен із багаторівневим рухом об'єктів реалізує два завдання: задачу синтаксичного аналізу послідовності зображень та задачу синтаксичного аналізу сцени.

Найбільш наочним засобом семантичного опису сцени є відеограф, побудований методом ієрархічного групування. На основі комплексних ознак нижчого рівня формуються локальні просторові структури, стійкі в часі, локальні просторові об'єкти та будується відеограф сцени, що включає розпізнані просторові об'єкти, сукупність властивих їм дій, а також просторово-часові зв'язки між ними.

Модифікований метод колективного прийняття рішень ґрунтується на дворівневій процедурі розпізнавання. На першому рівні здійснюється розпізнавання належності зображення тій чи іншій області компетентності. З другого краю рівні набирає чинності вирішальне правило, компетентність якого максимальна у заданій області. Побудовані висловлювання для псевдо-відстаней при знаходженні міри подібності вхідних динамічних образів з еталонними динамічними образами в залежності від представлення динамічних ознак - множини числових характеристик, множини векторів, множини функцій.

При розпізнаванні подій відеограф складної сцени розширюється до відеографа подій: Побудовано об'єктно-залежну модель динамічного об'єкта. Як функцію відповідності використовуються найпростіші класифікатори у просторі ознак (наприклад, за методом ^-середніх), тому що зіставлення здійснюється за обмеженою множиною шаблонів, асоційованих з раніше пізнаним об'єктом. Розглянуто методи формування шаблонів проекцій візуальних об'єктів.

Відеограф подій будується на основі мереж Маркова. Розглянуто способи виявлення активних дій агентів, а також порядок побудови та розрізання відеографа подій для розпізнавання, подій у сцені. У цьому кожному події будується своя модель, яка навчається на тестових прикладах. Виявлення подій зводиться до кластеризації активних дій, що послідовно виконуються, на основі байєсівського підходу. Виконується рекурсивне розрізання-матриці вагових коефіцієнтів у вхідний відеопослідовності та порівняння з еталонними, подіями, отриманими на етапі навчання. Ця інформація є вихідною для визначення жанру сцени і при необхідності індексування відеопослідовності в базі даних. Розроблено схему розуміння та інтерпретації зображень та відеоматеріалів для індексування в мультимедійних Інтернет-базах.

У шостому розділі представлено опис експериментального програмного комплексу «SPOER», v.l.02 з обробки послідовностей зображень та розпізнавання рухомих об'єктів та подій. Він виконує системну ієрархічну обробку послідовностей зображень аж до найвищих рівнів розпізнавання об'єктів та подій. Він є автоматизованою системою, що вимагає участі людини для навчання та налаштування графів, мереж та класифікаторів. Ряд низькорівневих модулів системи працює автоматично.

В експериментальних дослідженнях, проведених за допомогою програмного комплексу "SPOER", vl02, використовувалися відеопослідовності та інфрачервоні послідовності зображень з тестової бази "OTCBVS"07", тестові відеопослідовності "Hamburg taxi", "Rubik cube". "Silent" та власні відеоматеріали. Тестувалися п'ять методів оцінки руху.Запропонований метод для відеопослідовності демонструє найбільш точні результати і вимагає меншого об'єму комп'ютерних обчислень в порівнянні з іншими методами.

Для розпізнавання візуальних об'єктів з допустимими морфологічними перетвореннями проекцій використовувалися інтегровані нормалізовані оцінки форми контуру Кс загальної частини проекції об'єкта між умовно сусідніми кадрами та площа загальної частини 5е та інваріантна оцінка – кореляційна функція загальних частин проекцій Fcor. Застосування модифікованого методу колективного прийняття рішень дозволяє «відкинути» невдалі спостереження вхідних образів (випадки перекриття проекцій об'єктів, візуальні спотворення сцени від джерел освітлення тощо) і вибрати найбільш підходящі спостереження. Експерименти показали, що застосування модифікованого методу колективного прийняття рішення підвищує точність розпізнавання в середньому на 24-29%.

Експериментальні результати оцінки-руху; сегментації та розпізнавання об'єктів були отримані на тестових послідовностях зображень (Hamburg taxi, Rubik cube. Silent, відеопослідовності та інфрачервоні послідовності з тестової бази OTCBVS*07). Для розпізнавання активних дій людей використовувалися приклади з тестових баз PETS, CAVIAR, VACE. Найкращі результати показує розпізнавання за двома послідовностями. Також найкращі експериментальні результати досягалися при розпізнаванні періодичних активних дій людей, що не перебувають у групах (ходіння, біг, підняття рук). Хибні спрацьовування обумовлені засвіченням та наявністю тіней у ряді місць сцени.

На базі експериментального комплексу «ЗРОЄЯ», V. 1.02 були розроблені системи обробки відеоінформації різного цільового призначення: «Візуальна реєстрація державних номерних знаків автотранспортних засобів при багатопотоковому русі», «Система ідентифікації моделей корпусів холодильників за зображеннями», «Алгоритми обробки та сегментації ландшафтних зображень . Ідентифікація об'єктів. Алгоритмічне та програмне забезпечення передано заінтересованим організаціям. Результати тестової експлуатації показали працездатність програмного забезпечення, розробленого на основі запропонованих у дисертаційній роботі моделей та методів.

Таким чином, у дисертаційній роботі було отримано такі результати:

1. Побудовано формальні моделі обробки та розпізнавання просторово-часових структур на основі адаптивної ієрархічної процедури. обробки послідовностей зображень, що відрізняються тим, що в них враховані ізоморфні та гомоморфні перетворення та виведено узагальнені функції статичних та динамічних інваріантів. Також побудовані моделі пошуку статичних і динамічних ознак об'єктів для чотирьох завдань аналізу послідовностей зображень в залежності від наявності відеодатчика, що рухається, і об'єктів, що рухаються в сцені.

2. Розширені- основні положення дескриптивного підходу до розпізнавання послідовностей зображень, що дозволяють враховувати цілі розпізнавання на початкових стадіях обробки послідовності зображень з подальшою сегментацією областей інтересу, будувати траєкторії руху і розпізнавати поведінку динамічних об'єктів, враховувати передісторію руху об'єктів об'єктів спостереження.

3. Розроблено ієрархічний метод обробки та розпізнавання просторово-часових структур, що складається з трьох рівнів та п'яти етапів та передбачає нормалізацію проекцій об'єктів, що дозволяє скоротити кількість еталонів для одного класу при розпізнаванні складних динамічних об'єктів.

4. Розроблено метод оцінки руху для послідовностей зображень з видимого та інфрачервоного діапазонів електромагнітного випромінювання, що відрізняється тим, що використовуються просторово-часові набори даних, представлені у вигляді структурних тензорів і ЪВ тензорів. потоку відповідно. Отримана оцінка руху дозволяє вибрати найефективніший метод сегментації динамічних візуальних об'єктів, що відрізняються кількістю допустимих проекцій.

5. Побудовано модель багаторівневого руху регіонів зображення на основі локальних векторів швидкості, що відрізняється тим, що дозволяє розділяти сцену не тільки на об'єкти переднього плану та фон, але й на рівні руху об'єктів, віддалених від спостерігача. Це особливо актуально для складних сцен, які реєструються рухомим відеодатчиком, коли всі об'єкти сцени знаходяться у відносному русі.

6. Розроблено адаптивний алгоритм-сегментації динамічних об'єктів: а) для об'єктів з обмеженою кількістю проекцій, на основі аналізу передісторії руху локальних динамічних регіонів, який відрізняється тим, що при перекриттях зображень добудовується форма, регіону за поточним шаблоном та за умови застосування фільтра Калмана прогнозується, поточна, траєкторія; б) для об'єктів з довільною кількістю проекцій на основі комплексного аналізу, колірних, текстурних, статистичних, топологічних ознак та ознак руху, який відрізняється тим, що при перекриттях зображень ^ форма регіону добудовується з використанням методу активних контурів.

7. Запропоновано спосіб побудови динамічного відеографа складної сцени за методом ієрархічного групування комплексних ознак нижчого рівня локальні просторові структури, стійкі в часі, і далі локальні просторові об'єкти. Сформований відеограф встановлює тимчасові відносини між об'єктами та зберігає всі узагальнені ознаки для розпізнавання подій у сцені. Розширено двовимірну граматику М.І. Шлезінгера у межах структурного методу розпізнавання до трирівневої контекстної граматики.

8: Для розпізнавання динамічних об'єктів модифікований колективний метод прийняття рішень, спочатку здійснює розпізнавання належності зображення області компетентності, а потім вибирає вирішальне правило, компетентність якого максимальна в заданій області. Побудовано чотири види псевдо-відстаней для знаходження міри подібності вхідних динамічних образів із зразками залежно від уявлення динамічних ознак.

9. Розроблено метод розпізнавання подій на основі байєсівської мережі, який виконує рекурсивне розрізання матриці вагових коефіцієнтів у вхідній відеопослідовності та порівняння з еталонними подіями, отриманими на етапі навчання. Ця інформація є вихідною для визначення жанру сцени та індексування відеопослідовностей у мультимедійних Інтернет-базах.

10. Практичні завдання обробки та розпізнавання послідовностей зображень вирішені за допомогою адаптивно-ієрархічного методу просторово-часової обробки, показано працездатність методу, продемонстровано ефективність застосування системи ієрархічних методів обробки та. розпізнавання візуальної інформації з можливістю адаптивного вибору ознак. процесі розв'язання задачі. Отримані результати у вигляді спроектованих експериментальних систем передані заінтересованим організаціям.

Таким чином, у даній дисертаційній роботі вирішено важливу науково-технічну проблему інформаційного забезпечення систем відеоспостереження та розроблено новий напрямок у галузі просторово-часової обробки та розпізнавання динамічних зображень.

1. Автоматичний аналіз складних зображень/За ред. Е.М. Бравермана. М.: Світ, 1969. – 309 с. Бонгард М.М. Проблеми впізнавання. - М: Наука, 1967.-320 с.

2. Алпатов, Б.А., Виявлення об'єкта, що рухається, в послідовності зображень за наявності обмежень на площу і швидкість руху об'єкта / Б.А. Алпатов, А.А. Китаїв// Цифрова обробка зображень, №1, 2007. с. 11-16.

3. Алпатов, Б.А., Виділення об'єктів, що рухаються в умовах геометричних спотворень зображення / Б.А. Алпатов, П.В. Бабаян// Цифрова обробка сигналів, № 45 2004. с. 9-14.

4. Алпатов, Б.А., Бабаян П.В. Методи обробки та аналізу зображень" в бортових системах виявлення та супроводження об'єктів / Б.А. Алпатов, П.В. Бабаян // Цифрова обробка сигналів, №2, 2006. 45-51 с.

5. Большаков, A.A., Методи обробки багатовимірних даних та тимчасових рядів: Навчальний посібник для вузів/A.A. Большаков, Р.І. Каримов/М: Гаряча лінія-Телеком, 2007. 522 с.6: Бонгард, М.М. Проблеми впізнавання/М.М. Бонгард/М.: Наука, 1967.-320 с.

6. Булінський, А.В. Теорія випадкових процесів1/A.B. Булінський, О.М. Ширяєв/М.: ФІЗМАТЛІТ, 2005. 408 с.

7. Вайнцвайг, М.М. Архітектура системи представлення зорових динамічних сцен у термінах понять/М.Н.Вайнцвайг, М.М. Полякова // Зб. тр. 11-й всерос. конф. "Математичні методи розпізнавання образів (ММРО-11)", М., 2003. с.261-263.

8. Вапнік, В.М. Завдання навчання розпізнаванню образів/В.М. Вапник/М.: Знання, 1970. – 384 с.

9. П.Вапнік, В.М. Теорія розпізнавання образів (статистичні проблеми навчання)/В.М. Вапник, А.Я. Червоненкіс/М.: Наука, 1974. 416 с.

10. Васильєв, В.І. Розпізнавання рухомих тіл/В.І. Васильєв, А.Г. Івахненко, В.Є. Реуцький та ін. // Автоматика, 1967 № 6, с. 47-52.

11. Васильєв, В.І. Розпізнавальні системи/В.І. Васильєв / Київ: Наук. Думка, 1969. 292 с.

12. Васильєв, В.І. Розпізнавальні системи. Довідник/В.І. Васильєв / Київ, Наук, думка, 1983. 422 с.

13. Візільтер, Ю.В. Застосування методу аналізу морфологічних свідчень у задачах машинного зору>/Ю.В. Візильтер // Вісник комп'ютерних та інформаційних технологій, № 9, 2007, с. 11-18.

14. Візільтер, Ю.В. Проективні морфології з урахуванням інтерполяції / Ю.В. Візільтер // Вісник комп'ютерних та інформаційних технологій, №4, 2008.-с. 11-18.

15. Візільтер, Ю.В., Проективні морфології та їх застосування у структурному аналізі цифрових зображень/Ю.В. Візільтер, С.Ю. Жовтів// Изв. РАН. ТІСУ, №6, 2008. с. 113-128.

16. Візільтер, Ю.В. Дослідження поведінки авторегресійних фільтрів у задачі виділення та аналізу руху на цифрових відеопослідовностях / Ю.В. Візільтер, Б.В. Вишняков // Вісник комп'ютерних та інформаційних технологій, № 8, 2008. – с. 2-8.

17. Візільтер, Ю.В. Проективні морфології зображень на основі моделей, що описуються структуруючими функціоналами /Ю.В. Візільтер, С.Ю. Жовтов // Вісник комп'ютерних та інформаційних технологій, № 11, 2009.-с. 12-21.

18. Вишняков, Б.В. Використання модифікованого методу оптичних потоків у задачі виявлення та міжкадрового простежування движуs.

19. Ганебних, С.М. Аналіз сцен на основі застосування деревоподібних уявлень зображень/С.Н.Ганебних, М.М. Ланге // Зб. тр. 11-й все-рос. конф. "Математичні методи розпізнавання образів (ММРО-11)", М., 2003.-с. 271-275.

20. Глушков, В.М. Введення у кібернетику / В.М. Глушков/Київ: вид-во АН УРСР, 1964. 324 с.

21. Гонсалес, Р., Вудс Р. Цифрова обробка зображень. Пер.с англ. за ред. П.А.Чочіа/Р.Гонсалес, Р. Вудс/М.: Техносфера, 2006. 1072 с.

22. Горошкін, А.Н., Сегментація зображень рукописного тексту (SegPic)/О.М. Горошкін, М.М. Фаворська // Свідоцтво № 2008614243. Зареєстровано у Реєстрі програм для ЕОМ м. Москва, 5 вересня 2008 р.

23. Гренандер, У. Лекції з теорії образів / У. Гренандер / У 3 т. / Пер.с англ. За ред. Ю.І.Журавльова. М: Мир, 1979-1983. 130 с.

24. Грузман, І.С. Цифрова обробка зображень в інформаційних системах: Навч. Посібник/І.С.Грузман, B.C. Киричук, В.П. Косих, Г.І.Перетягін, A.A. Спектор/Новосибірськ, вид-во НДТУ, 2003. с. 352.

25. Достовірний та правдоподібний висновок в інтелектуальних системах / За ред. В.М. Вагіна, Д.А. Поспєлова. 2-ге вид., испр. та дод. – М.: ФІЗМАТЛІТ, 2008. – 712 с.

26. Дуда, Р. Розпізнавання образів та аналіз сцен/Р. Дуда, П. Харт/М.: изд-во «Світ», 1978. 512 с.

27. Журавльов, Ю.І. Про алгебраїчний підхід до вирішення завдань розпізнавання та класифікації / Ю.І. Журавльов // Проблеми кібернетики: Зб. ст., вип. 33, М: Наука, 1978. с. 5-68.

28. Журавльов, Ю.І. Про алгебраїчну корекцію процедур обробки (перетворення) інформації / Ю.І.Журавльов, К.В. Рудаков// Проблеми прикладної математики та інформатики, М.: Наука, 1987. с. 187-198.

29. Журавльов, Ю.І. Розпізнавання образів та розпізнавання зображень / Ю.І. Журавльов, І.Б. Гуревич// Щорічник «Розпізнавання. Класифікація. Прогноз. Математичні методи та їх застосування», вип. 2, М: Наука, 1989.-72 с.

30. Журавльов, Ю.І. Розпізнавання образів та аналіз зображень / Ю.І.Журавльов, І.Б. Гуревич / Штучний інтелект у 3-х кн. Кн. 2. Моделі та методи: Довідник / За ред. Д.А. Поспєлова, М.: вид-во «Радіо та зв'язок», 1990. – с.149-190.

31. Загоруйко, Н.Г. Методи розпізнавання та їх застосування/Н.Г. За-горуйко/М.: Рад. радіо, 1972. 206 с.

32. Загоруйко, Н.Г. Штучний інтелект та емпіричне передбачення / Н.Г. Загоруйко / Новосибірськ: вид. НГУ, 1975. 82 с.

33. Івахненко, А.Г. Про застосування теорії інваріантності та комбінованого управління до синтезу та аналізу навчальних систем / О.Г. Івахненко // Автоматика, 1961 № 5, с. 11-19.

34. Івахненко, Г.І. Самонавчання системи розпізнавання та автоматичного управління / А.Г. Івахненко/Київ: Техніка, 1969. 302 с.

35. Кашкін, В.Б. Дистанційне зондування Землі із космосу. Цифрова обробка зображень: Навчальний посібник/В.Б. Кашкін, А.І. Су-хінін/М.: Логос, 2001. 264 с.

36. Кобзар, А.І. Прикладна математична статистика. Для інженерів та науковців/О.І. Кобзар / М: ФІЗМАТЛІТ, 2006. 816 с.

37. Ковалевський, В.А. Кореляційний метод розпізнавання зображень/В.А. Ковалевський // Журн. обчисл. математики та мат.фізики, 1962, 2, № 4, с. 684-690.

38. Колмогоров, А.Н: Епсілон-ентропія та эпсилон-ємність множин у функціональних просторах / О.М. Колмогоров, В.М. Тихомиров // Теорія інформації та теорія алгоритмів. М: Наука, 1987. с. 119-198.

39. Корн, Г. Довідник з математики для науковців та інженерів / Г. Корн, Т. Корн // М.: Наука, Гол. ред. фіз.-мат. літ., 1984. 832 с.

40. Кроновер, Р. Фрактали та хаос у динамічних системах / Р. Кроно-вер // М.: Техносфера, 2006. 488 с.

41. Лапко, А.В. Непараметричні та гібридні системи класифікації різнотипних даних / А.В.Лапко, BlA. Лапко // Тр. 12-й всерос. конф. «Математичні методи та моделі розпізнавання образів» (ММРО-12), М., 2005.-с. 159-162.

42. Левтін, К.Е. Візуальне детектування диму (SmokeDetection)/К.Е.Левтін, М.М. Фаворська // Свідоцтво № 2009612795. Зареєстровано в Реєстрі програм для ЕОМ м. Москва, ЗО липня 2009

43. Луців, В.Р. Принципи уніфікації оптичних систем роботів/В.Р. Луців, М.М. Фаворська // В-кн. "Уніфікація та стандартизація промислових роботів", Ташкент, 1984. с. 93-94.

44. Луців, В.Р. Універсальна оптична система для ГАП/В.Р. Луців, М.М. Фаворська // У кн. «Досвід створення, впровадження та використання АСУТП в об'єднаннях та на підприємствах», Л., ЛДНТП, 1984. с. 44-47.

45. Медведєва, Є.В. Метод оцінки векторів руху у відеозображеннях/Е.В.Медведєва, Б.О. Тимофєєв // У матеріалах 12-ї міжнародної конференції та виставки «Цифрова обробка сигналів та її застосування», М.: У 2 т. Т. 2, 2010. с. 158-161.

46. ​​Методи комп'ютерної обробки зображень/За ред. В.А.Сойфера. 2-ге вид., Ісп. – М.: ФІЗМАТЛІТ, 2003. – 784 с.

47. Методи автоматичного виявлення та супроводу об'єктів. Обробка зображень та управління / Б. А. Алпатов, П.В. Бабаян, О.Е. Балашов, А.І. Степашкін. -М: Радіотехніка, 2008. – 176 с.

48. Методи комп'ютерної оптики/За ред. В.А.Сойфера. М.: ФІЗМАТЛІТ, 2003. – 688 с.

49. Мудров, А.Є. Численні методи для ПЕОМ мовами Бейсік, Фортран та Паскаль / А.Є. Мудров/Томськ: МП «РАСКО», 1991. 272 ​​с.

50. Пахірка, А.І. Локалізація особи (FaceDetection) / А.І.Пахірка, М.М. Фаворська // Свідоцтво № 2009611010. Зареєстровано у Реєстрі програм для ЕОМ м. Москва, 16 лютого 2009 р.

51. Пахірка, А.І. Нелінійне покращення зображень (Nonlinear image enhancement) / А.І.Пахірка, М.М. Фаворська Свідоцтво № 2010610658. Зареєстровано в Реєстрі програм для ЕОМ м. Москва, 31 березня 2010 р.

52. Понтрягін, Л. С. Безперервні групи J Л. С. Понтрягін // 4-тє вид., М.: Наука, 1984.-520 с.

53. Потапов, AA. Фрактали в радіофізиці та радіолокації: Топологія вибірки / A.A. Потапов // Вид. 2-ге, перероб. та дод. - М: Університетська книга, 2005. 848 с.

54. Радченко, Ю.С. Дослідження спектрального алгоритму виявлення "змін у відеопослідовності / Ю.С.Радченко, А.В.Булигін, Т.А. Радченко // Изв. ВНЗ. Радіоелектроніка, ;№ 7, 2009. с. 49-59.

55. Сальніков, І.І. Растрові просторово-часові сигнали в системах аналізу зображень/І.І. Сальніков // М.: Фізматліт, 2009. -248 с.

56. Сергунін, С.Ю. Схема динамічної побудови багаторівневого опису зображень / С.Ю.Сергунін, К.М.Квашнін, М.І. Кумсков // Зб. тр. 11-й всерос. конф: "Математичні методи розпізнавання образів (ММРО-11)", М., 2003. с. 436-439:

57. Слинько, Ю.В. Вирішення завдання одночасного супроводу та оконтурювання методом максимальної правдоподібності / Ю.В. Слинько// Цифрова обробка сигналів, № 4, 2008. с. 7-10

58. Солсо, Р. Когнітивна психологія / Р. Солсо / СПб.: Пітер, 6-те вид., 2006. 590 с.

59. Тарасов, І.Є. Розробка цифрових пристроїв на основі ПЛІС «Xi-linx» із застосуванням мови VHDL / І.Є. Тарасов/М.: Гаряча лінія-Телеком, 2005. – 252 с.

60. Фаворська, М.М. Розробка алгоритмів цифрового розпізнавання зображень у адаптивних робототехнічних комплексах / М.Н. Фаворська// Л!, Ленінградський ін-т авйац. прилад., 1985. Рукопис деп: у ВІНІТІ 23.01.85. №659-85 Деп.

61. Фаворська; М.М. Застосування спектральних методів для нормалізації та розпізнавання зображень в адаптивних робототехнічних комплексах / М. Н. *. Фаворська // Л., Ленінградський, ін-т авіац. прилад., 1985. Рукопис деп. у ВІНІТІ23.01.85. №660-85 Деп.

62. Фаворська, М.М. Досвід розробки алгоритмів розпізнавання об'єктів для штампувального виробництва/М.М. Фаворська // У кн. «Стан, досвід та напрями робіт з комплексної автоматизації на основі ДПС, РТК та ПР», Пенза, 1985. с. 64-66.

63. Фаворська, М.М. Дослідження проективних властивостей груп об'єктів/М.М. Фаворська, Ю.Б. Козлова// Вісник Сибірського державного аерокосмічного університету. Вип. 3, Красноярськ, 2002. – с. 99-105.

64. Фаворська, М.М. Визначення афінної структури об'єкта за рухом/М.М. Фаворська // Вісник Сибірського державного аерокосмічного університету, Вип. 6, Красноярськ, 2005. – с. 86-89.

65. Фаворська-М.М. Загальна класифікація підходів до розпізнавання зображень/М-.Н. Фаворська // В< материалах X междунар. научн. конф. «Решетневские чтения» СибГАУ, Красноярск, 2006. с. 54-55.

66. Фаворська М.М. Інваріантні вирішальні функції завдання розпізнавання статичних зображень / М.Н. Фаворська// Вісник Сибірського державного аерокосмічного університету. Вип. 1 (14), Красноярськ, 2007. с. 65-70.

67. Фаворська, М.М. Імовірнісні методи сегментації відеопотоку як завдання з відсутніми даними / М.М. Фаворська// Вісник Сибірського державного аерокосмічного університету. Вип. 3 (16), Красноярськ, 2007. с. 4-8.

68. Фаворська, М.М. Вибір цільових інформативних ознак у системах розпізнавання зображень/М.М. Фаворська // У матеріалах XI міждунар. наук. конф. «Решетнівський читання» СибДАУ, Красноярськ, 2007 с. 306-307.

69. Фаворська, М.М. Стратегії сегментації двовимірних зображень/М.М. Фаворська // У матеріалах всеросійської наукової конференції «Моделі та методи обробки зображень ММОІ-2007», Красноярськ, 2007. с. 136-140.

70. Фаворська, М.М. Сегментація ландшафтних зображень на основі фрактального підходу/М.М. Фаворська // У матеріалах 10-ї міжнародної конференції та виставці «Цифрова обробка сигналів та її застосування», М., 2008. с. 498-501.

71. Фаворська, М.М. Модель розпізнавання зображень рукописного тексту/М.М. Фаворська, О.М. Горошкін // Вісник Сибірського государст4 i, венного аерокосмічного університету. Вип. 2 "(19), Красноярськ, 2008. с. 52-58.

72. Фаворська, М.М. Алгоритми реалізації оцінки руху на системах відеоспостереження / М.Н. Фаворська, A.C. Шилов // Системи управління та інформаційні технології. Перспективні дослідження/ІПУ РАН; ВДТУ, № 3.3 (33), М.-Вороніж, 2008. с. 408 ^ 12.

73. Фаворська, М.М. До питання використання формальних граматик при розпізнаванні об'єктів у складних сценах // М.Н. Фаворська / У матеріалах XIII міжнар.наук.конф. "Решетневські читання". О 2 год. 4.2, Красноярськ, 2009. с. 540-541.

74. Фаворська, М.М. Розпізнавання динамічних образів на основі пророчих фільтрів/М.М. Фаворська// Вісник Сибірського державного аерокосмічного університету. Вип. 1(22) о 2 год. 4f. 1, Красноярськ, 20091 с. 64-68.

75. Фаворська, М.М., Методи, пошуку руху в.відеопослідовності / М.М. Фаворська, А.І. Пахірка, A.C. Шилів; М.В. Жінок // Вісник. Сибірського державного аерокосмічного університету. Вип. 1 (22) о 2 год. Ч. 2, Красноярськ, 2009. с. 69-74.

76. Фаворська, М.М. Знаходження рухомих відео об'єктів, із застосуванням-локальних 3D структурних тензорів / М.М. Фаворська// Вісник Сибірського державного аерокосмічного університету. Вип. 2 (23), Красноярськ, 2009. с. 141-146.

77. Фаворська, М.М. Оцінка руху об'єктів у складних сценах на основі тензорного підходу/М.М. Фаворська// Цифрова обробка сигналів, № 1,2010.-с. 2-9.

78. Фаворська, М.М. Комплексний розрахунок характеристик ландшафтних зображень/М.М. Фаворська, Н.Ю. Півень // Оптичний журнал, 77, 8, 2010.-с. 54-60.

79. Файн, B.C. Розпізнавання зображень/BC. Файн // М: Наука, 1970.-284 з.

80. Форсайт, Д.А. Комп'ютерний зір. Сучасний підхід/Д.А. Форсайт, Дж. Понс // М: видавничий дім «Вільямі», 2004. 928 с.

81. Фу, К. Послідовні методи у розпізнаванні образів та навчання машин / К. Фу / М.: Наука, 1971. 320 с.

82. Фу, К. Структурні методи в розпізнаванні образів/К. Фу/М.: Світ, 1977.-320 с.

83. Фукунага, К. Введення в статистичну теорію розпізнавання образів/К. Фукунага/М.: Наука, 1979. 368 с.

84. Шелухін, О.І. Самоподібність та фрактали. Телекомунікаційні програми / О.І. Шелухін, А.В. Осін, С.М. Смольський / За ред. О.І. Шелухіна. М: ФІЗМАТЛІТ, 2008. 368 с.

85. Шилов, А.С. Визначення руху (MotionEstimation)/О.С. Шилов, М.М. Фаворська // Свідоцтво № 2009611014. Зареєстровано у Реєстрі програм для ЕОМ м. Москва, 16 лютого 2009 р.

86. Ш.Шлезінгер, М.І. Кореляційний метод розпізнавання послідовностей зображень/М.І. Шлезінгер / У кн.: автомати, що читають. Київ: Наук.думка, 1965. с. 62-70.

87. Шлезінгер, М.І. Синтаксичний аналіз двовимірних зорових сигналів за умов перешкод / ​​М.І. Шлезінгер // Кібернетика, № 4, 1976. – с.76-82.

88. Штарк, Г.-Г. Застосування вейвлетів для ЦГЗ / Г.-Г. Штарк/Ml: Техносфера, 2007. 192 с.

89. Шуп, Т. Прикладні чисельні методи у фізиці та техніці: Пер. з англ. / Т. Шуп / За ред. С.П.Меркур'єва; М: Вища. Шк., 19901 - 255 с.11 "5. Електр, ресурс: http:// www.cse.ohio-state.edu/otcbvs-bench

90. Електр, ресурс: http://www.textures.forrest.cz/ електронний ресурс (база текстурних зображень textures library forrest).

91. Електр, ресурс: http://www.ux.uis.no/~tranden/brodatz.html електронний ресурс (база текстурних зображень Brodatz).

92. Allili M.S., Ziou D. Active contours for video object tracking using region, boundary and shape information // SIViP, Vol. 1, no. 2, 2007. pp. 101-117.

93. Almeida J., Minetto R., Almeida TA, Da S. Torres R., Leite N.J. Robust estimation of camera motion, використовуючи optical flow models // Lecture Notes in

94. Computer Science (including subseries Бібліотеки та літературні науки) 5875 LNCS (PART 1), 2009. pp. 435-446.

95. Ballan L., Bertini M., Bimbo A. D., Serra G. Video Event Classification using String Kernels // Multimed. Tools Appl., Vol. 48, no. 1, 2009. pp. 6987.

96. Ballan L. Bertini M. Del Bimbo A., Serra G. Action categorization in soccer videos using string kernels // In: Proc. IEEE Int'l Workshop on Content-Based Multimedia Indexing (CBMI). Chania, Crete, 2009. pp. 13-18.

97. Barnard K., Fan QF, Swaminathan R., Hoogs A., Collins R, Rondot P., і Kaufhold J. Evaluation of localized semantics: Data, methodology, and experiments // International Journal of Computer Vision, IJCV 2008, Vol. 77, no. 1-3,2008.-pp. 199-217.

98. Bertini M., Del Bimbo A., Serra G. Розвиток правил для semantic video event annotation // Lecture Notes In Computer Science; In: Proc. Int'l Conference on Visual Information Systems (VISUAL), Vol. 5188, 2008. pp. 192-203.

99. Bobick A.F., Davis J.W. Recognition of human-movement using temporal templates // IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, no. 3, 2001. pp. 257-267.

100. Boiman O., Irani M. Визначення irregularities in images and in video // International Journal of Computer Vision, Vol. 74, no. 1, 2007. pp. 17-31.

101. Bresson X., Vandergheynst P., Thiran J.-P. A Variational Model для Object Segmentation За допомогою Boundary Information and Shape Prior Driven4 by Mumford-Shah Functional // International Journal of Computer Vision, vol. 68, no. 2, 2006.-pp. 145-162.

102. Cavallaro A., Salvador E., Ebrahimi T. Shadow-aware object-based video processing // IEEE Vision; Image and Signal Processing, Vol. 152, no. 4, 2005.-pp. 14-22.

103. Chen J., Ye J. Training SVM with indefinite kernels // In: Proc. of the 25th international conference on Machine learning (ICML), Vol. 307, 2008. pp. 136-143.

104. Cheung S.-M., Moon Y.-S. Detection of Approaching Pedestrians від Distance Using Temporal Intensity Patterns // MVA2009, Vol. 10, no. 5, 2009. -pp. 354-357.

105. Dalai N., Triggs B., і Schmid G. Human detection using oriented histograms of flow and appearance // In ECCV, vol. II, 2006. pp. 428 ^ 141.

106. Dalai N., Triggs B. Histograms of Oriented Gradients for Human Detection // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), vol. II, 2005-pp. 886-893.

107. Dani AP, Dixon W.E. Single camera structure and motion estimation // Lecture Notes in Control and Information Sciences, 401, 2010. pp. 209-229.

108. Datta Ri, Joshi D;, Li J., та Wang J. Z1 Image retrieval: Ideas, influences, and trends of new age // ACM"-Computing Surveys, Vol. 40:, no: 2, 2008. ■ -pp 1-60.

109. Dikbas S., Arici T., Altunbasak Y. Fast motion estimation with interpolation-free sub-sample accurracy // IEEE Transactions on Circuits and Systems for Video Technology 20 (7), 2010. -pp. 1047-1051.

110. Dollar P., Rabaud V., Cottrell G., Belongie S. Behavior recognition via sparse spatio-temporal features // In: Proc. 2nd Joint IEEE International Workshop on Evaluation of Tracking and Surveillance, VS-PETS, 2005. pp. 65-72.

111. Donatini P. і Frosini P. Natural pseudodistances між closed surfaces // Journal of European Mathematical Society, Vol. 9, no. 2, 2007 pp. 231-253.

112. Donatini P. і Frosini P. Natural pseudodistances між closed curves // Forum Mathematicum, Vol. 21, no. 6, 2009. pp. 981-999.

113. Ebadollahi S., L., X., Chang S.F., Smith J.R. Visual event detection using multi-dimensional concept dynamics // In: Proc. IEEE Int'l Conference on Multimedia and Expo (ICME), 2006. pp. 239-248.

114. Favorskaya M., Zotin A., Danilin I., Smolentcheva S. Realistic 3D-моделювання лісу природи з природним ефектом // Відповідні кроки в другій КES International Symposium IDT 2010, Baltimore. США. Springer-Verlag, Berlin, Heidelberg. 2010.-pp. 191-199.

115. Francois A.R.J., Nevatia R., Hobbs J.R., Bolles R.C. VERL: An ontology framework for representing and annotating video events // IEEE Multimedia, Vol: 12; no. 4, 2005. pp. 76-86.

116. Gao J., Kosaka A:, Kak A.C. Multi-Kalman Filtering Approach для Video Tracking of Human-Delineated Objects in Cluttered" Environments // IEEE Com-puter Vision and Image Understanding, 2005, V. 1, no. 1. pp. 1-57.

117. Gui L., Thiran J.-P., Paragios N. Joint Object Segmentation and Behavior Classification in Image Sequences // IEEE Conf. on Computer Vision and Pattern Recognition, 17-22 June 2007. pp. 1-8.

118. Haasdonk B. Feature space interpretation of SVMs with indefinite kernels // IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 27, no. 4, 2005. pp. 482-492.

119. Harris C. and Stephens M. Combined corner and edge detector // In Fourth Alvey Vision Conference, Manchester, UK, 1988. pp. 147-151.

120. Haubold A., Naphade M. Classification of video events using 4-dimensional- time-compressed motion features // In CIVR "07: Proceedings of the6th ACM International Conference on Image and Video retrieval, NY, USA, 2007. -pp 178-185.

121. Haykin S. Neural Networks: A Comprehensive Introduction. / N.Y.: Prentice-Hall, 1999; .- 658 pi.

122. Hoynck M., Unger M., Wellhausen J. and Ohm J.-R. A Robust Approach до Global Motion Estimation for Content-based Video Analysis // Proceedings of SPIE Vol. 5601, Bellingham, WA, 2004. pp. 36-45.

123. Huang Q., Zhao D., Ma S., Gao W., Sun H. Deinterlacing за допомогою hierarchical motion analysis // IEEE Transactions on Circuits and Systems for Video Technology 20 (5), 2010. pp. 673-686.

124. Jackins C.L., Tanimoto S.L. Quad-trees, Oct-trees and K-trees: Generalized Approach to Recursive Decomposition of Euclidean Space // IEEE Transactions onPAMI, Vol. 5, no. 5, 1983.-pp. 533-539.

125. Ke Y., Sukthankar R:, Hebert Mi. Efficient visual event detection using volumetric features // In: Proc. of Int'l Conference on Computer Vision (ICCV), vol.1, 2005.-pp. 166-173.

126. Klaser A., ​​Marszalek M., і Schmid C.A Spatio-Temporal Descriptor Based on 3D-Gradients // In BMVC, British Machine Vision, Conference, 2008. -pp. 995-1004.

127. Kovashka, A., Grauman, До Learning a hierarchy of discriminative space-time neighborhood features for human action recognition // Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition ,2010. pp.2046-2053.

128. Кумсков М.І. Calculation Scheme of the Image Analysis Зображення з Models of the Objects to be Recognized // Pattern Recognition and Image Analysis, Vol. 11, no. 2, 2001. p. 446-449:

129. Kwang-Kyu S. Content-based image retrieval by combining genetic algoritm and support vector machine // In ICANN (2), 2007. pp. 537-545.

130. Lai C.-L., Tsai S.-T., Hung Y.-P. Study на три-dimensional coordinate calibration using fuzzy system // International Symposium on Computer, Communication, Control and Automation 1, 2010. - pp. 358-362.

131. Laptev I. On space-time interest points // International Journal of Computer Vision, Vol. 64, no. 23, 2005. pp. 107-123.

132. Leibe B., Seemann E., Schiele B. Pedestrian Detection in- Crowded* Scenes // IEEE Conference on Computer Vision and "Pattern Recognition, Vol. 1, 2005.-pp. 878-885.

133. Lew M. S., Sebe N., Djeraba C., та Jain R. Контент-оснований мультимедіа-інформація1 retrieval: State of the art and challenges // ACM Transactions on Multimedia Computing, Communications, and Applications, Vol. 2, no. 1, 2006. pp. 1-19.

134. Li J. and Wang J. Z. Real-time computerized annotation of pictures // IEEE Trans. PAMI, Vol. 30, 2008. pp. 985-1002.

135. Li L., Luo R., Ma. 9 IEEE Intern. Workshop on PETS, New York, 2006. pp. 91-98.

136. Li L., Socher R., і Fei-Fei L. Towards Total Scene Understanding: Classification, Annotation and Segmentation in Automatic Framework // IEEE Conference on Computer Vision and Pattern Recognition, CVPR, 2009. pp. 2036-2043.

137. Li Q., ​​Wang G., Zhang G.) Chen S. Використання global motion estimation based on pyramid with mask // Jisuanji Fuzhu Sheji Yu Tuxingxue Xuebao/Journal of Computer-Aided Design and Computer Graphics, Vol.: 21, no . 6, 2009. pp. 758-762.

138. Lindeberg T., Akbarzadeh A. і Laptev I. Galilean-diagonalized spatio-temporal interest operators // Proceedings of the 17th International Conference on Pattern Recognition (ICPR "04), 2004. pp. 1051-1057.

139. Lim J., Barnes, N. Усвідомлення епіполію за допомогою опалювального потоку в антіподальних точках // Computer Vision and Image Understanding 114, no. 2, 2010. pp. 245-253.

140. Lowe D. G. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision, Vol. 60, no. 2, 2004. pp. 91-110.

141. Lucas B.D., Kanade T. An Iterative Image Registration Technique with Application to Stereo Vision // International Joint Conference on Artificial Intelligence, 1981. pp. 674-679.

142. Mandelbrot B; B. The Fractal Geometry of Nature / N.Y.: Freeman ^ 1982. 468 p.; рус, пер.: Мандельброт Б. Фрактальна, геометрія природи: Пер. з англ. / М.: Інститут комп'ютерних досліджень, 202. – 658 с.

143. Mandelbrot В.В., Frame M.L. Fractals, Graphics, and Mathematics Education/N. Y.: Springer-Verlag, 2002. 654 p.

144. Mandelbrot B.B. Fractals and Chaos: Mandelbrot Set.and Beyond / N.Y.: Springer-Verlag, 2004. 308 p.

145. Memoli F. За допомогою Gromov-Hausdorff відстаней для розміру comparison // Proceedings of Eurographics Symposium on Point-Based Graphics. Prague, Czech Republic, 2007. pp. 81-90.

146. Mercer J. Functions of positive and negative typ and their connection with theory of integral equations // Transactions of the London Philosophical Society (A), vol. 209, 1909. pp. 415-446.

147. Mikolajczyk K. Detection of local features invariant to affine transformations, Ph.D.thesis, Institut National Polytechnique de Grenoble, France. 2002.171 p.

148. Mikolajczyk K. та Schmid G. An Affine Invariant Interest Point Detector // Proceedings of ECCV. Vol. 1. 2002. pp. 128-142.

149. Minhas R., Baradarani A., Seifzadeh S., Jonathan Wu, Q.M. Human action recognition using extreme learning machine based on visual vocabularies // Neurocomputing, Vol. 73 (10-12), 2010. pp. 1906-1917.

150. Mladenic D., Skowron A., eds.: ECML. Vol. 4701 of Lecture Notes in Computer Science, Springer, 2007. pp. 164-175.

151. Moshe Y., Hel-Or H. Video block motion estimation based on gray-code kernels // IEEE Transactions on Image Processing 18 (10), 2009. pp. 22432254.

152. Nakada T., Kagami S;, Mizoguchi H. Pedestrian Detection using 3D Optical Flow Sequences for- afMobile Robot // IEEE Sensors, 2008. pp: 116-119:

153. Needleman, S.B:,. Wunsch C.D; Як загальний метод застосовується до пошуку для подібності в аміноацидних секціях двох статей // Journal of Molecular Biology Vol. 48, no: 3, 1970. pp. 443-453.

154. Neuhaus M., Bunk H. Edit distance-based kernel функцій-для структурного pattern classification // Pattern Recognition. Vol. 39, no. 10, 2006. pp: 1852-1863.

155. Nevatia R., Hobbs J., і Bolles B. Антологія для відеозапису відео // В Workshop on Event Detection and Recognition. IEEE, Vol.12, no. 4, 2004. pp. 76-86.

156. Nguyen.N.-T., Laurendeau D:, Branzan-Albu A. A широкий метод для камери моніторингу в автомобілях заснований на оптичному flow // The 6th International