WWW.NEW.PDFM.RU
БЕСПЛАТНАЯ  ИНТЕРНЕТ  БИБЛИОТЕКА - Собрание документов
 

«Ю. И. Майборода, М. Ю. Синцов, А. Ю. Озерин, А. А. Кузин, О. О. Варламов Система автоматического тегирования изображений на основе миварных технологий АННОТАЦИЯ. В данной статье ...»

ISSN 2079-3316 ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ № 3(17), 2013, C.??—??

УДК 004.8

Ю. И. Майборода, М. Ю. Синцов, А. Ю. Озерин, А. А. Кузин, О. О. Варламов

Система автоматического тегирования изображений на

основе миварных технологий

АННОТАЦИЯ. В данной статье рассматривается проблема создания системы

автоматического тегирования изображений. В статье приведен обзор существующих

задач и программных решений в области классификации объектов на изображении .

Для решения задачи распознавания множества объектов на изображениях предлагается реализовать модули снятия контекстной неопределенности и управляющий модуль, производящий интеллектуальный запуск остальных модулей системы. Данные модули используют миварные технологии: миварную базу знаний и миварный метод логического вывода. В работе приведена модульная схема системы, описание работы модулей системы, а также полученные результаты .

Ключевые слова и фразы: искусственный интеллект распознавание изображений, тегирование изображений, мивар, миварные технологии .

Введение Сегодня элементы искусственного интеллекта и, в частности, методы теории распознавания образов широко используются в автоматизированных системах во многих предметных областях. Например, решение задач из области распознавания образов востребовано в таких предметных областях, как военное дело, охрана правопорядка, медицина и.т.д .

Одной из таких востребованных задач является распознавание объектов на статичных изображениях .



На данный момент в области распознавания объектов на статичных изображениях можно выделить несколько основных направлений исследований.

Так, ниже приведены типы задач, а также некоторые конкретные промышленные и/или исследовательские образцы с указанием разработчика данных систем:

(1) Поиск изображений по образцу. Например, существует проект IRMA (Image Retrieval in Medical Applications) [1] - совместный проект нескольких департаментов (Department of Diagnostic Radiology, the Department of Medical Informatics, Division of Medical Image Processing, the Chair of Computer Science VI) Ахенского технологического университета (RWTH Aachen). В рамках данного проекта разрабатывается система, позволяющая по входному статичному изображению выдавать подобные изображения. Работа ведется с © Ю. И. МАЙБОРОДА, М. Ю. СИНЦОВ, А. Ю. ОЗЕРИН, А. А. КУЗИН, О. О. ВАРЛАМОВ, 2014 © НИИ МИВАР, 2014 © ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ, 2014

2 ТЕГИРОВАНИЕ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ МИВАРНЫХ ТЕХНОЛОГИЙ

медицинскими изображениями. Существуют и другие подобные проекты, которые реализуются в других областях знаний .

Детектирование объектов на статичных изображениях.

Примеры (2) систем, использующих методы детектирования и распознавания лиц:

-программный продукт Google Picasa [2] компании Google;

- программный продукт iPhoto [3] компании Apple;

- встроенная функция детектирования распознавания лиц в социальной сети Facebook [4];

- программный продукт Windows Live Photo gallery [5] компании • Microsoft .

В каждом из этих продуктов реализована технология детектирования и распознавания лиц для упрощения процедуры тегирования изображений, т.е., программа помогает находить фотографии для последующего тегирования, на которых она распознает одинаковые лица .

Классификация объектов, присутствующих на статичном изображении. Примерами таких систем служат следующие:

- программный продукт Google Googles [6] компании Google;

- исследовательский проект TextonBoost [7] компании Microsoft;

- исследовательский проект Linkoln [8] компании Microsoft .

• Проекты Linkoln и Google Googles направлены на классификацию (присвоение метки с названием категории) одиночных объектов на фотографиях, в то время как целью проекта Textonboost является классификация категорий всех объектов, присутствующих на статичном изображении .

Первая и вторая задачи имеют достаточно качественные решения, которые широко внедрены в автоматизированные системы. Что касается третьей задачи, то ее решения на данный момент являются весьма слабыми. Кроме чисто академического интереса, актуальность данной задачи заключается в том, что на данный момент существует большое количество фотобанков и личных фотоархивов пользователей, которые не используют автоматическое тегирование изображений – теги проставляются вручную .

В данной статье описываются принципы построения системы для решения задачи автоматического тегирования изображений (задача классификации всех объектов, присутствующих на статичном изображении). То есть суть задачи - поступающему на вход изображению поставить в соответствие его максимально полное и точное текстовое описание, в котором будут присутствовать названия объектов, их свойства, и отношения между объектами .

.

Ю. И. МАЙБОРОДА, М. Ю. СИНЦОВ, А. Ю. ОЗЕРИН, А. А. КУЗИН, О. О. ВАРЛАМОВ

1. Описание работы модулей системы Интересующее пользователя изображение попадает на конвейер и проходит через модули предобработки, сегментации, детектирования, классификации, определения признаков, модуль построения графа вещьсвойство-отношение (ВСО) и модуль снятия контекстой неопределенности. При этом каждый из модулей может включать в себя один или несколько динамически подключаемых методов обработки изображения, что позволяет получить наиболее полную информацию об объектах предметной области (область знаний, ограниченная понятиями, контекстно связанными друг с другом) пользователя. По результатам математической обработки изображения строится граф вещь-свойствоотношение, который может быть использован для большого класса задач, связанных с интеллектуальной обработкой информации. Граф Вещь-Свойство-Отношение представляет собой универсальную форму представления человеческих знаний, причем, каждый из элементов графа может выступать в трех состояниях: как вещь, как свойство и как отношение .

РИС. 1. Модульная схема системы В подразделах ниже представлено описание основных модулей системы (рис. 1) .

4 ТЕГИРОВАНИЕ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ МИВАРНЫХ ТЕХНОЛОГИЙ

1.1. Модуль предобработки и управляющий модуль В рамках работы было исследовано большое количество методов сегментации, детектирования, классификации, а также определения признаков объектов .

В зависимости от поставленной задачи, типа поступаемой информации (изображение, видео, другие данные) и особенностей самого изображения для качественного тегирования изображения необходимо использовать различные методы обработки изображений. Для этой цели разрабатывается управляющий модуль, который действует по принципу продукционной системы принятия решений: первоначально ряд предобработчиков анализируют входной поток информации, извлекая из нее характерные признаки, после чего на основании значений этих признаков принимается решение о запуске того или иного модуля (метода). Принцип работы продукционной системы основан на миварном методе логического вывода, подробно описанный, например, в [10, 11, 16, 17, 18, 21, 22, 24] .

1.2. Модуль сегментации В модуле сегментации происходит выделение масок объектов, т.е .

из физически непрерывного набора визуальной информации в изображении строится дискретный набор сегментов - областей пикселей, связанных друг с другом по какому-либо критерию: общность цвета и/или текстуры, разделение общими границами, нахождение в общем фокусе и др. В дальнейшем, полученные сегменты ложатся в основу создания графа ВСО в качестве объектов. Используемые методы в данном модуле:

Watershed, Grabcut, SWA, Graph Segmentation, SLIC .

1.3. Модуль классификации объектов После модуля сегментации запускается модуль классификации объектов, где происходит непосредственно распознавание категорий объектов (наделение объектов именами категорий), таких как стул, стол и.т.д .

В зависимости от предметной области классификатор распределяет полученные сегменты к той или иной категории понятий. В бета-версии сервиса классификатор настроен на объекты из контекста «комната» .

Для классификации объектов используется концепция Bag of Words .

1.4. Модуль детектирования Связка из сегментатора и классификатора представляет собой общий метод поиска объектов. В то же время, возможен поиск конкретных объектов на изображении (например, лиц, номеров машин, круглых объектов), что достигается применением модуля детектирования .

.

Ю. И. МАЙБОРОДА, М. Ю. СИНЦОВ, А. Ю. ОЗЕРИН, А. А. КУЗИН, О. О. ВАРЛАМОВ

1.5. Модуль определения признаков На данный момент в модуле происходит определение цвета, текстуры, формы и пространственных отношений (например, “стул находится слева от стола”) между объектами. Реализовано определение пола и эмоций (возможные значения: “позитивный”, “нейтральный”, “негативный”) для объекта “лицо человека” .

1.6. Модуль построения графа вещь-свойство-отношение После определения объектов, их свойств и связей между объектами строится граф вещь – свойство – отношение (описание миварного пространства дается, например, в [9, 12, 13, 14, 15, 19, 20, 23, 25]), где вещь

– это категория объекта; свойства – цвет, текстура, форма (для объекта “лицо человека” свойствами также являются пол и эмоции); отношения – пространственные отношения .

1.7. Модуль снятия контекстной неопределенности и модуль обращения к миварной базе знаний .

Модуль снятия контекстной неопределенности позволяет уточнять полученные теги. После построения графа ВСО, он может быть верифицирован с миварной базой знаний (описание миварного подхода к построению БЗ описывается в [9, 23]) .

В результате применения алгоритмов машинного зрения может получиться информация, не являющаяся математически противоречивой, однако не имеющая смысла для человека. Для этого заведомо ложная информация из разбора удаляется в модуле верификации ВСО следующим образом: данный модуль через модуль обращения к миварной базе знаний получает по каждому объекту из графа вещь-свойствоотношение его семантическую сеть, которую сопоставляет с этим же графом. В результате этого сопоставления система принимает решение об удалении из тега свойств объектов и отношений между объектами. В дальнейшем, граф ВСО может быть сохранен, как отдельная модель, как часть другой модели .

1.8. Модуль обратной связи На данный момент еще не реализован. С его помощью планируется бороться с оверсегментацией изображения .

2. Миварная база знаний Важной частью системы является миварная база знаний. В базе знаний хранятся понятия и системные отношения между понятиями, которые показывают связь между ними. Понятиями могут быть существиТЕГИРОВАНИЕ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ МИВАРНЫХ ТЕХНОЛОГИЙ тельные (“стол”), прилагательные (“зеленый”), глаголы (“бегать”) и другие части речи. Системные отношения представляют из себя словосочетания и бывают следующих типов:

(1) Общее – частное: “машина – легковая”, “млекопитающее – человек”;

(2) Часть – целое: “туловище – рука”, “часы – стрелка”;

(3) Словосочетания имеющие смысл: “круглый мяч”, “серый стул”;

(4) Пространственные отношения: “кружка находится на столе”, “стул находится под столом” .

Системой автоматического тегирования изображений на данный момент используются системные соотношения типов: словосочетания имеющие смысл и пространственные отношения. Как было сказано в подразделе 1.7, в случае, если того или иного понятия или системного отношения из получаемого графа вещь – свойство - отношение нет в базе знаний, это понятие или отношение удаляется из графа .

3. Полученные результаты Реализован программный прототип на основе технологий, перечисленных в предыдущем разделе. Разработка велась на языке Python с использованием библиотеки OpenCV .

В таблице 1 представлены основные характеристики системы, а также характеристики системы, которые планируется достичь в будущем:

ТАБЛИЦА 1. Текущие и планируемые технические характеристики системы

–  –  –

Заключение В данной статье был представлен принцип построения системы автоматического тегирования изображений. Система кроме определения категорий объектов также позволяет определять и другие признаки объектов на изображении, такие как: цвет, текстура, форма, пространственные отношения, пол и эмоции человека. Также реализовано определение сценария изображения. Кроме стандартных методов детектирования, сегментации, классификации в данной системе используются миварные технологии (миварная база знаний и миварный метод логического вывода) .

Миварные технологии должны позволить реализовать интеллектуальный запуск модулей в зависимости от параметров входящего изображения, а также модуль снятия контекстной неопределенности. Кроме того дальнейшими шагами в разработке системы являются борьба с оверсегментацией изображения и ложными срабатываниями классификатора. Также предполагается наращивание типов определяемых признаков: поз людей и животных, движений объектов .

Список литературы [1] URL: http://ganymed.imib.rwth-aachen.de/irma/index_en.php [2] URL: http://picasa.google.com [3] URL: https://www.apple.com/ru/mac/iphoto/ [4] URL: https://www.facebook.com/help/463455293673370/ [5] URL: http://windows.microsoft.com/ru-ru/windows-live/photo-gallery [6] URL: https://support.google.com/websearch/answer/166331 [7] Jamie Shotton, John Winn, Carsten Rother, Antonio Criminisi. TextonBoost for Image Understanding: Multi-Class Object Recognition and Segmentation by Jointly Modeling Texture, Layout, and Context // International Journal of Computer Vision. 2009. V 81. Issue 1. pp 2-23 .

8 ТЕГИРОВАНИЕ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ МИВАРНЫХ ТЕХНОЛОГИЙ

[8] URL: http://research.microsoft.com/enus/um/people/larryz/objectrecognition.htm [9] Варламов О.О. Эволюционные базы данных и знаний для адаптивного синтеза интеллектуальных систем. Миварное информационное пространство. // М.: Радио и связь. 2002. - 288 С .

[10] Варламов О.О. Разработка линейного матричного метода определения маршрута логического вывода на адаптивной сети правил // Известия вузов. Электроника. 2002. № 6, c. 43-51 .

[11] Варламов О.О. Разработка адаптивного механизма логического вывода на эволюционной интерактивной сети гиперправил с мультиактивизаторами, управляемой потоком данных // Искусственный интеллект. 2002. № 3, c. 363-370 .

[12] Варламов О.О. Основы многомерного информационного развивающегося (миварного) пространства представления данных и правил // Информационные технологии. 2003. № 5, c. 42-47 .

[13] Варламов О.О. Системы обработки информации и взаимодействие групп мобильных роботов на основе миварного информационного пространства // Искусственный интеллект. 2004. № 4, c. 695-700 .

[14] Варламов О.О. Создание интеллектуальных систем на основе взаимодействия миварного информационного пространства и сервисноориентированной архитектуры // Искусственный интеллект. 2005 .

№ 3, c. 13-17 .

[15] Варламов О.О. О возможности создания интеллектуальных систем на основе GRID, систем адаптивного синтеза ИВК, сервисноориентированной архитектуры и миварного информационного пространства // Известия Таганрогского государственного радиотехнического университета. 2005. Т. 54, № 10, c. 130-140 .

[16] Владимиров А.Н., Варламов О.О., Носов А.В., Потапова Т.С. Программный комплекс "УДАВ": практическая реализация активного обучаемого логического вывода с линейной вычислительной сложностью на основе миварной сети правил // Труды НИИР. 2010. Т. 1, c. 108-116 .

[17] Варламов О.О. Практическая реализация линейной вычислительной сложности логического вывода на правилах "ЕСЛИ-ТО" в миварных сетях и обработка более трех миллионов правил // Автоматизация и управление в технических системах: электрон. научн. журн. 2013. № 1(3) .

URL: http://auts.esrae.ru/3-66 [18] Варламов О.О., Чибирова М.О., Сергушин Г.С., Елисеев Д.В. "Облачная" реализация миварного универсального решателя задач на основе адаптивного активного логического вывода с линейной сложностью относительно правил "Если-То-Иначе" // Автоматизация и управление в технических системах: электрон. научн. журн .

2013. № 2(4), c. 7-23 .

URL: http://auts.esrae.ru/4-78 [19] Варламов О.О., Сергушин Г.С., Елисеев Д.В., Адамова Л.Е., Майборода Ю.И., Антонов П.Д., Чибирова М.О. О миварном подходе к моЮ. И. МАЙБОРОДА, М. Ю. СИНЦОВ, А. Ю. ОЗЕРИН, А. А. КУЗИН, О. О. ВАРЛАМОВ делированию процессов понимания компьютерами смысла текстов, речи и образов. Новые возможности расширения границ автоматизации умственной деятельности человека. // Автоматизация и управление в технических системах: электрон. научн. журн. 2013. № 2(4), c 30-45 .

URL: http://auts.esrae.ru/4-80 [20] Варламов О.О., Адамова Л.Е., Елисеев Д.В., Майборода Ю.И., Антонов П.Д., Сергушин Г.С., Чибирова М.О. Комплексное моделирование процессов понимания компьютерами смысла текстов, речи и образов на основе миварных технологий // Искусственный интеллект. 2013. № 4, c. 15-27 .

[21] Чибирова М.О., Сергушин Г.С., Варламов О.О., Елисеев Д.В., Хадиев А.М. и др. Реализация общедоступного миварного универсального решателя задач на основе адаптивного активного логического вывода с линейной сложностью и облачных технологий // Искусственный интеллект. 2013. № 3, c. 512-523 .

[22] Варламов О.О., Чибирова М.О., Сергушин Г.С., Елисеев Д.В. Практическая реализация универсального решателя задач «УДАВ» с линейной сложностью логического вывода на основе миварного подхода и «облачных» технологий // Приборы и системы. Управление, контроль, диагностика. 2013. № 11, c. 45-55 .

[23] Варламов О.О. Эволюционные базы данных и знаний. Миварное информационное пространство // Известия Южного федерального университета. Технические науки. 2007. Т. 77, № 2, c. 77-81 .

[24] Варламов О.О. Основы миварного подхода к созданию логического искусственного интеллекта. Учебное пособие / Москва, МАДИ, 2013 .

[25] Varlamov O.O., Adamova L.E.E., Eliseev D.V., Mayboroda Yu.I., Antonov P.D., Sergushin G.S., Chibirova M.O. Mivar Technologies in Mathematical Modeling of Natural Language, Images and Human Speech Understanding // International Journal of Advanced Studies. 2013. Т .

3, № 3, c. 17-23 .

Об авторе:

Юрий Игоревич Майборода Аспирант Московского физико-технического института (государственный университет). Старший научный сотрудник НИИ Мивар, Москва, Россия .

e-mail: y.majboroda@mivar.ru

10 ТЕГИРОВАНИЕ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ МИВАРНЫХ ТЕХНОЛОГИЙ

–  –  –

.

Ю. И. МАЙБОРОДА, М. Ю. СИНЦОВ, А. Ю. ОЗЕРИН, А. А. КУЗИН, О. О. ВАРЛАМОВ Mayboroda Y.I., Syntsov M.Y., Ozerin A.Y., Kuzin A.A., Varlamov O.O. Automatic tagging system based on mivar technologies .

ABSTRACT. This article considers the problem of development of an automatic tagging system. The review of the existing problems and software products in the sphere of image recognition is presented. For solving the problem of classification of all objects which exist in an image it is proposed to develop the modul of context ambiguity elimination and the control modul which controls intelligent launching of the other system moduls. These moduls use mivar technologies: mivar knowledge base and mivar method of logical inference. The article presents the modul scheme of the system and also the description of how the moduls of the system work .

Key Words and Phrases: artificial intelligence, image recognition, automatic tagging, mivar,

Похожие работы:

«Обработка сейсмических данных в пакете Prime (Прайм) как способ анализа и проверки геологических гипотез Кузнецов Иван Константинович Директор департамента интерпретационной обработки сейсмических данных Результат многолетних исследований и разработок ро...»

«УДК 801. 3 ВЕРБАЛИЗАЦИЯ КОНЦЕПТА "ВРЕМЯ" В ЛИРИКЕ А.А. ФЕТА © 2009 С.К. Константинова С.К. Константинова – кандидат филологических наук, доцент кафедры русского языка kimovna@kursknet.ru Курский государ...»

«А.П. АНИСИМОВ ТАБЛИЦА для определения горных nород и минералов КомиПермяцкого округа (В помощь начинающему краеведу) КЫА92о УМ 13гд ДКР Издание национальног о музея Как пользоваться таблицей Чтобы определить...»

«Л. В. Королькова ТРАДИЦИОННАЯ КЕРАМИКА ШУГОЗЕРЬЯ УДК 688.721(470.23) ББК 63.5(2) Издано по заказу комитета по местному самоуправлению, межнациональным и межконфессиональным отношениям Ленинградской области в рам...»






 
2018 www.new.pdfm.ru - «Бесплатная электронная библиотека - собрание документов»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.