К дипломному проекту «подсистема распознования положения динамических объктов для управления средой ос windows» Студент



страница1/3
Дата24.12.2017
Размер0.59 Mb.
#4611
ТипДиплом
  1   2   3


ПОЯСНИТЕЛЬНАЯ ЗАПИСКА

к дипломному проекту


«ПОДСИСТЕМА РАСПОЗНОВАНИЯ ПОЛОЖЕНИЯ ДИНАМИЧЕСКИХ ОБЪКТОВ ДЛЯ УПРАВЛЕНИЯ СРЕДОЙ ОС WINDOWS»



Студент

Константинов Юрий Алексеевич

Научный руководитель

к.т.н., доц. С.Ю. Иванов

Москва 2015



СОДЕРЖАНИЕ

Введение

9

  1. Специальная часть

13

    1. Обзор средств, реализующих распознавание жестов руки в системах человеко-машинного взаимодействия

13

1.1.1.Обзор программных средств использующих стандартную WEB-камеру

13

1.1.2. Обзор устройств, реализующих распознавание жестов в системах человеко-машинного взаимодействия

22

    1. Разработка методов распознавания жестов руки в системах человеко-машинного взаимодействия

25

      1. Основы распознавания образов

26

      1. Основы распознавания жестов

29

      1. Рассмотрение теоретического материала для разработки методов распознавания жестов

36

      1. Разработка методов распознавания жестов руки в системах человеко-машинного взаимодействия.

50

    1. Разработка методов бесконтактного управления компьютером

55

    1. Определение необходимого множества команд для реализации взаимодействия пользователя с системой

58

    1. Оценка качества распознавания предложенных методов

58

  1. Конструкторско-технологическая часть

61

    1. Выбор среды разработки

61

    1. Проведение испытаний

61

  1. Экология и охрана труда

63

    1. Требования к рабочему месту

64

    1. Требования к освещенности

66

    1. Положительное влияние разработки на здоровье человека

68

Заключение

70

Список использованной литературы

72

ВВЕДЕНИЕ

Актуальность исследования

Взаимодействие человек – компьютер должно быть максимально упрощено,люди и машины должныкоммуницировать на уровне естественных для людей средств общения. Природа человека устроена так, что для получения информации ему не нужно использовать промежуточные приспособления. Вся информация поступает в мозг напрямую, обрабатывается там и выдается результат. Получит такое же взаимодействие с машиной, научит ее распознавать образы, реагировать на них и получать необходимый результат – вот цель, которая в настоящее время, является востребованной задачей для научных изысканий. Множество исследований проводится в настоящее время по созданию методов распознавания образов, в будущем они смогут обеспечить возможностьлегко и естественно, бесконтактно взаимодействовать с компьютером посредством распознавания динамических образов. На текущий период времени созданы некоторые практические приложения по такому управлению, некоторые из них можно отметить:

1) программные библиотеки Kinect SDK (Microsoft), OpenNI/NITE (PrimeSense), PMD SDK и SoftKinetic IISU для распознавания ключевых точек тела человека посредством применения трехмерных сенсоров;

2) сенсоры компаний LeapMotion, SoftKinetic для распознавания ключевых точек руки человека;

3) компьютерные приложения Flutter, PointGrab HGRS, XTR3D, EyeSight PC для управления компьютером посредством простых жестов рук.

К сожалению, по настоящее время существует много подводных камней, мешающих полноценно заработать на практике системе человеко-машинного взаимодействия: необходимость обеспечения определенных условий освещенности при съёмке, адаптации системы под каждого оператора, низкое качество и малая скорость распознавания жестов. Есть промежуточные успехи, но качество разработанных алгоритмов распознавания жестов рук и пальцев, как динамических, так и статических, с использованием видеокамер (цветных) и их усложненных аналогов, в виде трехмерных сенсоров все еще остается достаточным низким.

Сейчас основнуюзадачу можно определить следующим образом: создания новых простых и надежныхметодов, моделей и алгоритмов распознавания динамических образов, которые могут в дальнейшем быть использованы для создания систем бесконтактного взаимодействия человека и машины. Сделать пользовательский интерфейс абсолютно естественным для человека.

Цель работы

Целью работы является разработка подсистемы распознавания динамических объектов для управления средой ОС Windows. Средством достижения цели служит решение следующих основных задач:



  • Анализ наработанных и применяемых методов отслеживания и распознавания образов (жестов руки), а также дистанционного человеко-машинного взаимодействия;

  • Исследование и разработка методов описания, извлечения и распознавания конфигураций руки и головы;

  • Разработка методов распознавания позиций кончиков пальцев на основе анализа изображения руки для управления компьютерными системами;

  • Разработка методов распознавания позиций головы на основе анализа изображения головы для управления компьютерными системами.

Научная новизна

Система распознавания образов должна стать столь же эффективной, как и у живых организмов.

Для реализации такой задумки в данной дипломной работе были разработаны альтернативные методы изменения пространственного расположения курсора мыши с помощью распознавания динамических объектов при использовании среднестатистической WEB-камеры.

Разработаны нетрудоемкие алгоритмы считывания динамических объектов в пространстве.



Теоретическая значимость

Теоретическая значимость работы состоит в разработке методов классификации и идентификации объектов, обладающих абсолютным набором необходимых свойств и признаков для применения их в разработке методов и алгоритмов извлечения и распознавания жестов руки, обеспечивающих высокоекачество взаимодействия человека и компьютера.



Практическая значимость

На основе разработанных методов созданы программные приложения, позволяющие изменять пространственное расположение курсора мыши посредством жестов. В настоящий момент, это очень актуально как для обычных пользователей, так и для людей,не имеющих возможности пользоваться обычным компьютером (инвалиды).Сейчас для работы с компьютером разрабатываются различные устройства, позволяющие пользоваться данной техникой всем категориям людей, но концепты для людей с ограниченными возможностями в большей степени так и остаются на стадии презентации. В массовое производство данные разработки не внедряются. Это просто не выгодно, порог окупаемости наступает только при массовом производстве. Именно снижение применения промежуточных устройств в управлении компьютером может стать решением при расширении доступной среды людям с физическими ограничениями. Крайне важно обеспечить возможность вести независимый образ жизни инвалидам, дать им возможности быть социально активными, в том числе через использование информационно-комуникационных технологий. Данная работа направлена на устранение барьеров, которые сейчас мешают и создают препятствия для полноценного вливания людей с ограниченными возможностями в реальную жизнь. Доступность информации, возможности общения, дистанционного обучения, возможность работы на дому при помощи компьютера – вот одно из важнейших составляющих на пути к инклюзии.




  1. СПЕЦИАЛЬНАЯ ЧАСТЬ

В истории человечества было уже немало открытий, без которых мы сейчас уже не можем представить свою обыденную жизнь. Эти открытия, как правило,были направлены на улучшение качества жизни человека. Для улучшения коммуникации человечества была изобретена письменность. Для возможности перемещения человека на дальние разные расстояния – колесо. Настоящий прорыв в развитии прогресса – изобретение электричества. 20 век стал веком огромного количества открытий. Самое интересное, что сейчас человечество воспринимает это как должное. Казалось бы, что еще можно придумать, но человеческой мозг пытлив и совершенно не намерен останавливаться на достигнутом результате.

Рассмотрим подробно вопрос взаимодействия компьютера и человека. Сейчас ввод информации и управление курсором происходитпосредством клавиатуры и компьютерной мыши. Если подумать – это достаточно удобно и практично с одной стороны. С другой стороны, мы можем придумать альтернативный способ общения с машиной на уровне распознавания жестов, появится возможность понимать друг друга без применения промежуточных приспособлений. Такой способ общение является для человека еще более естественным, а для инвалидов - единственно возможным.



    1. Обзор средств, реализующих распознавание жестов руки в системах человеко-машинного взаимодействия

      1. Обзор программных средств использующих стандартную WEB-камеру

TheCameraMouse

Работа этой программыопределена захватомопределенной области изображения, записанной с помощью камеры. Для улучшения качества восприятия образа можно также воспользоваться вспомогательным ориентиром, например яркой меткой. Такой ориентир может располагаться в любом месте, в том числе и на руке, пальце, голове. Этой меткой может стать головной убор, аксессуар, например очки и т.п.

Данная программа неприхотлива к вспомогательным устройствам(WEB-камере), может распознавать практически любой сигнал, но это конечно в идеале. На практике далеко не всегда хватает качества той картинки, которую мы получаем с WEB-камеры необходимого для удовлетворительной обработки данных. Именно поэтому курсор на экране совершает колебательные движения, даже если в текущий момент времени пользователь находится в состоянии покоя. Основная проблема такой ситуации заключается в решении сложной задачи опознавания определенной метки на экране, крайне велика погрешность.

Для нормальной работы программы необходимо:качественнаяоптика камеры и наличие качественного освещения лица пользователя. Учитывая, что работа программы идет в режиме реального времени, недопустимы резкие движения пользователя во избежание потери точки слежения.

В CameraMouse естьопределенный ряд настроек, предназначенных для сведения погрешности при работе программы к минимуму. От точности работы системы зависитмобильность указателя мыши. Также предусмотрена возможность разнонаправленного управления, можно выставить значения как для горизонтальной так и для вертикальной скорости (рис.1.1.).

Довести дрожание курсора до минимума, можно посредством сглаженного движения, поработав над усреднением координат курсора. Этим можно добиться эффекта увеличения длины торможения курсора, он как бы станет инерционным.



c:\users\юрий\pictures\снимок.png

Рис. 1.1. Панель настроек программы Camera Mouse.

Также можно установить пределы области перемещения курсорав настройках CameraMouse, тем самым мы можем решить задачу излишней активности курсора при работе с программами, не требующими лишней суеты.

Передвижения курсора по экрану монитора – это решение только половины задачи в рамках управления компьютером. Для полной картины мира мы должны еще как то добиться выполнения существующего понятия – щелчок мышью. Это необходимо для выполнения различных задач при работе с компьютером. Данное действие должно быть таким же простым, как и дыхание, учитывая, что данным виртуальным манипулятором по нашей задумке должны пользоваться люди с ограниченными возможностями. Учитывая, что курсор не стоит на месте и при любом нашем движении норовит куда-то переместиться, нужно сделать автоматический клик. Пользователь должен удерживать примерно два вздоха курсор в определенной точке, чтобы машина поняла и сделала щелчок по ссылке или т.п. Конечно и тут свои подводные камни, например пользователь, открыл нужный документ, спокойно его изучает, курсор тем временем застыл на другой солке. Программа воспринимает это как команду к действию, и мы начинаем свое путешествие по абсолютно не интересующим нас ссылкам и т.п.



EnableViacam (eViacam)

Настройка EnableViacam выполнена в виде пошагового мастера. В отличие от ранее рассмотренной программыEnableViacam «ищет» на картинке лицо человека. Красная рамка, которая двигается вместе с отслеживаемым лицом заданного пользователя, дает точно понять здесь и сейчас, как хорошо программа видит необходимый объект.

В настройках EnableViacam предусмотрена возможность менять активность мониторинга. В случае потери контакта машины с человеком через определенное время автоматически прекращается дистанционное управление курсором. Данная опция необходима для избеганиявыполнения случайных действий на компьютере.

В программе EnableViacam, процедура перемещения мыши более плавная, в отличие от работы с CameraMouse.

Также в программеEnableViacam есть очень существенное отличие по совершению кликов мыши. Разработана специальная панель, с помощью которой можно выбрать последовательность действий или одно определенной, например клик идентичный правой или левой кнопки компьютерной мыши, технически реализована возможность перетаскивания активных окон.

Сам же механизм срабатывания клика такой же, как в CameraMouse, установлен определенный временной период по статической задержке курсора на определенной точке, после которого происходит нажатие, также этот процесс сопровождается звуковым сигналом для окончательного понимания свершившегося действия (рис.1.2.).



http://www.3dnews.ru/assets/external/illustrations/2011/12/20/621762/3.png

Рис. 1.2. Панель настроек программыEnableViacam

После свершившегося факта нажатия виртуальную мышь уходит в стандартный режим ожидания дальнейшего взаимодействия с пользователем.

Для полноценной работы с компьютером просто курсора мыши не достаточно.В связи с этим в программе EnableViacam предусмотрена такая функция, как наличие быстрого вызова экранной клавиатуры, с различными вариациями: виртуальная клавиатура или альтернативная. Пользователь может прописать самостоятельнокоманду для ее запуска в параметрах программы (рис.1.3.).



http://www.3dnews.ru/assets/external/illustrations/2011/12/20/621762/4.png

Рис. 1.3. Панель настроек программыEnableViacam

В программе предусмотрен автозапуск с системой, а также поддерживает сохранение профилей за пользователями, что значительно упрощает предварительный этап настройки, так как сохраняются параметры настроек для пользователя. EnableViacam поддерживают установку как на Windows, так и на Linux.

HeadMouse 4.0

Разработка программыHead Mouse 4.0было произведенов Университете Лериды (Испания). Несмотря на то, что разобраться в данной программе определенно сложнее, чем в ранее рассмотренных программах, в ней есть несколько интересных реализованных задумок. При более пристальном рассмотрении можно прийти к выводу, что утилита не настолько точна в вопросе позиционирования указателя мыши, как EnableViacam.Данный недостаток компенсируется с помощью автоматической калибровки, срабатывающей при любой удобной возможности, в частности при каждой паузе или же можно для этой опции задать определенный временной интервал (рис.1.4.).

Настройки можно отладить таким образом, что скорость движения курсора может варьироваться: быть быстрее или медленнее, также работать в режиме «зеркало». Сам зависимый курсор может работать в разных режимах в части взаимосвязи с пользователем. Жесткая сцепка с движением пользователя, либо же наличие относительной свободы, что обеспечивает возможность совершать больше движений для управления курсором.

Для контроля правильности расположения лица относительно WEB-камеры в углу монитора расположено визуальное окно (рис.1.5.).



http://www.3dnews.ru/assets/external/illustrations/2011/12/20/621762/5.jpg

Рис. 1.4. Панель, демонстрирующая автоматическую калибровку программы Head Mouse 4.0



http://www.3dnews.ru/assets/external/illustrations/2011/12/20/621762/6.png

Рис. 1.5. Панель, демонстрирующая визуальное окно программы Head Mouse 4.0

Интересный момент, не имеющий отображения в ранее рассмотренных программах – это возможность распознавать командыпользователя, произведенный глазами или губами. Это очень уместно для людей с ограниченными возможностями, вплоть до тех, кто абсолютно парализован. При помощи Head Mouse 4.0можновыполнять все то, что сейчас мы осуществляет с помощью обычной компьютерной мыши (рис.1.6.).

http://www.3dnews.ru/assets/external/illustrations/2011/12/20/621762/7.png

Рис. 1.6. Панель, демонстрирующая распределение команд программы Head Mouse 4.0

При желании в настройках HeadMouse 4.0 можно создать библиотеку шаблонов. Например, часто повторяемые сочетания клавиш, или какие-то заготовки текстовых ответов или вопросов, необходимых для повседневного общения, работы, переписки и т.п. (рис.1.7.). На практике это работает так: пользователь выполняет определенное действие – закрывает глаз, в ответ на данную команду машина выдает меню с ранее прописанными заготовками. Теперь остается только переместить курсор и выбрать необходимую информацию на текущий момент времени или необходимый порядок действий, команд прописанных ранее.

http://www.3dnews.ru/assets/external/illustrations/2011/12/20/621762/8.png

Рис. 1.7. Панель, демонстрирующая создание макросов программы Head Mouse 4.0

К серьезной проблемев этой программе можно отсутствие возможности выключить функцию слежения при помощи обычной стационарной мыши, для отключения ранее обозначенной функции абсолютно необходимо оригинальное лицо пользователя.

Flutter

Данная программа приобрела наибольшую популярность в нише связанной с управлением жестами.Для ее реализации использует Web камеру. В ней мало функций, но они работают качественно (рис.1.8.). Работает программа в PowerPoint, VLC, Winamp, iTunes, YouTube и нескольких других сервисов, которые у нас мало актуальны. Чтобы сервис работал в корректном режиме, необходимо находиться в правильном диапазоне от WEB-камеры.




http://it-port.ucoz.ru/_pu/0/87057248.jpg

Рис. 1.8. Панель, демонстрирующая функции программыFlutter



1.1.2. Обзор устройств, реализующих распознавание жестовв системах человеко-машинного взаимодействия

LeapMotion

Ранее мы рассматривали возможность управления курсором при использовании обычной камеры. Наряду с эти компания OcuSpecнашла другое интересное решение, которым является LeapMotion (рис.1.9.). Данное решение реализуется с помощьюдвух инфракрасныхкамер и светодиодов. Руки оператора должны находиться в определенном участке пространства, их движение сканируется и обрабатывается специальным программным обеспечением, после чего действия проецируются на экран.Данная программа дает возможность с легкостью управлять происходящим на мониторе, запускать программы, открывать окна просто переместив палец вперед.

Также LeapMotion распознает различные предметы: палочки, карандаши, кисти. Как на планшетах есть функция - степень нажатия, успешно поддерживающаяся устройством.
http://www.robotshop.com/media/files/images2/leap-motion-3d-motion-gesture-controller-10-large.jpg

Рис. 1.9. ИзображениеLeapMotion

Компания НР сейчас внедряетLeapMotion на некоторых линейках ноутбуков. Но в таком виде, как она сейчас разработана вряд ли станет достойной альтернативой клавиатуре и мыши. Во-первых, эргономически крайне трудно держать руки в подвешенном состоянии долгий период времени. Для человека такое положение нельзя назвать естественным и не затруднительным. Во-вторых, качество интерпретации жестов тоже не на высоте, очень серьезно программа уступает планшетным персональным компьютерам. Ну и самое главное, финансовая составляющая, за все программное обеспечение нужно платить, к тому же его крайне мало, и еще не факт, что оплаченное программное обеспечение поразит Вас своей безупречной работой и не вызовет никаких нареканий. Так что массовое тиражирование данной программы в том варианте, в котором она сейчас существует, имеет весьма туманные перспективы, хотя сама идея очень привлекательна. Сейчас это всего лишь интересноедополнение, имеющее чисто развлекательную нагрузку, не более того.

Myo

Разработан браслет, который позиционно размещается на предплечье, в результате считывания электрических импульсов в мышцах двигающейся руки формируется команда, которая в дальнейшем передается подключенному устройству (рис.1.10.).



http://www.3dnews.ru/assets/external/illustrations/2013/05/20/645483/myo.jpg

Рис. 1.10. ИзображениеMyo

Передача данных происходит с помощью технологии Bluetooth 4.0. Дальность работы устройства от считывающего устройства может достигать 10 метров. Это серьезно расширяет возможности данной разработки.

Непосредственно браслет состоит из:ARM-процессора, Li-on аккумулятора, сенсоров и инерционного измерительного устройства с шестью осями, которое и позиционируетв пространстве движение руки.

Браслет способен отслеживать движения пальцев и руки. Запрограммирован специальный, не имеющий аналогов жест, необходимый для включения и выключения устройства, продуманы алгоритмы,отсекающиенепроизводительныежесты, а также предусмотрена обратная связь в случае успешного распознаваниятого или иного жеста.

В действительности это устройство уникально. Оно достаточно легко в части освоения. Все выстроено более чем логично. Никаких инструкций, все на уровне интуиции. Может работать в операционных системах Windows и Mac OS. Уже сейчас данное устройство может делать много интересного, и его потенциал огромен.



    1. Разработка методов распознавания жестов руки в системах человеко-машинного взаимодействия

В современном обществе информацииотводитсяогромная роль. Потребность в информации достигла высокого уровня, люди участвуют в непрерывном процессе - обмен информации. И поэтому возникает потребность в высокой скорости ее получения, обработки, систематизации информации. Существует проблема - информационная доступность, возникающая в процессе передачи информации, всегда есть угроза ее потери.

Термин "информационная доступность" - возможность несанкционированного доступа к информации без учетаперсональных потребностей пользователя. В качестве персональных потребностей могут выступать: особенности используемых аппаратных средств, программных средств или персональное восприятие пользователя. Среда размещения информации не всегда удовлетворяет персональные потребности пользователя в осуществлениисвободного получения информации.

С развитием технических средств обработки речи, изображений и видео, взаимодействие человека с персональным компьютером выходит на другой уровень. В последнее время взаимодействие человека и компьютера было расширено.Финальной целью является создание связи, между ними, похожей на коммуникацию человека с человеком. Пользовательские интерфейсы включают в себя: звук, прикосновения, жесты, тактильные взаимодействия. Все изменения и усовершенствования направлены на достижение эффективного использования человеческих чувств при коммуникации с машинами.

Для людей нормальное взаимодействие не может быть одинаковым. В таких случаяхиспользуются инструменты на основе воспринимающего компьютинга, которые становятся коммуникативным звеном, обеспечивающим понятное и логичное общение для всех участников. Примером коммуникативного звенаявляется система на основе идентификации жестовдля людей с инвалидностью по слуху.

Ниже будут приведены существующие на сегодняшний день технологии, работающие с жестами, подробно будут разобраны методы и алгоритмы, и уже реальные возможности, предлагаемые Intel PerceptualComputingSDK, применяемые для снятия границ взаимодействия людей, с ограниченными возможностями, с внешним миром -систем автоматического сурдоперевода.


      1. Каталог: data -> 2015
        2015 -> Программа семинара: Новое в расчётах с персоналом в 2015 г.: оплата труда, средний заработок
        2015 -> Программа дисциплины Английский язык Для направления 38. 03. 02 Менеджмент Квалификация
        2015 -> Программа дисциплины Английский язык для направления 38. 03. 01 Экономика
        2015 -> Программа дисциплины Теория функций комплексного переменного
        2015 -> [Оставьте этот титульный лист для дисциплины, закрепленной за одной кафедрой]
        2015 -> Программа дисциплины Теория функций комплексного переменного  для направления 230700. 62 «Прикладная информатика» подготовки бакалавра
        2015 -> Программа дисциплины Теория функций комплексного переменного  для направления 231300. 62 «Прикладная математика» подготовки бакалавра
        2015 -> Порядок подготовки по образовательным программам высшего образования – программам подготовки научно-педагогических кадров в аспирантуре Национального исследовательского университета «Высшая школа экономики»


        Поделитесь с Вашими друзьями:
  1   2   3




База данных защищена авторским правом ©vossta.ru 2022
обратиться к администрации

    Главная страница