В минувшем октябре компания Leap Motion, борющаяся за рынок виртуальной реальности с помощью своего контроллера движений и специально созданного крепления под Oculus Rift, совместно с IndieCade , участникам которого предлагалось побороться за призовой фонд в $75 000 с помощью приложений с жестовым управлением. К этому дню из всех конкурсантов были отобраны 20 полуфиналистов , причём 14 из них устремились к победе с проектами виртуальной реальности, и сегодня мы расскажем именно об этих смельчаках.

Aboard the Lookinglass

Научно-фантастическое космоприключение от Генри Хоффмана (Henry Hoffman) с уникальной игровой механикой, в которой ваши руки могут управлять прошлым и будущим. Активируйте пульты, решайте головоломки и вглядитесь в суровую правду.

Corridor 17

Сочетание бесконечного раннера и шутера от первого лица от Studio 17. Вы - пилот и вынуждены уклоняться от столкновения с коварными ловушками и неожиданными препятствиями, отстреливая вооружённых роботов из пушки под контролем Leap Motion. Требуются Oculus Rift DK2.

ElementL: Ghost Story

В роли даосского монаха вы были посланы избавить деревню от злых духов, обитающих в бамбуковом лесу. В этом приключении от Кевина Цанга (Kevin Tsang) и его команды вам предстоит использовать магию элементов, колдуя собственными руками.

Gooze

В заброшенных развалинах вы должны решать головоломки, путешествуя из зала в зал и скрываясь от монстров. Прототип игры от Дэниеля Видерманна (Daniel Wiedemann) основан на его впечатлениях от реального места близ Берлина.

Haunet

Футуристичная трёхмерная VR-головоломка от VRARlab позволяет использовать руки для управления миром цветных кубических конструкций. Подойдут любые Oculus Rift.

Hollow

Почувствуйте себя всадником из «Легенды о Сонной лощине» Вашингтона Ирвинга. Осенняя палитра Ирвинга оживает в виртуальной реальности благодаря реалистичной графике на движке Unreal Engine 4. Oculus Rift не обязательны, но рекомендованы.

Let’s Make Fried Rice

Кулинарный эксперимент по созданию трёхмерных меню и отслеживанию предметов от Юсуке Андо (Yusuke Ando). Приготовь жареный рис и накорми изголодавшихся клиентов! Режим виртуальной реальности пока доступен только для Windows.

Magicraft

Фэнтези виртуальной реальности Magicraft от Storm Bringer Studios превращает вас в мага в мире колдовства и звона мечей. Противники имеют несколько уровней, геймплей обещает быть интересным. Rift не обязательны, но рекомендованы.

Otherworld

C помощью отличной графики и эмбиента Otherworld переносит игрока в странное место, полное духов и загадок, ожидающих своего часа. Игра разработана командой из четырёх человек, включая художника, двух музыкантов и программиста.

Press Bird To Play

Глупая птица украла пиратский кортик - помогите пирату вернуть свою гордость. С помощью мини-игр и атмосферных локаций игра Джеральда Тирвина (Gerald Terveen) действительно захватывает. Требуются Oculus Rift и Leap Motion, расположенный на столе.

Soundscape VR

Полное погружение в мир музыки - пульты и контроллеры в виртуальной реальности, абстрактный фон, успокаивающие звуки, отделённая от самой реальности творческая зона от Sander Snake.

Tran;section

Всегда мечтали поиграть в игру в игре? Тогда этот проект для вас. Сидя в мрачноватом виртуальном офисе, вам предстоит играть на обычном компьютере в самый обычный платформер, но с одной изюминкой: миры игры и игры-в-игре взаимосвязаны… Лучше посмотрите видео.

Weightless

Большинство из нас вряд ли хоть раз попадёт в открытый космос за всю жизнь, но виртуальная реальность хороша как раз тем, что снимает всякие ограничения. Медитативное космическое приключение от Мартина Шуберта (Martin Schubert) погрузит вас в работу на орбитальной космической станции - сбор артефактов под красивое фортепиано.

World of Comenius

Образовательно-информационная среда с данными об окружающем мире и нас самих от Томаса Frooxius Марианчика (Tomas Mariancik).

Небольшой бонус от Leap Motion: промокод LEAP3DJAM даёт 20-процентную скидку на покупку VR Developer Bundle, включающий сам контроллер и крепление для Oculus Rift, в

Цена вопроса - 4990 руб.

Комплект поставки - само устройство, 2 USB шнура.

Внеший вид.

Когда я впервые взяла в руки коробку с подаренным мне Leap Motion , в башке крутилась одна-единственная мысль - что это, черт побери, вообще такое? Так как диалог полугодовой давности с обсуждением данной новинки электронного рынка выветрился из памяти начисто, а инструкции на русском языке не прилагалось, то пришлось лезть за помощью в гугл, который выдал мне примерно следующее. :)

В теории. На практике, конечно, все несколько иначе. :)

Само устройство выглядит примерно так, как на картинке, хотя габариты несколько больше: 8 см в длину и 3 в ширину. За счет прорезиненной подкладки должно устойчиво стоять на столе, хотя лично у меня его всегда несколько перекашивает:) К компьютеру подключается через кабель USB-USB 3.0, устанавливается между монитором и клавиатурой и спокойно работает на Windows 7.

Многие пишут про какие-то особые тесты при подключении девайса, однако у меня ничего такого не было, кроме регистрации в Leap Motion Airspace, но об этом чуть ниже.

Leap Motion - программное обеспечение.

После того как система опознала инородное устройство и радостно оповестила о том, что оно готово к работе, я торжественно взмахнула рукой перед монитором, и.. чуда не произошло. :)

Пришлось лезть на сайт https://airspace.leapmotion.com/ и скачивать оттуда Leap Motion Airspace - программу представляющую собой типичный сервис распространения игр и прочего ПО созданных для этого девайса.

Скачала, поставила, прошла регистрацию, установила софт, начала тестировать. Первая программа - Orientation, демонстрирует наиболее эффектные возможности Leap Motion. Довольно необычно было видеть собственные верхние конечности в вот таком вот виде:

Дальше на выбор - в Airspace Store имеются игры, программы для создания различных объектов, рисовалки, создатели музыки и прочие, не менее интересные вещицы. Разумеется, много платных, но и среди бесплатных есть во что поиграться.

Пожалуй, самым неприятным открытием тут стало разделение софта для Mac и Windows, так что на некоторые программы обладателям "неправильной" системы придется только облизываться.

Для этого идем в раздел Computer Controls и скачиваем там Touchless - для мака и винды соответственно.

Leap Motion - настраиваем для нормальной работы.

Дальше начинается самое интересное. :) Первоначально, чтобы хотя бы попасть по значку на рабочем столе мне потребовалось минут 5. Это было похоже на то ощущение, которое возникало во время первого использования компьютера - все страшно, щелкает и ни черта не работает. :) Так что на определенном этапе тыканья по экрану недоумение начало сменяться разочарованием.

А потом пришло понимание того, что неплохо бы залезть в настройки, если таковые имеются. Настройки обнаружились в области уведомлений и представляли собой компактный значок "Жесты" . Щелкаем по нему правой кнопкой мыши (о, какое это блаженство, когда все работает сразу и как надо) и выбираем Открыть панель управления "Жесты".

В открывшемся окне Жесты выставляем точную чувствительность пера и касания. Затем переходим на вкладку Параметры пера . Выбираем строчку Двойное касание Двойной щелчок и нажимаем Параметры .

В новом окне ползунки Скорость и Расстояние двигаем до упора в сторону больше и тестируем результат в маленьком окошке с дверью. Если все сделано правильно и вы уже приноровились к двойному касанию - дверь откроется. Такую же процедуру проделываем и на вкладке Касание .

К нам в кеддроофис заскочил необычный гаджет — Leap Motion, который был представлен в прошлом году и навел немало шуму. Его создатели всерьез нацелены переосмыслить управление интерфейсами, главная цель — заменить мышку. Не уверен, что так все и будет, все же, держать руки на столе удобнее, а постоянно размахивая ими быстро устаешь. Но некоторые задачи точно будет удобнее выполнять при помощи подобного сенсора. К примеру, игры, ведь для всевозможных аркад и таймкиллеров, при помощи которых можно расслабиться и забыть про работу минут на 20, Leap Motion подойдет отлично.

Как вся эта штука работает? В двух словах, перед устройством образуется некий куб, со стороной в 60 см, в котором с большой точностью распознаются движения ваших пальцев. Уже сейчас Leap Motion распознает все 10 пальцев, причем точность их перемещения улавливается до долей миллиметра. Задержка также минимальная. Но лаги случаются и, пока что, довольно часто. К примеру, даже в демо-приложении пропадают пальцы, если ими двигать и вращать. А порою кажется, что палец отрывается. Тем не менее, уже сейчас работа хорошая и в приложениях, по типу Cut The Rope, где задействуется только один палец, лаги случаются редко. А вот Google Earth мне приручить так и не удалось, земля панически вращается в моих руках, а потом я сразу оказываюсь под водой. И так все время.

Leap Motion — это не просто железяка, это целая экосистема. Было бы бессмысленно, если бы Leap Motion мог похвастаться только демками. Нет, разработчики создали некий хаб для компьютеров (Mac и PC) — Airspace. Тут вы видите все, что уже загрузили/приобрели. Также есть веб-магазин приложений — Airspace Store . Здесь надо зарегистрироваться, после чего можно приступать к покупкам. В основном приложения платные, есть категории, есть разделы только для Mac и только для Windows. После приобретения приложения или игры, найти покупку можно в хабе, оттуда происходит и загрузка. Если вы залогинитесь на другом компьютере, все ваши покупки синхронизируются.

Сам Leap Motion представляет из себя компактную коробочку, размером с 128-ГБ флешку. Корпус сделан из алюминия, стекла и прорезиненной нижней части, которая не позволяет устройству ерзать по столу. К компьютеру Leap Motion подключается при помощи USB-кабеля, похожего на таковые для внешних 2,5″ винчестеров. В комплекте есть 2 таких кабеля, один длиной метр, другой в два раза короче. После подключения LM к компьютеру, все, что останется сделать — установить приложение, которое можно загрузить на сайте, и зарегистрировать свое устройство.

Пока что это не более, чем игрушка. Единственное полезное приложение, которое мне удалось найти — Touchless for Mac, превращающее LM в трекпад. Но пользоваться им, опять же, очень тяжело. Я бы даже сказал — нереально. Пока что Leap Motion — это просто развлечение для друзей, демонстрация возможностей при помощи демо-приложений и игр. Но, одновременно — это первый шаг в будущее. Думаю, года через два мы сможем увидеть подобное устройство не в одном ноутбуке.

Минувший 2017 год всё ещё отголосками догоняет любителей технологий. Помимо негатива в виде дыр в защите процессоров от intel, он оставил нам и немало позитивных находок, которым лишь предстоит раскрыться в 2018. Среди них и специализированный контроллер leap motion, успевший собрать сумму в 2 раза больше запрошенной на платформе Kickstarter.

Производственные процессы компании дали, наконец, первые плоды, и контроллер для захвата движения был отослан всем тем, кто сделал весомый вклад в компанию и оформил предзаказ. Давайте же разберёмся, что он собой представляет, и какой была первая реакция неофициальных «тестеров» продукта.

Комплект поставки устройства

В комплекте поставки вы получаете сам контроллер leap motion, а также:

1. Несколько буклетов с инструкциями на английском.
2. Гарантийный талон на устройство.
3. Пару кабелей стандарта usb разной длины. Один полутораметровый, для персональных компьютеров, чтобы было удобно подсоединять к системному блоку. Второй полуметровый, для ноутбуков.

Забота разработчиков о кабель-менеджменте клиентов, конечно, приятна, но давайте разберёмся, стоит ли игра свеч, и что собой вообще представляет это устройство. При этом важно уделить внимание не только внутренним деталям и ПО, но и внешнему виду.

Дизайн

Минимализм – единственное, что приходит на ум при виде девайса, при том, как в фигуральном, так и в буквальном смысле. Эта небольшая чёрная коробочка, со скруглёнными краями и железной окантовкой, длиной в два спичечных коробка, а толщиной в один.

И небольшие размеры являются определённо плюсом, ведь вы буквально можете засунуть контроллер себе в карман и с комфортом переносить его из одного рабочего места в другое. Учитывая возможности, которые разработчики обещают реализовать в будущем, и текущий функционал, поддерживаемый девайсом, компактность является его весомым преимуществом.

Установка и настройка

Контроллер уже спокойно работает с компьютером на ОС windows, достаточно скачать утилиту Airspace. Весь нужный пакет ПО скачивается с официального сайта . Если вы хотите подружить Leap Motion с очками или шлемом VR, то специально для вас разработчик написал инструкцию .С MacOS девайс тоже свободно взаимодействует, но могут возникнуть некоторые аппаратные проблемы. В этом случае просто повторно подключите устройство к системе и ждите, пока оно распознается.

Настройка, опять же, автоматическая, однако, если вам необходимо подстроить конкретные параметры под себя, просто зайдите в параметры утилиты или воспользуйтесь специальным Демо из Airspace Store. Там вы сможете просмотреть, как происходит распознавание рук, и подстроить чувствительность.

К моменту выхода магазин уже наводнили приложения, при том как от самих авторов устройства, так и от сторонних разработчиков. Небольшие игры помогут за пару вечеров освоиться с управлением, ведь на это потребуется время.

Действительно, при первом запуске вы вряд ли сможете даже попасть по кнопке, однако спустя уже пару дней использования всё станет куда проще. В том же магазине приложений вы можете найти официальные аддоны для premiere pro и photoshop. Функционал пока достаточно скуден, и к работе в приложениях с помощью девайса придётся привыкать, но в перспективе Leap Motion серьёзно облегчит работу монтажёрам и художникам и станет революцией, наподобие электронного планшета.

Использование Leap Motion и AirSpace

Как только будет подключен и настроен airspace, leap motion сразу готов к работе. Однако программная часть всё ещё отсутствует, и вам необходимо скачать из магазина утилиты, разработанные под технологии leap motion, которые будут эмулировать мышку и клавиатуру. Пока лучше выбирать программы в airspace, рекомендованные создателями, иначе вы можете погрязнуть в куче мусора из однообразных инди-игр и бесполезного ПО.

Как только установите эмулятор, просто взмахните руками в воздухе над датчиком. Его область распознавания движений не очень большая, поэтому старайтесь держать кисти прямо над чёрной коробочкой. При помощи движений пальцами можно сворачивать приложения, увеличивать страницы в браузере и картинки, и прочее.

По сути, перед вами тачпад от ноутбука − набор жестов такой же. Это упрощает адаптацию и экономит силы, что очень удобно, если закупать устройства для сотрудников компании.

Где купить Leap Motion, цена устройства

Купить leap motion можно на aliexpress или . Сколько же стоит такое чудо техники? Цены во всех интернет-магазинах варьируются в пределах 100 долларов, разработчики же предлагают обычный набор за 69 долларов и отдельно контроллер для ВР шлема за 20 долларов.

Однако, пытаясь сэкономить, не забывайте, что доставка от перекупщиков займёт куда меньше времени, чем при покупке с официального сайта, а переплатите вы на 10-20 долларов больше. И здесь уже решайте сами, что лучше: ждать несколько месяцев, пока товар к вам придёт, или слегка переплатить.

Выводы

Устройство, безусловно, перспективно, и Leap Motion пригодится не только для игр, но и для профессионалов в 3Д графике и художников. Ведь возможность управлять пальцами всеми процессами на своём ПК действительно ускоряет работу после небольшой адаптации. А вместе со специальными ВР шлемами, подобное устройство, способное сканировать ваши кисти и передавать картинку в виртуальное пространство, лишь увеличивает погружение в несколько раз. Речь не только про видеоигры, но и про прочие интерактивные развлечения.

Leap Motion Controller вошел в десятку лучших устройств года по версии журнала Time. Данный девайс относится к славной семейке беспроводных контроллеров нового поколения, таких как Wii Remote, PlayStation Move, однако ближайшим его родственником является Xbox Kinect. В отличие от последнего, Leap Motion реагирует на движения исключительно рук, он в 200 раз точнее определяет даже самые быстрые движения кистей и пальцев. Это устройство еще плотнее приближает нас к настоящей виртуальной реальности - к созданию естественного интерфейса между человеком и машиной. Ура, товарищи!

Leap Motion Controller

После выхода сенсора Kinect на волне его успеха стали появляться другие устройства бесконтактного управления. Kinect послужил основой для роста и развития рынка подобных устройств: инвесторы увидели перспективу и поняли смысл вложения средств в устройства жестового управления. Однако наиболее значимым и успешным стал контроллер Leap Motion Controller. Как и прародитель, последний основан на технологии захвата движения. Это устройство подключается к порту USB и по размеру не превышает пары сложенных флешек. С технической стороны для захвата проекции пользовательских рук в пространстве устройство Leap использует два оптических сенсора (камеры) и инфракрасный источник света (разработчики не исключают, что в будущих версиях устройства количество камер может быть изменено). Девайс размещается рабочей поверхностью кверху рядом с экраном, чтобы создать ощущение, будто объектами на экране управляют с помощью рук. После подключения устройства над ним образуется виртуальная перевернутая пирамида с центральной вершиной в устройстве. Наиболее эффективный диапазон распространяется от 25 до 600 мм над контроллером с областью видимости 150 градусов. В области этой пирамиды Leap Motion «видит» все движения и пересылает их софту, который преобразует данные и сигналы в координаты и сообщения. Софт способен распознать как простые жесты (виртуальные прикосновения, нажатия), так и сложные продолжительные движения: масштабирование, перемещение, вращение, рисование различных геометрических фигур. Таким образом, само устройство не выполняет никаких вычислений и преобразований, отдавая все на откуп софту хоста, который, удаляя шумы изображения, строит модели рук и пальцев - указателей. Имея начало координат в центре устройства, Leap Device интерпретирует оси координат следующим образом: отрицательная X расположена слева от устройства, соответственно, положительная - справа. Координата Y растет вверх и не имеет отрицательных значений, так как Leap «видит» объекты, начиная с 25 мм выше себя. Положительная Z располагается в направлении к пользователю, тогда как отрицательная - к экрану.

Leap Motion SDK

Leap Motion SDK развивается удивительно бурно, а новые версии выходят с завидной регулярностью: за сравнительно недолгую историю своего существования уже появилась полноценная вторая версия тулз, а также ее модификации. Точнее, моды находятся еще в стадии беты, и мы будем использовать самую последнюю на момент написания статьи версию SDK, поскольку каждая новая версия предоставляет видимые улучшения - дополнительные возможности слежения за скелетом («костями» рук). Как и следовало ожидать, Leap Motion SDK работает на всех распространенных платформах: Windows NT, OS X, Linux. Так как в последнее время мне больше приходится работать на Маке (а я вот редактирую эту статью на EEE PC с Win XP, и мне норм. - Прим. ред.), то в дальнейшем мое повествование (с некоторыми оговорками) будет касаться именно этой операционной системы. Если ты с ней не дружишь, не отчаивайся, ведь Leap Motion SDK кросс-платформенный, и ты без труда сможешь адаптировать полученные из этой статьи сведения для любой поддерживаемой операционной системы.

Готов вкалывать!

Для начала работы с контроллером Leap Motion, предварительно зарегистрировавшись на сайте производителя устройства, из раздела Downloads скачай архив LeapDeveloperKit_2.1.1+21671_mac.tar. Распаковав его, ты обнаружишь папку, внутри которой будет бандл Leap_Motion_Installer_skeleton-release_public_mac_x64_2.1.1+21671_ah1704.dmg (образ диска для OS X), содержащий драйверы для работы устройства, а также демоаппликации. Рядом с бандлом будет находиться директория LeapSDK, включающая все необходимые библиотеки и API для разработки приложений, работающих с устройством Leap Motion. Вдобавок в этой папке находится документация и сэмплы. Кроме демоприложений, бандл содержит Airspace Home, своего рода клиент для магазина приложений Leap Motion - в него можно загружать свои приложения и продавать их, как на других площадках цифровой дистрибуции. Основное отличие второй версии SDK от первой - это новая система слежения за «скелетом» верхних конечностей. В нее включена обработка дополнительной информации о костях рук и пальцев, возможность предсказания расположения невидимых для устройства костей и построение моделей рук в тех условиях, когда полностью конечности не видны.

Сначала установи содержимое бандла (уверен, под Windows он имеет такое же название, только с расширением exe). Сама установочная программа, находящаяся внутри образа, называется Leap Motion.pkg, она запускает процесс инсталляции всего перечисленного выше.

Рис. 2. Установка программы

После завершения установки софта для Leap Motion автоматически запустится драйвер, который в виде демона «поселится» в строке меню (справа сверху). В «Программах» появятся три новых приложения: сам драйвер, демопрограмма Leap Motion Orientation (рекомендую начать с нее) и Airspace. Если ранее контроллер не был подключен, самое время сделать это. Значок (в строке меню) подсветится зеленым цветом. В результате щелчка на нем откроется меню, содержащее пять пунктов. Первый пункт Launch Airspace запускает одноименный оконный клиент. По умолчанию в нем присутствуют семь демоприложений и две ссылки, ведущие в Airspace Store и комьюнити разработчиков. Каждая из демонстраций раскрывает возможности Leap Motion.

Следующий пункт меню - Settings открывает окно для настройки устройства. Это окно включает четыре вкладки. На странице Generals производятся основные настройки: разрешить или запретить устройству взаимодействовать с веб-приложениями, которые поддерживают Leap Motion (забегая вперед, отмечу, что такая возможность присутствует, и для этого используется HTML5 + JavaScript), включить или выключить возможность получать сигналы от устройства приложениям, работающим в фоне, автоматически передавать статистику устройства, включить (при необходимости) переход в энергосберегающий режим; настроить наименьшую высоту над устройством, при которой оно «видит» руки и пальцы (указатели); согласиться на автоматическое обновление. На странице Tracking присутствуют два параметра, относящиеся к настройке возможности «слежения» устройством. Следующая вкладка посвящена диагностированию и устранению неполадок, здесь присутствуют функции просмотра лога ПО, диагностический визуализатор, повторная калибровка устройства и возврат к настройкам по умолчанию. Последняя же вкладка просто сообщает инфу об устройстве и обслуживающем его софте. Щелчком по пункту Visualiser открывается демонстратор, в нем можно посмотреть, как устройство «видит» конечности. То есть, если переместить руки над активной областью устройства, приложение отобразит их в виртуальном пространстве. Кнопка Pause Tracking приостанавливает слежение, Quite - вырубает демон.

Когда ПО для Leap Motion будет установлено, можно ставить инструменты разработчика. При этом я полагаю, что у тебя установлены самые новые версии операционной системы и тулз для разработки (Xcode). Как я говорил выше, после распаковки архива папка с SDK находится рядом с бандлом установки. Эта папка содержит документацию, примеры, заголовочные и объектные файлы для всех официально поддерживаемых языков. Изначально Leap Motion SDK написан на C++, но, благодаря SWIG, имеет поддержку многих распространенных компилируемых и интерпретируемых языков, среди которых C# (вместе с фреймворками.NET и Mono плюс движком Unity 3D), Objective-C, Java, Python, JavaScript. SWIG, являясь свободным инструментом с открытым исходным кодом, играет роль генератора связующего кода между C++ и другими языками. Для своих разработок мы возьмем C++, как самый родной. Клиентский компьютер и контроллер взаимодействуют по TCP-соединению, при котором открываются порты 6437, 6438, 6439 - для корректной работы устройства необходимо проследить, чтобы они не блокировались файрволом. Leap Motion SDK позволяет разрабатывать приложения двух видов: поддерживающие нативный интерфейс (клиентские приложения) и интерфейс WebSockets (веб-приложения, работающие в среде браузера). Первые для работы (получения данных от контроллера) используют динамическую библиотеку - конкретную для определенной операционной системы, она подключается к устройству и предоставляет сервис верхнему уровню. Тогда как вторые получают данные через сервер WebSockets локального хоста в виде сообщений формата JSON. В этом случае используется JavaScript + open source надстройка LeapJS, и для управления устройством приложение может передавать конфигурационные сообщения через сервер WebSockets обратно девайсу.

Кодинг для Leap Motion

Сегодня мы сконцентрируемся на нативных приложениях для OS X, но благодаря кросс-платформенности инструментов ты легко сможешь переделать наши проги для другой поддерживаемой операционной системы. Мы не будем разрабатывать консольное приложение, которое показывает координаты, передаваемые контроллером, это скучно. Мы сразу же окунем голову в серьезный код и напишем приложение, выводящее графическое представление.

Визуализация

Leap Motion SDK предоставляет чудесные средства для получения данных от контроллера, но в нем совсем ничего нет для вывода графики. Поэтому наш путь лежит через использование дополнительных тулз. Чтобы вывести графику из нативного приложения под OS X, надо воспользоваться OpenGL. От этой идеи веет грустью: слишком низкий уровень, никакой статьи не хватит, и вообще уснуть можно. Поэтому мы воспользуемся настройкой над OpenGL. Из всего широчайшего ряда подобных библиотек я выбрал Cinder . Cinder представляет собой набор библиотек с открытым исходным кодом для обработки изображений, работы с графикой, звуком, вычислительной геометрией. Как я уже сказал выше, Cinder кросс-платформенна, и один и тот же код будет работать не только на десктопных платформах, но также на смартфонах и планшетах от Apple. В будущем разработчики собираются расширить круг поддерживаемых аппаратных и программных платформ. Вдобавок для генерации заготовки нового проекта в поставку Cinder входит утилита TinderBox, с ее помощью можно создать проект с поддержкой OpenGL, DirectX, CocoaView (OpenGL), каждая из этих заготовок может содержать в себе поддержку физического движка Box 2D, библиотеку рендеринга Cairo, аудиобиблиотеку FMOD, библиотеку компьютерного зрения OpenCV. Для Apple-устройств можно сгенерировать заготовку, где будут использоваться менеджеры геолокации и движения, при помощи стандартных фреймворков (Core Location, Core Motion). Все это с легкостью можно включить в проект на этапе его создания с помощью GUI-интерфейса. Кроме того, проект можно сгенерировать под определенную среду программирования и операционное окружение: Xcode (Mac), Xcode (iOS), VC 12/13 (WinRT). Следствие: мы имеем более, чем библиотеку API, все это напоминает кросс-платформенный игровой движок! Также можно сразу создать локальный Git-репозиторий. По моему скромному мнению, Cinder скоро станет наилучшим кросс-платформенным решением, даже в сравнении с Qt. Так как в Cinder активно используется boost, его неплохо обновить до последней версии. Открываем любимую консоль и сначала поставим систему управления устаревшими (на суровый взгляд Apple) пакетами Homebrew:

Ruby -e "$(curl -fsSL https://raw.github.com/Homebrew/homebrew/go/install)"

После чего из этой системы установим boost 1.55: brew install boost. Для работы непосредственно с Cinder ее достаточно скачать и распаковать, а для генерации проекта - использовать размещенную в подпапке tools утилиту TinderBox.

Руки, пальцы, управление пространством

Итак, для разминки создадим приложение, которое выводит в окно то, что видит сенсор. Если ты читал мои статьи про Kinect, то можешь помнить, что там мы начинали так же, будем считать это традицией. Заготовка из TinderBox для OpenGL нам прекрасно подойдет, надо только добавить в нее поддержку Leap Motion. Для этого из подкаталога include ранее распакованной папки LeapSDK (об этом см. выше) в дерево каталогов проекта среды Xcode перетащи два файла: Leap.h и LeapMath.h. Когда перенос будет завершен, появится диалоговое окно, где надо указать способ вставки / связывания файлов с проектом; поставь флажок Destination -> Copy items into destination group’s folder (if needed), отметь галкой Folders -> Create groups for any added folders и ниже отметь проект, к которому происходит добавление файлов. Кроме того, еще нужна динамическая библиотека. Так как компилятор языка C++ (LLVM), входящий в Xcode, следует стандарту C++11, то необходимо использовать библиотеку, скомпилированную с его вмешательством. Такая либа есть, она называется (версия для OS X) libLeap.dylib и находится в подкаталоге libc++ подпапки lib каталога LeapSDK. Либу тоже надо переместить в систему Xcode, с таким же последующим прохождением диалога. Теперь надо указать среде Xcode использовать добавленную в проект либу. В дереве файлов/каталогов проекта щелкни на имени проекта (верхний пункт), откроется меню конфигурирования проекта. Перейди на вкладку Build Phases. В левом верхнем углу вкладки, щелкнув на знаке «плюс», из появившегося контекстного меню выбери пункт New cope files build phase. В нижней части вкладки появится свернутая панель Copy Files. Развернув ее, из ниспадающего списка Destination выбери Executables, а в пустой список файлов (ниже) из дерева проекта перетащи динамическую либу, при этом флажок Copy only when installing должен быть снят. Теперь она подключена к проекту. Следующее действие нужно, чтобы сенсор передавал «сырые» данные изображения того, что он видит; в настройках Leap Motion (пункт Settings контекстного меню значка девайса в строке меню) на закладке General надо отметить флажок Allow Images. Сгенерированная TinderBox’ом заготовка включает несколько папок, файлов и необходимых фреймворков. Поскольку я назвал проект RawImagesApp, я добавил заголовочный файл RawImages.h. В него я поместил подключение заголовочных файлов Cinder’а и Leap’а, включение пространства имен Leap и объявление объекта контроллера Leap Motion, собственно, он является центральным предметом дискуссии. Вдобавок TinderBox сгенерировал исходный код для нашего проекта, он послужит хорошей отправной точкой для развития. В cpp-файле содержится основной класс (в моем случае RawImagesApp) приложения, соответствующий имени проекта и унаследованный от базового класса Cindera - AppNative. Окно создается с помощью макроса CINDER_APP_NATIVE. В классе RawImagesApp объявлены и реализованы виртуальные функции базового класса. Функция setup вызывается при старте приложения, сюда помещается код для его инициализации: для вывода «сырых» графических данных в этом методе необходимо установить особый флаг политик сенсора, для чего надо вызвать метод setPolicyFlag, в который передать значение POLICY_IMAGES контроллера. Функция update вызывается в каждом кадре для обновления; draw вызывается для перерисовки контента; mouseDown - при нажатии клавиши мыши. По умолчанию включены не все возможные функции, можно, например, добавить prepareSettings - функцию, которая вызывается до создания окна и позволяет передать ему параметры. Добавим эту функцию, чтобы при создании окно было большего размера, также установим для него частоту обновления. Объявление внутри класса RawImagesApp выглядит так:

Void prepareSettings(ci::app::AppBasic::Settings* settings);

а реализация так:

Void RawImagesApp::prepareSettings(Settings* settings) { settings->setWindowSize(1024, 768); settings->setFrameRate(60.0f); }

Уверен, комментарии здесь излишни. Добавим в основной класс приложения текстуру OpenGL: gl::Texture tex; Она пригодится нам для вывода. В функции update мы по кадрам будем получать изображения от сенсора, затем их обрабатывать и отображать на текстуре (см. исходник). На каждом кадре мы получаем кадр контроллера: Frame frame = controller.frame();. Объект класса Frame содержит в себе все остальные объекты, информацию о которых генерирует контроллер. Нам надо просто извлечь их из него. К слову, получение кадра таким способом - самостоятельно его брать у контроллера (последовательный опрос устройства) - наиболее просто и используется чаще всего. Любые промежуточные моменты предрешены: если при следующем опросе новый кадр еще не готов, то возвращается старый; если при последующем опросе готовы уже несколько кадров, то они помещаются в историю. Есть еще один способ получения кадров, но пока он нам не нужен, и мы перенесем его рассмотрение на следующий раздел. Получив кадр, мы извлекаем из него снятые сенсором изображения: ImageList images = frame.images();. Всего их два, поскольку в сенсоре две камеры, поэтому в каждый момент два изображения. Далее мы последовательно обрабатываем оба. Сначала в строке: const unsigned char * image_buffer = image.data (); получаем данные картинки; в определенный момент времени от контроллера мы можем получить разные изображения - не только по содержимому, но и по размеру. В следующей строке создается объект графической поверхности (Surface), входящий в Cinder API. Его конструктору передаются четыре параметра: ширина и высота поверхности, использование альфа-канала, последовательность цветовых каналов (константа SurfaceChannelOrder::RGBA соответствует стандарту: красный, зеленый, синий, альфа, однако имеется ряд других, например, в GDI или Quartz используются другие цветовые последовательности). Затем с помощью итератора обходятся все пиксели (пока пустой) поверхности. Внутри этого цикла устанавливается цвет пикселей. Я решил придать выводимому изображению красноватый оттенок (как в DOOM:)). Поэтому для красного канала каждого пикселя устанавливается значение, соответствующее значению из данных изображения. Остальные каналы обнуляются. После обхода всего изображения мы конструируем объект - текстуру с помощью метода gl::Texture на основе переданной в параметре поверхности. Если сейчас вывести текстуру на экран, она будет слишком маленькая. Поэтому предварительно отмасштабируем ее: glScalef(2.0, 3.0, 0.0);. Теперь отобразим: gl::draw(tex);.

Рис. 5. Что видит Leap Motion Controller

Кости

В следующем примере мы отобразим наши руки в машинном контексте, то есть нарисуем их в соответствующих координатах. Эта задача будет сложнее, чем предыдущая, а LeapSDK все-таки предоставляет довольно низкоуровневый интерфейс, поэтому для упрощения нашей задачи мы воспользуемся готовыми наработками. Американский программист Стивен Шейберл (Stephen Schieberl), под ником Ban the Rewind, разработал пару классов (Listener наследуется от Leap::Listener и Device), выполняющих всю типичную работу, связанную с обработкой и возвращением состояний устройства. Вдобавок Стивен поместил в файл функции, которые выполняют подсчеты координат и матриц, что позволит нам сконцентрироваться на более высокоуровневой работе. В первую очередь эти вычисления связаны с тем, что в отличие от координат рабочего стола операционной системы, где ось Y растет сверху вниз, начало координат для Leap Motion (0, 0, 0) начинается в левом нижнем углу (Y растет снизу вверх), следовательно, при использовании значений координаты Y их надо инвертировать. Дополнительные вычисления проводятся над векторами и матрицами, как указано выше. Итак, создадим новый проект таким же образом, как прошлый. Дополнительно добавь в него файлы Cinder-LeapMotion.h и Cinder-LeapMotion.cpp (см. материалы к статье). В главном классе приложения количество переменных-членов пополнилось, были добавлены: mDevice - ссылка на устройство - объект самописного класса, mFrame - класса Frame (мы уже рассматривали этот класс в прошлом разделе), mCamera - объект класса CameraPersp либы Cindera, также был добавлен метод onFrame (функция обратного вызова класса-предка), который, принимая объект класса Frame, делает его текущим - присваивает его переменной-члену mFrame. В методе Setup включаются режимы рисования, сглаживания линий и полигонов; инициализация камеры: задание области видимости (в параметрах конструктора), установка точки обзора (в методе lookAt); затем создается объект самописного класса Device, включающий три необходимых объекта классов: Controller, Device (из пространства имен Leap) и Listener, кроме того, без мьютекса не обойтись. Вот мы и подошли ко второму способу получения кадров от устройства - прослушиванию. Наш класс устройства унаследован от класса Listener, который позволяет реализовать эту возможность, то есть мы получаем кадры от контроллера с периодичностью, соответствующей его работе. Когда контроллер готов передать кадр, класс Listener вызывает переопределенный нами метод onFrame и передает ему кадр (в параметре), выше мы упоминали этот метод. Кстати, зачем нам понадобился мьютекс? Дело в том, что при использовании прослушивания - функции обратного вызова - onFrame вызывается в многопоточном режиме. То есть каждый ее вызов осуществляется в независимом потоке. Поэтому нам необходимо позаботиться о потоко-безопасности в момент получения кадра от девайса, чему служит мьютекс. При прослушивании также можно игнорировать приход нового кадра (например, если прошедший кадр еще не обработан) и добавить его в историю (для последующей обработки). Возвратимся к нашему коду, к месту создания объекта нашего класса Device. После его создания для него устанавливается функция обратного вызова.

Перерисовка

Но самое интересное происходит в методе перерисовки. Сначала выполняются подготовительные действия: очищение экрана, установка текущих матриц для камеры, включение альфа-смешивания, возможности чтения и записи в буфер глубины, установка цвета для рисования. Затем начинается непосредственное рисование: мы получаем от устройства трехмерные вектора положения локтя и запястья и методом gl::drawLine рисуем между этими точками линию. Далее получаем количество пальцев и в цикле с помощью итератора пробегаем по контейнеру, их содержащему. В Leap Motion каждый палец состоит из четырех частей (фаланг): периферической, промежуточной, проксимальной и пястной. Хотя на большом пальце настоящей человеческой руки последняя фаланга отсутствует, здесь она есть, но имеет нулевое значение. Во вложенном цикле, обходя все фаланги, получаем координаты различных их частей: начало, центр, конец, направление. Координаты представлены в виде векторов (Vec3f). Также внутри этого подцикла осуществляется рисование фаланг с помощью метода drawLine, которому передаются найденные координаты. Дополнительно из первых фаланг формируется контейнер суставов (knuckles). Когда происходит выход из внешнего цикла, рисуются линии, соединяющие пальцы и образующие кисти рук. На этом веселье перерисовки заканчивается. Откомпиль и запусти прогу, задержи руки над сенсором, и в окне отобразятся очертания твоих конечностей.

Итоги

Leap Motion - революционный контроллер, он не только заменил сенсорный экран, но и подарил нам управление пространством, сделав еще более прозрачной границу между реальным миром и виртуальной реальностью. На уровне разработчика ПО мы получаем удобный программный интерфейс, позволяющий управлять всеми возможностями сенсора. Кросс-платформенные инструменты разработчика дают последнему доступ к устройству на множестве языков программирования, как компилируемых, так и интерпретируемых (пока среди последних только два - Python и JavaScript). Кроме того, API имеет стройную и понятную структуру: в каждый момент времени контроллер снимает изображение, формирует на основе его кадр и посылает на верхний уровень - в прикладную программу, где программист, распарсив кадр, работает с такими сущностями, как руки, пальцы, указатели (инструменты) и другое. Из-за наличия в устройстве двух камер оно часто монтируется на очки виртуальной реальности для создания эффекта дополненной реальности, что достигается благодаря наличию в изображениях, снимаемых камерами, измеренных значений яркости инфракрасного излучателя, а также калибровочных данных, необходимых для коррекции сложного объектива. В сегодняшней статье мы затронули тему создания прикладных решений, взаимодействующих с устройством посредством API. Тема эта очень обширна, и рассмотреть удалось далеко не все - за бортом остались жестикуляция, специальные движения, эмуляция прикосновения и много чего еще. Все это, а также многое другое, например использование контроллера в Windows и Web, интеграция с игровыми/графическими движками, может стать темой для разговора в ближайших статьях. Все зависит от тебя - пиши нам, требуй продолжения:). А пока - удачи во всех делах и до встречи на страницах «Хакера»!