Трекер для глаз что это

Как действует eye tracking?

Айтрекинг или управление взглядом – технология для определения положения взгляда человека относительно монитора компьютера. Эта технология также применяется для управления компьютером с помощью взгляда, вместо использования традиционной клавиатуры или мыши.

Eye tracking – не новая идея, но лишь недавно она была взята на вооружение как жизнеспособное решение, помогающее людям с физическими и умственными отклонениями жить более насыщенной и независимой жизнью.

Айтрекинг Tobii Dynavox

Как действует eye tracking

Идея айтрекинга является довольно простым процессом.

Несмотря на простоту идеи, огромное количество исследований и разработок вошло в устройства отслеживания направления взгляда Tobii Dynavox для того, чтобы они работали простым и незаметным способом.

Калибровка для большей точности

Чтобы устройство айтрекер работало как можно точнее, ему необходимо тщательно исследовать глаза пользователя. Именно поэтому необходимо провести калибровку. В процессе калибровки айтрекер анализирует отблеск света от глаз пользователя. Калибровка проводится в процессе следования взглядом за точкой, видео или другим графическим элементом, который передвигается по монитору. Затем данные калибровки объединяются с уникальной 3D моделью человеческого глаза, и вместе они создают оптимальный образ eye tracking.

Тем не менее, существуют более простые игры и приложения, где четкость не является важной, так что их можно использовать без проведения калибровки. В качестве примеров можно привести простые причинно-следственные игры или другие приложения с большими мишенями, по которым легко кликать.

Подтверждение действия

Существуют три способа подтверждения действия при управлении взглядом, при этом доступный метод зависит от используемого приложения. Выбор способа подтверждения действия, также зависит от способностей пользователя.

Что делает устройства eye tracking уникальными

Нет ограничений в движениях головой

Айтрекеры Tobii Dynavox используют уникальную и очень точную 3D-модель человеческого глаза. Эта модель в числе прочего содержит информацию о физической форме глаза и о том, как отражается и преломляется свет. Благодаря этой модели не нужно держать голову в одном положении при использовании айтрекера Tobii Dynavox; на самом деле можно свободно двигать головой без какой-либо значительной потери точности или четкости. Это особенно выгодно для людей с неконтролируемыми движениями головы, как, например, страдающих церебральным параличом или боковым амиотрофическим склерозом, которым пришлось бы корректировать положение головы в течение всего дня.

Работает практически для каждого

Для точного отслеживания направления взгляда устройство должно определить зрачки пользователя*. Это происходит при помощи светлого или темного метода определения зрачков. Светлый метод определения зрачков работает аналогично компактному фотоаппарату со вспышкой. В результате его использования у человека возникают красные глаза. Размещая вспышку, или в данном случае осветители, дальше от объективов этого можно избежать. При этом используется темный метод определения зрачков.

Для одних людей лучше действует темный метод определения зрачков, для других – светлый. Такие факторы, как размер зрачка, возраст и окружающее освещение влияют на то, насколько хорошо действует на человека один из двух методов.

Примечание. * На самом деле взаимосвязь между зрачками и отблесками/отражениями помогают айтрекеру определить положение взгляда.

Как eye tracking помогает жить насыщенной и независимой жизнью

Существуют разные способы использования айтрекинга или взаимодействия взглядом в области вспомогательных технологий:

Несмотря на то, что eye tracking является простой идеей, были приложены сложные и интенсивные исследовательские усилия, чтобы создать простое в использовании устройство.

Все продукты производства компании Tobii содержат одну и ту же основную технологию айтрекинга, но она используется разными способами и предназначена для разных областей применения. Одно из преимуществ заключается в том, что специалисты компании Tobii способны использовать сильные стороны и опыт друг друга: то, что их коллеги изучили в области коммерческого айтрекинга для быстрого продвижения потребительских товаров, может использоваться во вспомогательных технологиях и наоборот.

Компания занимается множеством научных исследований и развитием своих ресурсов, поэтому способна поддерживать относительно низкую стоимость относительно производства, качества и маленького размера айтрекеров. Немногие, даже если такие компании и существуют, работающие в рамках ААС (аугментативной и альтернативной коммуникации) и особенных потребностей, способны на это.

Источник

Что такое ай-трекинг (eye-tracking) и зачем он нужен?

В интернете довольно мало информации и статей на эту тему и я со своей стороны решил попробовать это немного исправить.

Итак, что такое ай-трекинг (его еще иногда называют «окулография», но термин не прижился). Ай-трекинг – технология отслеживания положения глаз, также называемая технологией отслеживания линий взгляда или точек взгляда. Технология эта относительно новая и в России она еще не получила должного распространения, хотя в последние годы ситуация меняется к лучшему.

Устройства для отслеживания взгляда или айтрекеры, состоят как правило из аппаратной части, которая подключается к компьютеру (ноутбуку, планшету) и программного обеспечения. Хотя существуют и самодостаточные устройства «все-в-одном».

При этом, системы айтрекинга бывают 2 видов.

Их разница заключается в расположении источника инфракрасной подсветки относительно основной камеры. Если инфракрасные излучатели расположены параллельно оптической оси камеры, глаз работает как вторичный отражатель света, который поступает от подсветки и отражается от сетчатки, создавая эффект яркого зрачка. Если же источник подсветки сдвинут относительно оптической оси камеры, зрачок становится чёрным, поскольку вторичное отражение от сетчатки не поступает в камеру. (Википедия)

На самом деле, сфер в которых применяются айтрекеры довольно много.

Условно, айтрекеры можно разделить на 3 группы, в зависимости от того, где они применяются:

На мой субъективный взгляд, наиболее важной является именно реабилитационная составляющая айтрекинга. Ведь для многих людей это единственный способ взаимодействия с окружающим миром. Тем кто не сталкивался с подобным, очень сложно понять, как важно иметь возможность общаться и выражать свои мысли.

Хотя с точки зрения бизнеса игровая сфера выглядят наверное более привлекательной. Недаром айтрекеры набирают все большую популярность именно как модные игровые гаджеты.

С профессиональными айтрекерами все несколько сложнее из-за их высокой стоимости. Не все готовы покупать полноценные решения, хотя, справедливости ради, не всем это и нужно. Но многие крупные компании уже оценили перспективы использования этих устройств. Для примера приведу видеоролик (на английском), где рассказывается о тестировании поведения потребителей и упаковки товара в Unilever:

Крупные российские компании, такие, например, как МТС, Вымпелком, Мейл.ру и т.д. тоже активно используют такие устройства.

Ну и как следствие, производителей которые предлагают свои решения в игровой и профессиональной сферах значительно больше, чем производителей которые делают устройства для реабилитации (абилитации) людей с особыми потребностями.

Чтобы понять почему, достаточно взглянуть на список диагнозов, при которых оправдано использование таких айтрекеров:

К сожалению, стоимость реабилитационных айтрекеров существенно выше чем игровых (хотя и ниже, чем профессиональных) и мало кто из таких больных (семей с таким больными) может себе позволить приобретение такого дорого устройства. Остается надеяться, что технологии не будут стоять на месте и со временем, такие устройства станут более массовыми и более доступными.

Британский ученый Стивен Хокинг, самый известный в мире пациент с боковым амиотрофическим склерозом (БАС), именно с помощью айтрекера занимается наукой, общается и пишет свои работы.

Всем спасибо за внимание.

эта тема помогает разрабам сайтов нами управлять

Ну и справедливости ради, не управлять, но размещать блоки там, где мы их точно увидим 🙂

Хорошая статья, Сергей, Вы интересуетесь просто так или для какого-то своего проекта? Мы в компании занимаемся алгоритмами для айтрекинга. Могу добавить, что наиболее сложной частью решения является калибровка. Грубо говоря, координата центра зрачка сильно дрожит, даже когда голова пользователя жёстко зафиксирована.

Доброго дня, Дмитрий. Спасибо, я старался 🙂
Я работаю в компании, которая занимается в т.ч. и айтрекерами (в основном как раз реабилитационными, т.к. компания связана с медициной). Ну и я по собственной инициативе решил вникнуть в тему и понять, что там вообще происходит, поскольку искренне считаю, что тема интересная, но пока не особо популярная.

А где можно узнать о решении вашей компании?

Супер интересная статья! С большим интересом прочитал всю статью, так как впервые узнал о айтрекинг. Мой респект автору.👍

Спасибо большое. Рад, что понравилось.

В VR айтрекинг в ближайшие годы станет стандартом для взаимодействия с интерфейсом, трекинга взгляда в социальном взаимодействии, аналитики, foveated rendering и foveated video transport ( https://vr.tobii.com/ )

В играх айтрекинг дополняет клавиатуру и мышку. Можно выбирать объекты для взаимодейтвия взглядом, NPC реагируют, когда на них смотришь, экспозиция адаптируется когда смотришь на темные участки сцены или сквозь яркое окно. Еще можно осматриваться вокруг спомощью встроенного хэдтрекинга, особенно актуально для симуляторов вроде Elite Dangerous, DCS, Star Citizen, ETS2 и подобных ( https://gaming.tobii.com/ ). Также есть софт для киберспортивной аналитики, например отслеживается как часто игрок смотрит на мини карту или какое время реакции при стрельбе. Для стримеров есть софт Tobii Ghost, которые позволяет зрителям на Twitch и Youtube следить за взглядом игрока и делать обучающие видео по тактике игры.

PS. Насколько я помню Стивен Хокинг тестировал айтрекинг, но пользовался другим решением, не связанным с айтрекингом.

Источник

Трекер для глаз что это

Но одно устройство (чтобы править всеми) лично мне казалось полезным с самого анонса — Tobii Eye Tracker. Это система камер, которая отслеживает ваш взгляд, и тем самым дает разработчикам игр еще одно устройство ввода для множества полезных и не очень функций.

Первая версия устройства так и не попала мне в руки, а вторая недавно приехала на обзор. Знакомьтесь — Tobii Eye Tracker 4C.

Как крепится и стартует

Поставляется Tobii Eye Tracker 4C в продолговатой коробке, в которой можно найти сам трекер, инструкцию и два магнитика на двустороннем скотче — с их помощью контроллер крепится к монитору. Забегая вперед скажу, что один у меня погнулся, а второй пришлось сажать на суперклей.

По идее эта связка должна работать хорошо, но из-за конструктивных особенностей моего монитора нормально настроить систему вышло не сразу. Все дело в небольшом выступе на нижней кромке рамки экрана, который находится как раз там, куда нужно крепить устройство. Сначала я приклеил «Тоби» к ней, но быстро заметил неточности в калибровке. Путем проб и ошибок я нашел лучшее решение — заклеить логотип монитора, чуть выше злополучного выступа, и прицепить трекер туда. За это время я успел стереть весь клей с одного крепления и погнуть второе. Устанавливая трекер, заранее продумайте, где он будет лучше всего «висеть» — устройство должно смотреть прямо на вас. Придержите его руками, убедитесь в качестве калибровки и только потом крепите.

Настройка

Сама калибровка предельно проста. Посмотрите в этот угол, потом в другой — как будто вы на приеме у окулиста. Занимает этот процесс примерно минуту, после чего устройство готово к работе и можно запускать игры. Разумеется, играть во что вздумается с «Тоби» не получится, но список поддерживаемых проектов внушительный — каждый найдет что-нибудь по вкусу. К тому же создатели Tobii постоянно обновляют список совместимых релизов, да и некоторые издатели начинание охотно поддерживают — Ubisoft, например, готова добавлять поддержку трекера почти во все свои игр.

Я выбрал несколько актуальных релизов, изучил в них возможности трекера и сейчас приведу вам пример 13 функций Tobii Eye Tracker, без которых мне теперь трудно представить гейминг на ПК.

Крюк-кошка в Assassin’s Creed: Syndicate

Начну с самой, пожалуй, важной для меня возможности, с которой в Assassin’s Creed: Syndicate наконец становится удобно играть. Разработчики очень гордились крюком-кошкой, ведь с ним можно так быстро и удобно перемещаться по городу. На деле все было не так. Штука оказалась весьма неудобной, целиться ей — та еще мука. С Tobii Eye Tracker я наконец-то смог перемещаться по крышам Лондона быстро и эффективно, как, видимо, и задумывали разработчики изначально. Целиться взглядом очень удобно — я даже и представить не мог, сколько в игре выступов, на которые можно закинуть крюк. Теперь без Tobii Eye в Syndicate ни ногой.

Extended view в Elite: Dangerous

Все мы знаем, что для максимального погружения в «элитку»

лучше обзавестись VR-шлемом. Вы буквально оказываетесь в космическом корабле, где нужно крутить собственной головой, а не стиком — эффект присутствия потрясающий. Но добиться похожих ощущений можно и без дорогого устройства виртуальной реальности. Режим extended view, включающийся в отдельной утилите для Tobii Eye Tracker привязывает камеру к вашему взгляду и повороту головы: так при игре на мониторе вы испытываете ощущения, максимально приближенные к игре в VR устройстве. Привыкаешь к этой возможности моментально, а эффект погружения значительно усиливается.

Выбор гаджетов в Deus Ex: Mankind Divided

Вы тоже не любите круговое меню? Я согласен, что в целом это вполне удобное решение для геймпадов, но только на ранних этапах игры. Когда навыков и предметов становится много, выбрать нужный получается уже не так быстро и просто. С Tobii Eye Tracker, как понимаете, достаточно одного взгляда.

Подсветка предметов в Rise of the Tomb Raider

Во многих играх (особенно с открытом миром) есть удобная функция — небольшая область вокруг персонажа подсвечивается, выявляя полезные предметы на земле. В Rise of the Tomb Raider к этой возможности прибегать приходится очень часто, но непрерывно нажимать на стик — занятие утомительное. Теперь же мне достаточно просто окинуть взглядом местность и нужные предметы будут подсвечиваться без нажатия какой-либо кнопки.

Взлом в Watch Dogs 2

Примерно по тому же принципу работает взлом в Watch Dogs 2. В второй части серии город наполнился таким количеством «взламываемых» объектов, что запутаться проще простого. Но теперь у Маркуса (у вас) есть специальный трекер — достаточно просто посмотреть на нужный предмет (человека, машину) и можно взламывать. Во время прогулок по городу функция кажется на такой уж важной, а вот во время езды, особенно, если удираешь от копов, она становится просто незаменимой.

Смена укрытия в Deus Ex: Mankind Divided, Watch Dogs 2 и Tom Clancy’s The Division

Так же просто можно менять укрытия в Watch Dogs 2, Deus Ex: Mankind Divided и The Division — система во всех трех играх практически одинаковая. Прячетесь за условным ящиком, смотрите на другой, нажимаете кнопку и вот герой уже несется к новому «бастиону». И если в Deus Ex все это достаточно удобно делать и с помощью геймпада, то в The Division и Watch Dogs 2 герои очень часто убегают совсем не туда, куда вы ожидали. Но теперь все под контролем.

Помощь с прицелом в Deus Ex: Mankind Divided, Watch Dogs 2, Rise of the Tomb Raider и Tom Clancy’s The Division

Тут все просто — нажатие кнопки прицела будет направлять перекрестие на то место, куда вы смотрите. Это не автоприцеливание, удерживать прицел эта функция не позволяет, а вот быстро навестись на внезапно выпрыгнувшего врага — пожалуйста. В общем, достаточно честно, удобно и спасает жизни.

Переключение целей в Assassin’s Creed: Syndicate

Осмотр карты в Tom Clancy’s The Division

Кто бы мог подумать, что просто разглядывать карту может быть увлекательно! Это вам не стиком по ней елозить — наводишь взгляд на значок задания и как по волшебству всплывают его подробности. Чувствуешь себя капитаном корабля из научно фантастического фильма! А вообще, отсеивая восторги, это действительная удобная и полезная функция, которая экономит гораздо больше времени, чем вы можете подумать.

Слежение за противниками в Shadow Tactics: Blades of the Shogun

В стратегиях трекеру тоже нашлось место, например, в современной инкарнации Commandos — Shadow Tactics. Просто смотрите на вражеского бойца и игра показывает вам его зону видимости. Без трекера надо держать кнопку R и щелкать мышью, чтобы переключатся между разными врагами. Чувствуете, насколько Tobii Eye Tracker может облегчить жизнь любителей тактики? Эта возможность только кажется мелочью, но на деле, когда ваш ниндзя перебегает из укрытия в укрытие, каждая лишняя секунда на счету.

Скрытый интерфейс — почти везде

Эта возможность работает почти во всех играх: трекер позволяет скрыть интерфейс и показывать вам только те его элементы, на которые вы смотрите. Пользы от этой функции не очень много — да, экран чище, но в тех местах, на которые вы и так не смотрите. А вот на стримах или для записи видео штука может оказаться вполне полезной.

Фонарь в Dying Light

Самое страшное в Dying Light — это ночь. Когда солнце заходит за горизонт, без фонаря ориентироваться на местности становится невозможно. А ведь именно ночью появляются самые опасные и агрессивные зомби. Увидеть их непросто — спасительный луч освещает только самый центр экрана, а оглядыватся стиком прыгая по крышам, сами понимаете, неудобно. С Tobii Eye Tracker фонарь следует за вашим взглядом и, соответственно, никакой враг не подкрадется к вам незаметно. Да, так играть чуть менее страшно, зато сильно удобнее.

Автоэкспозиция в Assassin’s Creed: Syndicate

Эту возможность легко не заметить во время игры, но переоценить трудно. Суть в том, что автоэкспозиция Syndicate настраивается по тому участку, на который вы смотрите. Простая ситуация: вы стоите на освещенной улице, а в углу кадра есть навес с тенью. Поскольку большая часть экрана ярко освещена, игра понизит яркость и под навесом вы уже ничего не разглядите. С Tobii можно просто посмотреть на темную область экрана и экспозиция кадра тут же перестроится под нее.

Windows Hello

Эта особенность уже не относится к играм. Оказывается Tobii Eye Tracker 4C отлично работает с системой входа в Windows 10, благодаря чему мне больше не надо вводить пароль при входе в систему. Мелочь а приятно.

Это далеко не все возможности Tobii Eye Tracker 4C, но самые заметные и значительные. А теперь пора ответить на несколько важных вопросов

Что насчет очков?

Ограничения для трекера

Так уж получилось, что мама была неправа. Годы сидения за компьютером не испортили мое зрение, так что тут я могу полагаться только на чужой опыт. Благо у меня есть знакомый очкарик с Tobii Eye Tracker 4C. По его словам, у него не рабоатет только Windows Hello, в играх никаких проблем нет.

Трекеру, само собой, нужно видеть ваше лицо, из-за этого я слышал мнение что «играть придется со светом». Возможно, это справедливо для более старой версии Tobii EyeX, но в 4С я спокойно играл при свете одного только монитора, чему был несказанно удивлен. Так что единственно требование — играть именно с монитором (огромные телевизоры, увы, не подходят) и сидеть достаточно ровно, чтобы трекер отчетливо видел лицо.

Придратся к Tobii Eye Tracker 4C очень сложно, устройство отлично справляется со всеми возложенными на него задачами. Библиотека поддерживаемых игр постоянно растет. Самое классное, что для устройства не надо придумывать новых механик — как для Kinect и PS Move. «Тоби» просто улучшает то, что и так работает в игре. Так что у меня дома трекер точно не будет пылится без дела.

Источник

Как использовать “Tobii Eye Tracker 4C” для общения с ребёнком, который не может говорить и двигаться (СМА, ДЦП, БАС)

В основе методики лежит отслеживание направления взгляда, которое осуществляет устройство “Tobii Eye Tracker 4C”. На экран компьютера выводится таблица с несколькими картинками. Если задержать взгляд на отдельной картинке, то будет озвучена соответствующая ей фраза, например, «пить», «повернуть на бок», «смотреть мультики».

Когда ребёнок выучит буквы, можно будет использовать более сложные методы, вроде набора текста глазами.

Что потребуется (в двух словах)?

Содержание

Как это работает?

Видео, иллюстрирующее работу программы:

Виолетта учится работать с программой:

Виолетта капризничает и говорит «Нет!» при помощи программы:

Если у вас нет айтрекера, вы всё равно сможете оценить работу программы, так как она может работать также с любым устройством, перемещающим курсор мыши по экрану. Водите мышью по экрану так, как вы бы перемещали свой взгляд. Останавливайте курсор на картинках (нажимать ничего не надо), — это будет соответствовать фиксации взгляда на картинке при использовании айтрекера.

Чтобы программа работала в таком режиме, нужно в качестве используемого устройства выбрать Аэромышь (2 на рисунке ниже), но сначала не забудьте поставить галочку в поле “Режим таблицы (GRID) – для детей” (1).

Подробная инструкция

1. Выбор компьютера

Какой компьютер для этого подойдёт? Я бы сказал так: современный со средними характеристиками и операционной системой Windows версий 7, 8.1, 10 (Windows 10 – только 64 бита). Несмотря на то, что в рекомендациях по использованию айтрекера Tobii 4c (https://help.tobii.com/hc/en-us/articles/213414285-Specifications-for-the-Tobii-Eye-Tracker-4C) советуют использовать компьютер с процессором Intel i5 или i7, мне удавалось работать и на современных процессорах подешевле: i3, Pentium, Celeron, и даже на Atom x5, хотя работа на последних двух может показаться заторможенной.

Другими словами, если у вас уже есть компьютер, и он не архаичный, то стоит попробовать работать на нём. Если же думаете купить компьютер, главное – не берите старый, и не берите с процессором Atom. Хотя, если денег совсем нет, то можно и такой попробовать, но лучше обговорить возможность возврата.

У компьютера должен быть по крайней мере один порт USB версии 2 или 3. Лучше, чтобы было хотя-бы два порта, чтобы можно было кроме айтрекера хоть мышь воткнуть. (Планшеты, кстати, часто грешат тем, что порт USB у них только один).

2. Устройство Tobii Eye Tracker 4C

Это устройство выпускается компанией Tobii для игроков в компьютерные игры и продаётся по умеренной цене. Чтобы не создавать конкуренции своим значительно более дорогим устройствам, “Tobii Eye Tracker 4C” сделан несовместимым с программами для людей с ограниченными возможностями, выпускаемыми ей же.

Однако, выпущенные компанией Tobii средства разработки оставили мне лазейку, позволяющую написать такие программы самому. Возможно, не столь совершенные, но зато бесплатные.

Сегодня (осень 2018) это устройство можно легко купить в нескольких магазинах. Вы без труда найдёте самый удобный для себя вариант. Я брал весной 2018 года за 11500 российский рублей.

2.1 Крепление айтрекера на монитор.

Видео, иллюстрирующее установку на ноутбук:

Компьютер может быть большой с отдельно стоящим монитором или мобильный (ноутбук). Может быть даже планшет Windows. Но нужно помнить, что айтрекер нужно располагать точно ПОД монитором так, чтобы крепление было жёстким. И если к обычному монитору айтрекер крепится идущим в комплекте самоклеющимся магнитом, то к планшету его приходится крепить как-нибудь виртуозно. На фотографии ниже планшет и айтрекер закреплены на куске доски, которая, в свою очередь, соединена с кронштейном, поворачивающимся на углу стола.

Также нужно помнить, что за тёмным стеклом (прозрачным только в ИК-диапазоне) в центре айтрекера находится камера, а по краям — инфракрасные светодиоды. При креплении хомутами важно не загородить ни то, ни другое.

Линия глаз должна совпадать с линией расположения айтрекера. Если человек лежит на боку, то и монитор нужно наклонить набок.

Расстояние от глаз до монитора с айтрекером должно быть около 50 см (расстояние вытянутой руки) или чуть дальше. Поэтому крепить айтрекер к телевизору на стене не получится – слишком далеко.

Как уже было сказано, в айтрекере находится камера, и она должна быть направлена на глаза. Фронтальная поверхность айтрекера немного отражает свет. Постарайтесь увидеть в ней, как в зеркале, свои глаза – это будет значить, что камера смотрит на них. Наклоните монитор при необходимости.

3. Установка программного обеспечения

Всё делать именно в такой последовательности!

3.1. (Больше не требуется) Добыть файл TobiiGazeCore32.dll версии 4.1.3.938 или более новый

Ранее этот файл можно было скачать в составе Tobii Gaze SDK. Сейчас компания Tobii прекратила его предоставлять, и приходится пользоваться трюком, описанным ниже.

Нужно скачать и установить программное обеспечение Tobii EyeX 2.1.1. После этого в одном из каталогов появится этот файл. Нужно скопировать его в надёжное место, после чего установленное программное обеспечение можно удалить.

Устанавливать это программное обеспечение нужно ДО установки драйверов от Tobii, иначе нужный нам файл TobiiGazeCore32.dll может не появиться (кому интересно, мы решали эту проблему вот здесь: github.com/MastaLomaster/bkb/issues/6 )

Итак, скачиваем Tobii EyeX 2.1.1 ( files.update.tech.tobii.com/engine/Tobii.EyeX_2.1.1.293.exe) и запускаем. Соглашаемся с условиями: ставим галочку и жмём кнопку ‘Next”.

Готово, жмём “Finish”.

После установки появилось два файла TobiiGazeCore32.DLL. Более новый лежит в каталоге “C:\Program Files (x86)\Tobii\Tobii EyeX”. Это можно проверить, если нажать на имени файла правую кнопку мыши и выбрать «Свойства» в контекстном меню.

И затем, на закладке «Подробно» посмотреть на номер версии:

Копируем этот файл в надёжное место, например, создадим каталог BKB на диске C и положим файл туда:

Теперь можно удалить программу Tobii EyeX – мы взяли из неё всё, что нужно.
В Windows 10 для этого жмём кнопку «Пуск», потом — появившуюся кнопку с шестерёнкой.

Затем выберем раздел «Приложения»

Находим и удаляем всё, что начинается на “Tobii”, нажимая на кнопку «Удалить»:

3.2. Установка драйверов и калибровка

Заходим на страницу tobiigaming.com/getstarted и нажимаем на кнопку «Tobii Eyetracking»:

Затем на появившуюся кнопку «Download»:

Сохраняем файл (на будущее), и потом запускаем его:

Ставим галочку, жмём кнопку «Next»:

Жмём кнопку “Continue”:

Потом жмём кнопку “Get Started”:

Дальше нужно будет мышью перетащить линии на экране так, чтобы они совпали с полосками на корпусе айтрекера:

По завершению нажать кнопку “Done”.

Потом на экране появятся два кружка, которые иллюстрируют, хорошо ли айтрекер видит ваши глаза.

Если кружки расположены не в центре экрана (как на картинке сверху), наклоните монитор, чтобы сдвинуть их.
Если кружки большие и мутные – вы слишком близко придвинулись к монитору.
Если кружки маленькие и мутные – вы слишком отдалились от монитора.

Как я уже писал выше, оптимальное расстояние от монитора до глаз – около 50 см.

Далее начинается калибровка айтрекера.

Если айтрекером будет пользоваться ребёнок, то калибровку нужно будет выполнить глазами ребёнка!!

Для начала можете откалибровать устройство под свои глаза, а потом под глаза ребёнка.
На экране будут появляться синие точки, нужно будет смотреть на каждую из них по очереди.

После того, как вы зафиксируете взгляд на одной из точек, она разлетится на кусочки, как верхняя точка на картинке выше.

После окончания калибровки введите имя человека, для глаз которого проводилась калибровка и нажмите кнопку “Save”

Далее запустится игра, в которой вы двигаете глазами прицел космического корабля, а затем стреляете по астероидам клавишей «пробел»:

Выйти из игры можно, нажав на клавишу “Escape”.

На панели задач появится значок с двумя кружочками, изображающими глаза:

Если устройство видит только один глаз, то будет показан только один кружочек:

Если устройство вообще не находит глаз, то будут нарисованы два крестика:

ВАЖНО! Для того, чтобы программы не мешали работать друг другу, нужно отключить стандартные действия, которые производит драйвер Tobii.

Для этого щёлкаем на значок с кружочками (1) и в открывшемся меню заходим в раздел Interactions (2):

В каждом из разделов (Touchpad, Mouse, Windows) переведите все выключатели в положение “OFF”:

Если нужно, чтобы с устройством работал ещё один человек, нужно выполнить калибровку и для его глаз тоже. Для этого снова жмём на значок с двумя кружочками, а затем на стрелочку влево:

Затем выбираем пункт “Create New Profile…” (1) и повторяем калибровку для нового человека.

Переключение между профилями различных людей делается в области ниже (2). Текущий профиль отмечен голубым кружком:

3.3. (Больше не требуется) Установка “Microsoft Visual C++ Redistributable for Visual Studio 2012 Update 4”

Если вы пропустите этот шаг, то при запуске программы вы увидите сообщение о том, что не найден файл msvcrt110.dll:

Качаем и устанавливаем версию для процессоров x86:

3.4. Установка и настройка бесплатного программного обеспечения (от автора статьи)

После этого жмём кнопку “Download” или “View Raw”

(если кому интересно, там рядом лежат и исходные коды на языке С++)

Создаём каталог “C:\bkb” и копируем туда содержимое скачанного архива “bkb32c-Russian.zip”.

Должен получиться каталог вот с такими файлами и подкаталогом “grid”:

Вообще-то вы можете выбрать и другой каталог для программы, но лучше, чтобы это не был подкаталог “Program Files…”. Дело в том, что программа может сохранять что-нибудь (например, журнал ошибок) в этом каталоге, а подкаталоги “Program Files…” закрыты на запись. (Да, я знаю, что нужно было писать в %AppData%, но так уж сложилось исторически).

3.4.1. Настройка программы для работы в режиме таблицы

Программа написана так, что если вы ничего не нажимаете в её первом окне, то она начинает сама определять, с каким устройством ей следует работать. Это сделано для того, чтобы её можно было поставить в автозагрузку на компьютер человека, который сам не может ничего нажать.

Поэтому при старте программы ворон не ловим, а быстренько ставим галочку в поле “Режим таблицы (GRID) – для детей” (1).

Также рекомендую нажать кнопку “Все настройки” (2) и установить побольше время фиксации взгляда на картинках, а также время ожидания следующей фиксации взгляда:

Уточнение 03.10.2018: В последней версии программы время фиксации для таблицы берётся из настроек и умножается на 3, так что возможно, вам не потребуется его увеличивать.

Жмём кнопку «Сохранить» и выбираем наш айтрекер, например, Tobii (3).

Если вы не успели поставить галочку или войти в настройки, и программа запустилась, закройте её и попробуйте снова.

Выйти из программы можно, только закрыв её окно в панели задач:

4.Использование программы

После запуска в режиме таблицы программа развернёт на весь экран вот такое изображение:

Свернуть эту таблицу до одной клеточки можно, посмотрев на стрелку влево (свернуть). Например, чтобы посмотреть мультфильмы.

Если посмотреть на свернутую таблицу, то она снова развернётся на весь экран.

Если смотреть на зелёный кружок, будет произноситься слово «Да»

На красный – слово «Нет»

На колокол – звук колокола.

На одну из картинок – соответствующая фраза:

Как уже упоминалось, выйти из программы можно, только закрыв её окно в панели задач.

5. Как изменить содержимое таблицы

Можно изменить содержимое таблицы, положив в каталог “grid” собственные файлы.

Для картинок – это файлы в формате BMP. (желательно сохранять их в программе Microsoft Paint, иначе программа может их не прочитать).

Для звуков – это файлы в формате WAV.

В первой ячейке таблицы отображается файл 0.BMP и проигрывается звук 0.WAV
Во второй ячейке – 1.BMP и 1.WAV
Всего на одном уровне может быть до 16 ячеек, они нумеруются так:
0,1,2,3,4,5,6,7,8,9,A,B,D,E,F

То есть к 16-й ячейке будут привязаны файлы F.BMP и F.WAV

Можно сделать дополнительные уровни таблицы.
Например, при выборе ячейки «Кушать» можно открывать таблицу с выбором еды.

В таблице второго уровня файлы именуются двузначными значениями.
Например, «Кушать» на первом уровне имеет номер 2, а из неё мы попадаем в таблицу с ячейками, начинающимися на 2: 20, 21, 22……

Попробуйте сделать так:

Возьмите файл 2.BMP и скопируйте его в файл 20.bmp, и ещё в файл 21.bmp. Затем в графическом редакторе измените файл 20.bmp, чтобы там появилась тарелка с кашей. А файл 21.bmp отредактируйте так, чтобы там было изображение пюре.

Теперь запишите два звуковых файла: 20.wav и 21.wav. В первом запишите, как вы произносите слово “каша”, а во втором – слово “пюре”.

Теперь перезапустите программу, и когда ребёнок будет смотреть на картинку со словом “кушать”, то после произнесения этого слова откроется новая таблица с вашими картинками 20.bmp, и 21.bmp. А при остановке взгляда на этих картинках – будут произносится слова, записанные в файлах 20.wav и 21.wav соответственно.

Всего может быть три уровня, как показано ниже:

Ячейки следующего уровня добавляют ещё одну цифру к имени файла верхнего уровня:
2-кушать, 20-каша, 200-манная каша.

После добавления новых файлов в каталог “grid” программу нужно перезапустить, чтобы она их увидела.

Записывайте свои звуки, создавайте свои картинки, объединяйте их в свои собственные таблицы.

Примеры экранов, созданных другими людьми:

6. Вызов внешних программ (обновление ноября 2018 года)

Теперь вы можете вызывать внешние программы, просто добавив ещё и файл с расширением .cmd и таким же именем, как и у файла с расширением .bmp

Например, для картинки 5.bmp вы можете создать файл 5.cmd, и если смотреть на эту картинку в таблице, то не только будет воспроизведён звук 5.wav, но и будет запущен файл 5.cmd

При вызове внешней программы окно с таблицей сворачивается, превращаясь в квадратик со стрелочкой, чтобы можно было увидеть окно запущенной программы.

Источник