Технологии прокторинга что это
Прокторинг: что нужно знать hr-у
Что такое прокторинг?
Четкого и единого определения в русскоговорящей среде еще не сложилось, сам термин для многих является новым, хотя подобные технологии развиваются уже не один год. Тем не менее, общее определение может звучать так: прокторинг (от англ. «proctor» — надзиратель) — это автоматизированная процедура наблюдения и контроля за дистанционным испытанием.
Зародился прокторинг в электронном обучении: нужно было технологично присматривать за студентами на онлайн экзаменах, чтобы те не списывали. Теперь же он развивается не только в образовании, но и в HR — результаты онлайн-тестов для персонала также должны быть защищены от возможных фальсификаций.
То, как организуется сеанс прокторинга, зависит от провайдера, но суть остается неизменной. Система собирает данные с камеры, микрофона и экрана компьютера респондента, анализирует процесс тестирования, подтверждает личность, фиксирует возможные нарушения. И в итоге предоставляет организатору тестирования видеозапись процесса и оценку достоверности полученных результатов.
Как работает система прокторинга
Сервис призван автоматически отслеживать и пресекать следующие распространенные нарушения:
Что произойдет, если будет зафиксировано нарушение? Организатор самостоятельно определяет, как поведет себя программа:
Какие технологии используются в системе онлайн прокторинга?
Программа анализирует большой объем поступающих данных. Это и видео, и аудио, и события в браузере респондента. Для этого используется машинное обучение — класс методов искусственного интеллекта — специальные алгоритмы, обученные модели, которые в режиме реального времени способны определить нарушения.
Помимо технических возможностей системы, стоит отметить еще и ее психологический эффект. Осознание того, что за тобой наблюдают, заставляет отказаться от попыток обмана. И сам факт наблюдения становится большим подспорьем в обеспечении достоверности результатов тестирования.
Этапы работы с системой: что делает организатор
Правила проведения: что делает респондент
Порядок проведения сеанса прокторинга зависит от требований организатора и конкретного испытания. Но правила стандартной процедуры таковы:
Прокторинг в подборе и оценке персонала
Проблема фальсификации результатов оценочных процедур стара как мир. Всем знаком образ школьника, списывающего на контрольной, студента, который сдает экзамен со шпаргалками… И с возрастом это не проходит, напротив, чем дальше — тем выше ставки, и тем сильнее желание попробовать во что бы то ни стало «пройти тест». Тестирование при приеме на работу или формировании кадрового резерва, прохождение аттестации: проблема «списываний» становится головной болью уже не работников сферы образования, а HR-ов. Причем сильной.
HR-ы до недавнего времени боролись с этой проблемой примерно так же, как и экзаменаторы в учебной аудитории: вживую наблюдали за респондентами, своими силами администрировали процесс. Но все это работает лишь в индивидуальной оценке, максимум — в малых группах. А развитие дистанционных оценочных процедур накладывает свои требования. Российский Стандарт тестирования персонала прямо указывает на то, что при применении открытого дистанционного онлайн тестирования в ситуации экспертизы гарантия достоверности результатов отсутствует и полученные таким образом данные диагностики не могут влиять на окончательные управленческие решения.
Эти две причины — сильное стремление респондентов показать наилучший результат и развитие массового дистанционного онлайн тестирования — создают столь высокую потребность в применении технологий прокторинга именно в HR-практике.
Конечно, такое дистанционное наблюдение в подборе и оценке персонала прежде всего актуально при тестировании знаний и интеллекта. Что же делать с личностными опросниками? При их применении могут проявиться более тонкие факторы, снижающие достоверность результатов. Например, мотивационные искажения: стремление соответствовать пожеланиям работодателя, выглядеть в лучшем свете («Просто надо быть правдивым, благородным, справедливым, умным, честным, сильным, добрым — только и всего!»). Только лишь наблюдать за респондентом в этой ситуации уже недостаточно. В психометрике есть ответы и на эти вопросы. Всесторонне эта тема раскрыта в статье Алёны Мезенцевой, Руководителя отдела исследований и разработок Лаборатории «Сам Абрам дался в обман, или фальсификация результатов тестирования и как с ней бороться».
Возвращаясь к прокторингу подчеркнем, что он точечно решает конкретную проблему, для которой предназначен, не больше и не меньше. Но делает это хорошо: легко и технологично, занимая заслуженное место в ряду современных, автоматизированных и удобных HR-решений.
Интеграция системы тестирования Maintest и прокторинга
Лаборатория «Гуманитарные Технологии» не является непосредственным поставщиком программного обеспечения для прокторинга. На этом специфическом рынке есть свои профессионалы. У каждого провайдера есть свои возможности и особенности, свой тарифный план. Вы можете выбрать того, кто больше других подходит под требования и условия конкретной процедуры тестирования. А мы предлагаем вам интеграцию систем.
Интеграция — это процесс объединения частей в целое. В данном случае это объединение сеанса тестирования, который осуществляется в нашей оболочке Maintest, с сеансом прокторинга (платформа предоставляется выбранным провайдером). Две системы незаметно для пользователя взаимодействуют между собой, а управлять всеми процессами можно из единого личного кабинета в Maintest.
На что мы обращаем особое внимание при осуществлении интеграции
Рис. 2 – Предупреждение респондента о нарушении процесса тестирования.
В личном кабинете Maintest пользователь может управлять настройками прокторинга:
Варианты подключения услуги
Авторы: Григорий Красночуб, программист Human Technologies;
Татьяна Преснова, редактор информационных ресурсов Human Technologies.
В вашей почте раз в неделю. А еще: новости, акции и мероприятия для HR.
Человек-паук не поможет сдать экзамен. О том, как не стоит обманывать прокторинг
В 2021 году студенты продолжат обманывать автоматические системы проверки экзаменов. Рассказываем, как они прокололись в разгар пандемии.
Системы онлайн-прокторинга в России начали развиваться ещё во второй половине 2010-х. Их подключили передовые университеты, такие как ВШЭ и РАНХиГС, а также компании, которые с их помощью проводили удалённые тестирования сотрудников. Во время пандемии спрос на прокторинг вырос в несколько раз — вузам пришлось проводить в онлайне выпускные экзамены и сессии. После победы над COVID-19 потребность в нём неизбежно снизится, однако сервисам есть куда расти: спрос на качественные онлайн-экзамены сохранится и в образовании, и в бизнесе.
Недовольные студенты, столкнувшиеся с прокторингом во время пандемии, рисуют страшные картины дегуманизации образования, в которых их судьбу решают бездушные машины. Однако пока прокторинговые системы далеки от совершенства и за ними присматривают обычные люди, не лишённые сострадания и чувства юмора. Мы попросили сотрудников крупнейшей по выручке российской прокторинговой компании «Экзамус» рассказать о курьёзных случаях из их работы.
Журналист с широким кругом интересов, пишет про бизнес, культуру и международную политику. Сотрудничает с РБК, Republic и «Ножом».
Что такое прокторинг
Сам по себе термин «проктор» очень старый. Должность проктора появилась в английских университетах ещё в позднем Средневековье. В обязанности прокторов входил контроль за дисциплиной студентов — причём не только на экзаменах, но и во время всего обучения.
Сегодня прокторингом называют технологии, которые позволяют контролировать проведение испытания. В основном это понятие касается онлайн-экзаменов.
На российском рынке прокторинговых систем всего два крупных частных игрока — ProctorEdu и «Экзамус». Кроме того, существуют прокторинговые системы, которые вузы разработали для себя. По оценке РБК, «Экзамус» крупнее — в 2020 году его выручка составила 83 млн, в то время как у главного конкурента — 51 млн. Во время пандемии около 20 российских вузов ввели прокторинг на экзаменах — большинство таких заказов получил именно «Экзамус».
В 2020 году сотрудники «Экзамуса» провели более миллиона экзаменов в России и ещё полмиллиона за рубежом. Выручка выросла в пять раз, но и штат пришлось увеличить в четыре раза.
«Сказать, что мы озолотились во время пандемии, мы не можем. Но мы выросли, вышли на новый уровень, и теперь у нас есть ресурсы для уверенного выхода на международные рынки, на что мы и сделаем акцент в 2021 году», — рассказывает Skillbox Media директор «Экзамуса» по маркетингу Марина Новосёлова.
По словам Новосёловой, вузы, которые заключили с «Экзамусом» контракты ещё до пандемии, продолжают пользоваться его услугами. Новые клиенты, которые пришли в 2020 году, тоже пока остаются с «Экзамусом», однако некоторые из них поговаривают о возвращении к очным формам аттестаций.
В компании уверены, что вступительные экзамены и олимпиады в вузах точно останутся удалёнными. Возможность проводить приёмную кампанию дистанционно позволяет отбирать абитуриентов, которые в других условиях не могли бы приехать на очный экзамен, из разных уголков страны и мира.
Как работает прокторинг и кому он сегодня нужен
У «Экзамуса» есть три прокторинговых режима. В автоматическом система контролирует всё сама, без участия человека; есть опция, когда проктор присутствует только при идентификации сдающих. В асинхронном режиме запись экзамена целиком отсматривает проктор после его завершения. В синхронном он следит за сдачей вместе с системой.
Прокторинговый сервис работает через браузер. Сначала система проверяет камеру, микрофон и рабочий стол пользователя — не ведётся ли запись экрана, а затем идентифицирует сдающего с помощью системы распознавания лиц.
Во время экзамена программа следит за лицом и глазами сдающего — не смотрит ли он куда-то не туда, наблюдает за комнатой — не появится ли там кто-то лишний, ищет посторонние голоса, а также контролирует экран компьютера. Все данные записываются, система регистрирует каждое событие, выбивающееся из протокола, а по итогам экзамена рассчитывает общую вероятность нарушений.
По словам Марины Новосёловой, автоматический прокторинг заказывают крайне редко, а самый востребованный режим — асинхронный. В таком режиме корпорации проводят оценку кандидатов, аттестацию действующих сотрудников, отбор на программы обучения или итоговую оценку знаний после их прохождения.
Основные клиенты «Экзамуса» — крупные университеты. Как правило, они работают по годовой подписке, в которую входит пакет экзаменов. Более мелкие клиенты чаще платят за отдельный экзамен.
Баги вместо злых прокторов: студенты о своём опыте взаимодействия с «Экзамусом»
Весной 2020 года многие студенты опасались прокторинговых систем. Ходили слухи о том, что они действуют очень жёстко — например, считают нарушением даже продолжительный взгляд в сторону. Многим, особенно первокурсникам, эта паника сильно потрепала нервы.
Студенты вузов рассказали Skillbox Media, что боялись сдавать с прокторингом, однако в итоге панические слухи оказались преувеличением — с несправедливым отношением со стороны прокторов никто не сталкивался. В то же время многие пожаловались на то, что система часто сбоила, — однако такие ситуации решались в пользу студентов.
По словам студента магистратуры ВШЭ, у него и многих однокурсников возникли проблемы с проверкой компьютера и подключением к прокторинговой системе, однако сам экзамен прошёл нормально. В следующий раз система не отправила ответы, и пришлось вмешаться учебному офису.
У студента бакалавриата ВШЭ, который сдавал в «Экзамусе» сессию, не возникло никаких претензий к прокторингу.
«Даже те, у кого появлялись технические сложности, говорили, что университет быстро решил проблему: их просто переводили в Zoom, и они сдавали там».
Другая студентка бакалавриата ВШЭ рассказала, что проблемы у многих её одногруппников и у неё самой начались ещё при регистрации в системе. Во время экзамена у некоторых сервис просто вылетел, и им пришлось пересдавать в резервный день. Те, у кого прокторинг работал нормально, очень переживали из-за того, что и у них он тоже будет сбоить. По словам девушки, это привело к тому, что многие сдали гораздо хуже, чем могли бы.
Студентке СПбГУ ошибки прокторинговой системы изрядно помотали нервы — программа увидела нарушения, которых не было.
«Я сидела не шелохнувшись и смотрела исключительно в монитор, чтобы точно было не к чему придраться, но мне за день до пересдачи пришло сообщение о том, что я что-то нарушила, — рассказывает девушка. — Такие же сообщения получили и однокурсники. В итоге учебному отделу пришлось разбираться — но ему удалось решить проблему».
По словам студентки, которая в 2020 году сдавала через «Экзамус» вступительный экзамен в МГЮА, списать было бы не так уж и сложно, так как прокторы тогда ещё не просили показывать комнату (а теперь просят). Действий рук не видно, камера снимала только по грудь. «Если правильно подобрать свет, то твои зрачки и видно не будет, проктор не сможет оценить, куда ты смотришь», — говорит студентка. Главной технической проблемой стало то, что длинную юридическую задачу программа вывела в крошечном окошке и сдающим приходилось много раз прокручивать текст вверх и вниз.
Прокторы о неудачном списывании и курьёзных случаях на экзамене
Мы попросили прокторов «Экзамуса» рассказать нам о забавных и курьёзных случаях на своей работе, а также о том, как сдающие пытаются их провести.
Их рассказы производят двойственное впечатление. С одной стороны, некоторых онлайн-формат будто бы раскрепощает, снимает дисциплинарные условности, которые сопутствуют очным экзаменам в строгих кабинетах и аудиториях. С другой стороны, некоторые истории звучат так, будто бы они могли случиться и на обычном экзамене: многие студенческие уловки, ошибки и трагедии кажутся вечными и универсальными.
Взятки, подложные ноутбуки и крем на веб-камере — самые частые случаи
Чаще всего сдающие пытаются ухудшить качество видеосъёмки, наклеивая скотч или намазывая крем на камеру, сажают рядом с собой людей, которые тихонько (но всё же заметно) нашёптывают ответы. За такое прокторы банят сразу.
Также нередко сдающие пытаются договориться с проктором — например, предложить ему взятку. Они почему-то забывают, что и эти разговоры тоже записываются. В таких случаях прокторы вежливо рекомендуют вернуться к решению теста.
Сотрудники корпораций во время экзаменов нередко подменяют ноутбуки. Запись рабочего стола ведётся с MacOS, а при демонстрации рабочего места сдающий показывает стационарный компьютер или вообще красный ноутбук Lenovo на Windows. Этот момент вычисляется сразу.
Студент утёр нос системе
Однажды студент сдал часовой экзамен за 40 минут, ничем не выделяясь. Но в конце экзамена ему, по словам сотрудника «Экзамуса», захотелось утереть нос системе. Он отклеил шпаргалку от монитора и победоносно продемонстрировал её проктору, сообщив, что списал. Проктор отклонил всю сессию — видимо, сдающий не знал, что это можно сделать в любой момент, пока идёт запись.
Проктор в центрифуге
Прокторы жалуются, что очень часто сдающие, когда их просят показать комнату, начинают яростно вращать камеру вокруг себя. «Почему-то многим кажется, что это лучший способ показать стол и комнату, хотя для этого совершенно не обязательно разворачивать ноутбук вверх ногами» — говорит проктор.
Мастер над шептунами
Студент, который сдавал в общежитии, рассадил вокруг себя сразу нескольких помощников, которые спрятались от камеры. На все замечания проктора он отвечал, что вокруг никого нет. Когда проктор попросил показать комнату, сдающий подождал, пока все помощники выйдут, и только потом повертел камерой вокруг себя. Затем помощники вновь незаметно проскользнули в комнату и заняли свои позиции. История повторилась дважды — в итоге проктор всё-таки отклонил сессию.
Хитрая схема списывания, которая раскрылась до начала теста
Однажды сдающий и три его помощника разработали целую схему для помощи в решении теста. Проктор рассказал, что они построили хитрую систему передачи сигналов, которая работала с помощью зеркала: спрятавшиеся помощники могли видеть экран и при этом не попадать в камеру. Их план мог сработать, однако они почему-то решили ещё раз обговорить свои действия уже после того, как началась сессия, и сами раскрыли проктору свой замысел.
По словам прокторов, им часто приходится успокаивать расплакавшихся сдающих, которые получили плохую оценку или перенервничали во время экзамена. В таких случаях прокторы рекомендуют сдающему вернуться к решению теста. «В наши обязанности это не входит, но по-человечески их жалко», — говорит сотрудник «Экзамуса».
Несколько раз прокторам удавалось заметить хитрое и аккуратное списывание благодаря тому, что в одной аудитории сдавали сразу несколько человек. Сдающие виртуозно прятались от своей камеры, но их уловки были видны в камерах их соседей. Наблюдал за ними один-единственный проктор, который замечал эти нарушения.
Это любимая история прокторов. Сперва сдающая девушка довольно ловко прятала на столе второй ноутбук. Через некоторое время проктор всё же заметил его и потребовал убрать.
Ещё во время показа рабочего места проктор увидел под столом у девушки лишние ноги. Сдающая сказала, что ему показалось. Её допустили к сдаче экзамена, но через десять минут в кадре вновь появились эти ноги — при этом камера смотрела на лицо и грудь сдающей. Оказалось, что помощник пытался незаметно подобраться к девушке, но двигался по стульям, опираясь на стены руками. Почему он выбрал именно такой путь, а не попытался проскользнуть по полу, где его точно никто бы не увидел, прокторы так и не поняли.
Студент, уснувший на экзамене
Однажды студент уснул прямо во время сдачи теста, и камеры записали его получасовой сон. Прокторы решили, что бедняга слишком сильно вымотался, сдавая сессию, и не стали его будить.
Опекающие родители и миссия проктора
«Когда мы смотрим на прилежных студентов с особыми возможностями здоровья, — говорит проктор, — но с огромным желанием учиться, или, к примеру, на третьеклассника, который пришёл писать олимпиаду по физике, мы понимаем, зачем всё это и какую важную миссию мы выполняем».
Andrea Piacquadio / Photomix-company / Shuttesrtock / Polina Vari для Skillbox
Списать не дам: что такое онлайн-прокторинг и как он работает
Что прокторинг представляет собой сегодня
Об экспертах:
Прокторинг — это процедура контроля за ходом дистанционного испытания (в английском языке «proctor» — это наблюдатель на экзаменах в вузе).
Это понятие уже достаточно хорошо знакомо не только экспертам. Но как он обеспечивается на самом деле и какой ценой? Необходима ли нам такая тотальная система контроля?
Исследователи выделяют следующие прокторинговые системы.
Он осуществляется путем отслеживания приложений, с которыми работают учащиеся на своих ПК, и переключений на другие сервисы во время экзамена.
Например, с помощью приложения «Блокировка браузера» закрывается доступ к другим приложениям во время экзаменов.
Так, онлайн-контроль происходит без экзаменатора, без участия человека. Записываются видео и звук, автоматически выявляется подозрительное поведение человека и фиксируются нарушения. За грубое несоблюдение правил (подмена экзаменуемого, копирование заданий) программа автоматически блокирует доступ к системе.
Реализуется аналогично пассивному, но с добавлением мониторинга в режиме реального времени. Один проктор (наблюдатель) может следить за несколькими учащимися одновременно.
Ограничения и последствия онлайн-прокторинга
Возможности прокторинга ограничены, что иногда вынуждает изменять процедуры многих экзаменов и усложнять их техническое оснащение.
Так, осуществление онлайн-контроля предполагает упрощение заданий экзамена. Это связано с сокращением времени на обдумывание ответов и соблюдением ряда ограничительных мер. Также не все экзамены возможно осуществлять в дистанционном формате.
Согласно апрельскому опросу НКО Educause, главными проблемами, с которыми сталкиваются образовательные учреждения во время внедрения прокторинговых систем, являются стоимость онлайн-контроля (58% респондентов), а также обеспечение конфиденциальности данных учащихся (51%).
Казалось бы, пандемия предоставила прекрасный шанс «переключить» образование на дистанционный формат, но именно вынужденный форсированный перевод процесса в онлайн выявил неподготовленность к этому преподавателей, учащихся, всей системы образования в целом. Он же позволил акцентировать внимание на связанных с этим проблемах, одной из которых является сама оценка.
Кто выступает против онлайн-прокторинга и почему
В некоторых университетах отказываются использовать прокторинговые системы из-за дороговизны процедуры. В России, например, рынок онлайн-прокторинга вообще не развит: на прокторинг вузы выделяют только около 5% своих расходов на онлайн-образование. Также многие эксперты отмечают, что эта технология не является полноценной заменой классической процедуры экзамена. Так, в связи с пандемией коронавируса руководство многих университетов стремилось отсрочить курсы и итоговые экзамены для дальнейшего возобновления процесса обучения в традиционном формате.
Такого же мнения часто придерживаются и сами учащиеся. К примеру, в Техасском технологическом университете (США) студенты негативно отнеслись к введению прокторинга, который воспринимался ими как вторжение «большого брата» в личную жизнь. Учащиеся университета Тилбурга (Нидерланды) создали петицию, призывающую отменить использование прокторинговых систем.
Чем внедрение прокторинга напоминает компьютеризацию шахмат
Любопытно, что проблема имеет место в совершенно, казалось бы, не родственной деятельности, а именно — игре в шахматы. И там можно считать, ситуация уже подходит к своему логическому завершению: внедрение разных программ против читинга (или «читерства»), т.е. мошенничества, приводит к изменению классических шахмат.
Началось все в конце XX века: сначала компьютер победил чемпиона мира Гарри Каспарова в блиц, потом обыграл его в одной из партий матча в классические шахматы, и наконец, выиграл сам матч. Само по себе это было бы не страшно, но параллельно практически линейно снижалась стоимость владения шахматным помощником за счет общего развития ИТ.
С тех пор любой человек, который умеет ходить фигурами и записывать ходы, может обыграть очень сильного гроссмейстера, если у него в доступе будет компьютер с установленной программой.
Таким образом, компьютерные технологии предоставили новичкам новые возможности для читинга — пользования программами во время игры и обращения за советом к профессионалу или просто человеку, имеющему доступ к компьютерным сервисам.
В ответ начали появляться различные модификации классических шахмат. К примеру, шахматы Фишера-960, шахматы с выбранной случайной расстановкой фигур, которые не предоставляют игрокам возможности использовать заученные ходы в начальной части партии. В итоге было создано множество радикальных модификаций классических шахмат, которые фактически представляют собой уже новые игры с сохранением только внешнего вида и основных принципов (к примеру, гексагональные шахматы Глинского, шахматы Капабланки).
Самих же турниров по классическим шахматам проводится все меньше. Так, согласно статистике сайта «Результаты шахматных турниров» (РШТ), в марте 2020 года в России состоялись 175 шахматных турниров, из которых «классика» составила только 38 состязаний, остальное — рапид (в большей степени) и блиц.
В итоге статус-кво в шахматах сейчас таков.
Если применить «шахматные» выводы к образованию, то напрашивается почти полная аналогия. Реально применимы лишь четыре сценария использования онлайн-режима оценивания:
Но ставить вопрос о качестве прокторинга в целом преждевременно, так как процесс оценки в онлайн-режиме меняет в принципе подход к оценке и к ее процедурам. К тому же в связи с переходом на дистанционный формат обучения многие студенты находятся в состоянии стресса и беспокойства, и дополнительный контроль может только навредить.
Прокторинговые системы особенно эффективны в рамках корпоративного обучения, когда нужно охватить большое число экзаменуемых, находящихся, например, в разных уголках страны и мира, или же когда крупной компании необходимо провести оценку большого числа своих сотрудников.
Таким образом, возможности применения онлайн-оценивания действительно ограничены, и можно предполагать, что в самое ближайшее время статус-кво онлайн-тестирования будет сильно изменен.