Дистанционное тестирование: контроль знаний в онлайн обучении

контроль знаний в онлайн обучении

Содержание

В электронном обучении, как и в очном формате, важно держать на контроле уровень знаний студентов. Для этого используют различные методы проверок. Самый популярный из них — дистанционное тестирование.

Зачем проводить контроль знаний в онлайн обучении

Контроль знаний в онлайн-обучении — это проверка и оценивание знаний студентов. Большинство современных онлайн-курсов состоят из теоретических уроков и проверочных упражнений. Упражнения необходимы как организаторам обучения, так и самим обучающимся.

Основные функции контроля знаний:

• Развивающая. Выполняя задания, человек лучше усваивает важную информацию и совершенствует свои знания, применяя их в новых ситуациях
• Воспитательная. Регулярная проверка дисциплинирует и способствует формированию чувства ответственности
• Контролирующая. Организатор обучения получает информацию об уровне овладения определенными знаниями
• Диагностическая. Организатор узнает, какие темы даются студентам сложнее всего, какие ошибки они часто допускают. На основе  этой информации можно оптимизировать материалы и подобрать более эффективные технологии обучения

Есть различные методы для проведения контроля знаний. Например, можно провести беседу, опрос или анкетирование. Но самый объективный метод проверки, который позволяет оценить результаты в количественных показателях — тестирование. 

Что такое дистанционное тестирование

У некоторых людей дистанционное тестирование ассоциируется с развлекательным контентом, психологическими опросниками или заданиями на проверку уровня интеллекта. На самом деле, этот инструмент активно используется в разных сферах онлайн-образования.

Тестирование в онлайн-обучении — процесс оценивания знаний в формате вопроса с готовыми вариантами ответов. Например, для оценивания не обязательно раздавать задания на листочках и проверять их вручную. Современное онлайн-тестирование позволяет автоматизировать этот процесс. Контроль уровня знаний с помощью дистанционных технологий проводится удаленно в заранее составленных программах. А сложные проверки и подсчеты результатов делаются в автоматическом режиме.

Когда проводится тестирование

Обычно тестирование проводится в трех случаях:

• Перед обучением — помогает оценить уровень текущих знаний

  Цель такого тестирования — определить базовые знания людей в теме будущего обучения, чтобы не тратить время на уже знакомый всем материал. Кроме того, благодаря предварительному тестированию вы можете убедиться, например, что у соискателя на должность в вашей компании есть необходимые навыки для начала работы. Или подобрать подходящую группу для обучения в онлайн-школе соответственно уровню владения языком. 

• В процессе обучения — помогает усвоить ключевые данные

  Цель — закрепить пройденный этап обучения, выделить ключевые моменты из изученного материала. Промежуточный тест может вовремя подсказать нужную информацию, если человек неправильно понял пройденный материал.  

• После обучения — помогает определить, чему научился тестируемый

  Цель — проверить, какая информация после обучения запомнилась и закрепилась в долговременной памяти. Такое тестирование помогает увидеть, усвоил ли человек необходимый объем знаний, чтобы продолжать работу или обучение. По результатам итоговой аттестации можно выдавать сертификат о завершении ступени обучения (особенно актуально при повышении квалификации сотрудника).

Где используется онлайн тестирование

Контрольное тестирование активно используется в разных сферах онлайн-образования:

Школы

Учитель формирует тесты на закрепление материала по готовым шаблонам, дает ссылку ученикам, получает готовые результаты в баллах и вносит все оценки в журнал. Результат онлайн-теста виден сразу всем: преподавателю, ученику и родителям.

Вузы

Интернет-тестирование для студентов заменяет утомительные экзамены и зачеты. Больше не нужно бегать за преподавателями и выискивать их свободные минуты, чтобы сдать зачет. Можно в любой момент пройти тестирование онлайн и сразу получить результаты. Если баллов недостаточно, спустя некоторое время можно пересдать

Обучающие центры

Повышение квалификации, переподготовка и наработка дополнительных навыков уже давно доступны в онлайн-режиме. Соответственно, и проверка знаний проводится онлайн. Например, тестирование при изучении иностранного языка помогает на первых этапах определить базовые знания и уровень владения языком. От результатов теста зависит формат и сложность обучения.

Компании

Тестирование на этапе приема на работу выявляет профессиональные, личностные и коммуникативные навыки соискателя. Промежуточные тесты во время обучения позволяют сотруднику закрепить новый материал и сразу применить новые знания на практике. Итоговые аттестации — оценивают результаты обучающей программы.

Как проводить аттестацию сотрудников ⇨ 

Интересно. Опрос крупных компаний в России показал, что около 70% выбирают тесты в качестве метода проверки знаний. А 50% из них отметили значительное повышение результативности сотрудников с момента введения онлайн-тестирования.

Инструменты для дистанционного тестирования

Для проведения теста больше не нужно распечатывать бланки с вопросами. Можно использовать специальные платформы для онлайн-тестирования. Это сервисы, которые позволяют создавать тесты, отправлять ссылку на их прохождение любому количеству студентов и генерировать отчетность о результатах.

Современные системы дистанционного тестирования не требуют больших затрат. Большинство из них находятся в облаке, работают и поддерживаются удаленно. Вам нужно только создать аккаунт и начать пользоваться всеми преимуществами сервиса.

Сервисы бывают разные. Есть программы, предназначенные именно для тестирования. Но удобней использовать платформы для онлайн-обучения, которые позволяют изучать теоретический материал и сразу проходить по нему тестирование. Популярной платформой для онлайн обучения и тестирования является Unicraft.

Программа работает очень просто:

• Вы создаете вопросы разных видов и назначаете на тест любое количество человек
• Студенты проходят тест в удобное время с планшета, компьютера или телефона
• Программа сама проверяет правильность ответов, выводит оценку и присылает вам отчет по каждому человеку и по тесту в целом

Алгоритм работает одинаково эффективно, независимо от того тестируете вы одного человека, нескольких сотрудников или весь офис.

Преимущества онлайн тестирования для контроля знаний

Формат онлайн-тестирования на платформе Unicraft предлагает различные преимущества. Поговорим о самых важных.

Разные типы вопросов

Чтобы улучшить усвоение информации, в рамках онлайн-тестирования пользователю доступны задания разного типа: вопросы с одиночным или множественным ответом, на сопоставление или на установление последовательности.

Как правильно составлять тесты ⇨

Мгновенные оценки

Педагоги и тренеры не тратят время на ручную проверку тестов. Сразу после прохождения онлайн-тестирования участник получает результаты оценивания. Преподаватель, в свою очередь, освобождается от долгой проверки и анализа результатов — все происходит в автоматическом режиме.

Экономия времени

Человеку не нужно куда-то идти или ехать, отрываться от работы и долго ждать «вердикта». Пройти тестирование можно в любое удобное время, в любом месте, а результаты будут известны сразу. Это существенно снижает сопротивление к прохождению теста. 

Персонализация

Тестирование помогает адаптировать уровень сложности обучения под каждого. Например, человека, который плохо прошел тест, система автоматически перенаправляет на урок, соответствующий его уровню.

Аналитика

Организатору обучения доступна подробная аналитика. Она включает как простые показатели (количество правильных и неправильных ответов, повторные прохождения, время выполнения заданий), так и сложные аналитические данные (полезность обучающего курса, вовлеченность, индивидуальные показатели роста).

Настройка параметров

Онлайн-тестирование позволяет устанавливать различные ограничения для тестируемых. Например, можно ограничить время прохождения теста или установить количество повторных попыток. Можно заблокировать следующий урок, пока не пройден успешно тест по текущему. И  установить процентный порог правильных ответов, при котором урок будет засчитан. Эти параметры помогают бороться со сложностями, о которых поговорим ниже.

Сложности дистанционного тестирования: как их избежать

При дистанционном обучении контроль результатов с помощью тестирования имеет и слабые стороны. С ними поможет справиться платформа Unicraft.

Сложности	Решение
Списывание	На время прохождения теста доступ к теоретическим урокам можно заблокировать, как например, на платформе Unicraft
Прохождение тестирования другим человеком	Доступ к учебной программе осуществляется по индивидуальным паролям. Отдельно можно подключить систему прокторинга, когда за происходящим на мониторе следит проктор (администратор) с помощью веб-камеры
Фальсификация результатов	Современные платформы используют статистическую защиту при тестировании и специальные алгоритмы, позволяющие выявить обман
Выбор вариантов ответов наугад	Можно сделать и добавить активные форматы тестов: закончить мысль или вписать ответ в пустую строку
Передача правильных ответов тем, кто еще не прошел тест	В параметрах теста можно настроить функцию «Выборка вопросов». Тогда каждый участник будет получать случайную выборку вопросов из общего банка

Образовательные онлайн-платформы оснащены всеми необходимыми опциями, чтобы процесс контроля знаний был максимально объективным и корректным. А основное сопротивление обычно связано с тем, что для некоторых людей ручка и бумага на тестировании все еще привычней. Но современные технологичные инструменты для онлайн-тестирования информативнее и практичнее.

Ответы на часто задаваемые вопросы

Чем конструктор тестов отличается от платформы для онлайн-обучения?

Конструктор предназначен для создания тестов по шаблонам. А на платформе вы получите не только удобный и многофункциональный конструктор тестов, но и возможность совместить результаты тестирования с дополнительной аналитикой по обучению.

Можно ли в онлайн-тесты включать изображения, графики, видео или это только текстовый формат?

Можно. В большинство онлайн-тестов можно вставлять картинки, презентации, видео, файлы PDF, аудиосообщения, графики, ссылки.

Как составить вопросы для тестирования?

Сформулируйте правильный ответ — какую смысловую единицу человек должен вынести из урока. Определите вид теста — например, выбрать правильный вариант или установить последовательность. Поставьте вопрос к правильному ответу. Придумайте несколько неправильных вариантов ответа. Важно, чтобы они были правдоподобными и находились в рамках пройденного материала. Как правильно составлять тесты ⇨

Практическая диагностика: дистанционное тестирование

Что это и для чего?

Этот режим был разработан по запросу пользователей сервиса и сконструирован на основе практических пожеланий.

При дистанционном тестировании испытуемый может пройти тесты самостоятельно, со своего компьютера. Вы отправляете ему закодированную ссылку, по которой он сам пройдет выбранные Вами тесты.

Это полезно в том случае, когда нет необходимости или возможности пригласить испытуемого к себе в офис. Например, Вы хотите протестировать группу сотрудников какого-то отдела, каждый из которых должен пройти тест в течении нескольких дней. Вы просто решаете, кто и какие тесты должен пройти, и отсылаете каждому персональную ссылку. В свободное время каждый сотрудник открывает ссылку и проходит тестирование. Более того, если его вдруг отвлекут, он прервет тест и выключит компьютер, то, вернувшись, он сможет автоматически продолжить с того места, на котором остановился.

Также упрощается аттестация сотрудников филиалов и удаленных работников.

Еще Вы сможете тестировать кандидатов до собеседования, но этим следует пользоваться осторожно.

Как запланировать дистанционное тестирование?

__ для испытуемого, который уже есть в Вашей базе данных

На странице испытуемого нажмите кнопку “Дистанционно”. Вы попадете на страницу настройки дистанционного тестирования, где и введете нужные параметры.

__ для нового испытуемого

На странице базы испытуемых нажмите кнопку “Дистанционное тестирование +”.

Или нажмите прямо сейчас: новое дистанционое тестирование.

Настройка параметров дистанционного тестирования

1) укажите, какие тесты следует пройти

Вы можете указать 1, 2 или все 3 теста. Если выбрано 2 или 3 теста, то порядок выполнения: Тест 50, Семантический Тест, Тест Компетентности в Продаже.

Обратите внимание – если Вам не надо проводить сразу все тесты, планируйте их по одному.

2) определите срок, в течение которого испытуемый должен сделать тесты

Определите количество дней, которое Вы отводите испытуемому на тест. По умолчанию стоит срок 10 дней, Вы можете изменить его в большую или меньшую сторону.

3) введите имеющиеся в данный момент данные испытуемого

Вы можете оставить поля “ФИО”, “пол”, “дата рождения” пустыми, в этом случае их должен будет заполнить перед началом тестов испытуемый.

Поля “статус”, “позиция”, “информация” видимы только для Вас, испытуемый их не видит и редактировать не может.

Настроив все параметры, нажмите “Создать”, и ссылка для дистанционного тестирования будет создана.

Что переслать испытуемому?

Система создаст специальную ссылку следующего вида: http://practicaldiagnostics.ru/distant_resp/300329/. Вы сможете увидеть ее сразу и в виде ссылки, и в виде простого текста. Чтобы отправить ее испытуемому, можно нажать на ссылку правой кнопкой мыши, и выбрать в меню “копировать ссылку”/”копировать адрес ссылки”/”копировать ярлык” – в разных браузерах название операции немного отличается.

Либо Вы можете просто выделить мышкой текст ссылки, потом нажать на него правой кнопкой и выбрать “копировать”.

После этого вставьте ссылку в сообщение испытуемому.

Обзор запланированных дистанционных тестирований

Существует специальная страничка, на которой Вы можете увидеть все запланированные дистанционные тесты. Перейти на нее.

На ней Вы можете увидеть, какие тесты запланированы и какие уже выполнены испытуемым.

Нажав на имя респондента или номер (если имени еще нет), Вы сможете редактировать параметры тестирования. Для отмены дистанционного тестирования нажмите “отменить”.

Изменение данных дистанционного тестирования

В любой момент Вы можете добавить/отменить тесты и изменить срок действия ссылки. Для этого Вам надо перейти на страницу с параметрами. Это можно сделать со страницы испытуемого, или со страницы Планируемые дистанционные тестирования. Внесите нужные изменения и нажмите “Сохранить”.

Ограничения дистанционного тестирования

Основным минусом является то, что Вы не можете полностью контролировать весь ход теста. Испытуемый получит большее время на выполнение, сможет привлечь кого-нибудь себе в помощники, поискать в интернете “правильные ответы” и т.д.

Конечно, правильных ответов в сети найти не удастся. Это полностью новые тесты, ключи к которым никогда не публиковались. Тем не менее, какая-то информация будет найдена, и она в любом случае даст искажения.

Само собой, пытаться обмануть будут далеко не все. Но мы же не хотим, чтобы те, кто обманывает, получили преимущество.

Поэтому мы рекомендуем:

Без серьезных причин не используйте дистанционное тестирование. Во многих случаях его отлично заменит “бумажное” тестирование с помощью бланков. (Комплект бланков автоматически высылается Вам после подключения к сервису.) Ввод протоколов отнимает несколько минут, зато гарантирует чистоту тестирования.

Будьте осторожны с тестированием кандидатов, здесь “поиск помощи” наиболее вероятен. Давайте им минимальное время на тестирование, особенно по Тесту Компетентности в Продаже.

Ставьте в параметрах срок действия ссылки 0 дней, это значит, что она будет работать только в день ее создания. То есть, если Вы сейчас создали ссылку, она будет действительна только сегодня. (Если Вы поставите 1 день – то сегодня и завтра.)

Вы можете дать и еще меньшее время на тест, например, 1 час. Но Вам придется отслеживать его самому. Отправить ссылку в момент готовности респондента к тесту, а через час проверить, сделан ли тест. Совет: со страницы испытуемого Вы можете заглядывать в протокол (кнопка “ввести протокол”), и видеть там, сколько вопросов уже сделано. Только не нажимайте там “сохранить”!

Дополнительные возможности: групповое тестирование

Если вы хотите провести групповое тестирование на нескольких компьютерах у себя в офисе, вместо запуска тестов со своего аккаунта на каждом компьютере следует также использовать дистанционное тестирование:

1. Войдите в свой аккаунт на главном компьютере.

2. Создайте нужное количество ссылок.

3. Запустите ссылки на других компьютерах (не заходя на свой аккаунт).

Вход на ваш аккаунт одновременно более чем с 2-3 устройств вызовет защитную реакцию системы безопасности. А при дистанционном тестировании испытуемый не подключается к вашему аккаунту.

Что такое удаленное юзабилити-тестирование?

Глава 3

В этой главе рассматривается удаленный подход к тестированию удобства использования. Узнайте, как проводить эффективные удаленные тесты и получать полезную информацию для принятия обоснованных решений.

Пару десятков лет назад в каждом юзабилити-тестировании консультант предлагал участнику выполнить задания на неуклюжем настольном компьютере, а затем наблюдал за его поведением и отмечал его. Не существовало таких вещей, как «личные» или «удаленные» юзабилити-тесты, поскольку все должны были находиться в одной комнате, чтобы проводить какие-либо UX-исследования.

Но с тех пор постоянный поток технологических новшеств и новых инструментов тестирования сделал удаленные тесты удобства использования жизнеспособным вариантом. В настоящее время удаленное тестирование нередко становится предпочтительным путем.

Давайте посмотрим, что такое удаленное юзабилити-тестирование и как лучше всего использовать этот метод исследования UX для улучшения пользовательского опыта.

Что такое удаленное тестирование удобства использования?

Удаленное тестирование удобства использования — это любое тестирование, которое проводится, когда участник и исследователь находятся в разных местах. На практике удаленное тестирование расширилось с развитием технологических инноваций, и ему облегчают онлайн-инструменты. Сессии обычно проводятся с помощью платформы тестирования удобства использования, такой как Maze, которая записывает людей, выполняющих тест, собирает данные и генерирует идеи, которые вы можете сразу же применить к действию.

Совет ✨

Если у вас есть готовый прототип, вы можете начать создание удаленного юзабилити-теста в Maze одним щелчком мыши. Участники могут проходить удаленные тесты на своих устройствах в свободное время.

Начните удаленное тестирование удобства использования с помощью Maze

Проводите опросы, проверяйте дизайнерские идеи и тестируйте свои прототипы, чтобы собирать полезную информацию о продукте из любого места и в любое время дня.

Преимущества удаленного тестирования удобства использования

Использование удаленного подхода к юзабилити-тестированию имеет несколько больших плюсов:

• Найти желающих участников намного проще, так как пользователи могут пройти тест в любое время и в любом месте
• Количественное юзабилити-тестирование быстрее и дешевле, поэтому у вас больше шансов получить статистически значимые результаты
• Вы можете протестировать свой дизайн на более широком круге людей из разных уголков мира
• Время между созданием теста и получением результатов намного короче, а значит, ваша команда может получить очень быстрое понимание дизайна на основе данных.

Некоторые из типичных преимуществ, которые люди видят в удаленном тестировании удобства использования, — это более широкий и часто более разнообразный контингент для найма, а не только люди, которые находятся рядом с вашим офисом и могут уйти с работы в середине дня. При проведении исследования также меньше накладных расходов, поскольку для них, как правило, требуется только устройство и подключение к Интернету.

Бехзод Сирджани, основатель Yet Another Studio

Дистанционные тесты легко организовать, поскольку участники могут проходить их в любое время и в любом месте. Вы можете поделиться ссылкой на тест в социальных сетях или в кампании по электронной почте и получить действенный отзыв о своем дизайне за считанные минуты. Это огромное преимущество по сравнению с личным тестированием, поскольку вы можете протестировать гораздо больше людей за гораздо меньшее время и с гораздо меньшими усилиями.

Удаленное пользовательское тестирование также хорошо сочетается с количественным тестированием, поскольку оно позволяет получать данные из большой выборки участников тестирования. Вы можете легко измерить производительность своего дизайна или отслеживать показатели удобства использования, поскольку данные могут записываться автоматически, без хлопот с личным сеансом.

Существует также мнение, что люди ведут себя более реалистично, сдавая тест в естественной среде, поэтому ваши выводы будут основаны на сценарии, который ближе к реальной жизни.

Совет по продукту ✨

С помощью Maze вы можете создать контекстный экран и написать дополнительные вопросы для участников до, во время и после теста. Это позволяет вам вовлекать тестировщиков и получать ответы, которые вам нужны, на протяжении всего сеанса даже в немодерируемой среде.

Недостатки удаленных юзабилити-тестов

Один из недостатков удаленных юзабилити-тестов заключается в том, что у вас меньше контроля над тестовой средой и процедурой в целом. Например, при проведении удаленного немодерируемого тестирования, если задача непонятна, вы не можете быть рядом, чтобы объяснить ее более подробно и сдвинуть в нужном направлении.

Чтобы свести к минимуму эти риски, напишите вводную информацию и рекомендации в начале теста, чтобы участники знали, чего ожидать. Если вы проводите модерируемый удаленный тест, сообщите участникам о цели сеанса и убедитесь, что у них есть все сведения, необходимые для понимания контекста.

Наконец, крайне важно провести пилотный немодерируемый удаленный тест, чтобы убедиться, что вы написали задачи кристально ясно. Удаленное юзабилити-тестирование не менее трудоемко, чем личное тестирование, оно часто требует больше планирования и больше общения. Итак, планируйте соответствующим образом и убедитесь, что инструменты и устройства, которые вы будете использовать, работают должным образом.

Когда лучше всего проводить удаленные тесты удобства использования?

Короткий ответ: в любое время в процессе проектирования. Удаленные тесты быстрее и проще проводить, чем личные тесты, поэтому вам не нужно так много думать о том, стоит ли вкладывать в них деньги.

Как только вы начнете работать над своим проектом, проведение коротких удаленных тестов для проверки конкретных особенностей проекта гарантирует, что ваши итерации всегда будут подкреплены данными. А поскольку их легко создавать и распространять, немодерируемые тесты особенно полезны для частого тестирования, если у вас мало времени или денег.

Для команды дизайнеров Tiendanube переход на немодерируемое тестирование с помощью Maze сократил процесс тестирования с недель до дней:

Из-за личного тестирования нам было очень дорого узнавать о наших новых разработках. Теперь с удаленными пользовательскими тестами мы можем продвинуться вперед через один или два дня.

Дамиан Хорн, руководитель отдела дизайна Tiendanube

Поделившись ссылкой на свой тест в группах пользовательского тестирования WhatsApp, они могут протестировать свои проекты с пользователями по всему миру и быстро получить результаты для поддержки своего процесса проектирования.

6 советов по созданию эффективного удаленного юзабилити-теста

Чтобы действительно увидеть преимущества удаленного юзабилити-тестирования, вы должны настроить тест таким образом, чтобы получить действенные результаты. Удаленное тестирование не означает меньше подготовки или планирования. Наоборот, требуется настроить тест наилучшим образом, чтобы получить эффективные результаты, которые помогут вам учиться и действовать на основе собранных данных. Вот наши главные советы по созданию теста, который быстро получит нужные вам данные.

1. Выберите правильный тип теста

Модерируемые тесты работают почти так же, как и традиционные юзабилити-тесты с личным присутствием, за исключением того, что модератор и пользователь не находятся в одной комнате. Вместо этого модератор наблюдает за пользователем во время видеозвонка с помощью Zoom или аналогичного программного обеспечения.

Преимущество здесь в том, что вы по-прежнему можете задавать пользователю столько дополнительных вопросов, сколько хотите, что означает, что вы потенциально можете получать более разнообразные ответы на каждом сеансе. Кроме того, пользователю не нужно идти в ваш офис.

Недостатком является то, что он по-прежнему требует определенного уровня приверженности со стороны пользователя — они должны выполнить тест в определенное время с определенной настройкой, а дополнительные вопросы делают его более трудоемким. Таким образом, у вас, вероятно, будет меньше желающих, и все они должны быть в вашем часовом поясе. Если только вам не по душе проведение пользовательских тестов в 3 часа ночи.

Немодерируемые тесты не имеют никаких обменов между вами и пользователем во время теста. Вы создаете задачи и пишете вопросы в платформе тестирования удобства использования, такой как Maze, отправляете их пользователям, а затем они проходят тест в одиночку. Платформа возвращает вам результаты, когда они заканчиваются.

Преимущество немодерируемых тестов заключается в том, что они занимают у пользователей всего несколько минут, поэтому для них это намного проще. Это потенциально означает, что намного больше людей завершат тест. Вам также не нужно планировать или посещать тест самостоятельно, поэтому можно выполнить больше тестов за меньшее время. Все это приводит к более быстрым результатам для вашей команды с меньшими усилиями.

Но поскольку никто не наблюдает за немодерируемыми юзабилити-тестами, вы не можете быть рядом и следить за тем, чтобы пользователи дошли до конца или чтобы они не ушли за твиксом на полпути. Поэтому выбор правильного объема для вашего теста является ключевым.

Вывод

Для более традиционного процесса тестирования удобства использования используйте модерируемое удаленное тестирование. Для количественного и экономящего время подхода попробуйте немодерируемое удаленное тестирование.

2. Сузьте масштаб

Масштаб вашего теста может увеличить или уменьшить его шансы на успех. Очевидно, что в какой-то момент вы захотите протестировать каждый дюйм своего продукта. Но при удаленном тестировании лучше протестировать конкретные потоки, чем кидать все в один мегатест. На это есть несколько причин.

Во-первых, сосредоточение вашего теста на нескольких гипотезах так или иначе сделает ваши результаты более ясными. Чем больше дизайнов вы пытаетесь протестировать одновременно, тем дольше ваш тест и тем более размытыми будут ваши результаты. Предоставление людям меньшего количества вариантов позволяет вам точно определять проектные решения и более тщательно их тестировать.

Во-вторых, чем короче тест, тем больше шансов, что пользователь его завершит. Это особенно важно для немодерируемых тестов, так как вы не можете контролировать их ход. И если они не дойдут до конца, вы получите искаженные результаты. Мы рекомендуем семь или восемь задач для немодерируемых удаленных юзабилити-тестов. Хорошо то, что их распространение так же просто, как отправка ссылки, поэтому вы можете чаще запускать небольшие тесты.

Модерируемые тесты могут быть немного более сложными, так как вы можете вести полноценные беседы о том, что людям кажется трудным, и делать заметки о том, как они застревают. А поскольку для планирования тестов требуется больше работы, вы можете копнуть немного глубже, чтобы максимально использовать каждый из них. Тем не менее, вы всегда должны держать тесты на короткой стороне, чтобы уважать время людей.

Выводы

Чтобы получить более четкие шаблоны данных и убедиться, что люди закончат, немодерируемые удаленные тесты не должны быть длиннее семи или восьми задач. Модерируемые удаленные тесты могут быть менее целенаправленными, но принцип здесь тот же.

3. Начните искать участников как можно скорее

Или, что еще лучше, вы уже начали искать. Потому что, хотя найти людей, готовых пройти удаленные юзабилити-тесты, определенно проще, чем лично, это все равно требует времени, особенно если вам нужны пользователи с определенным опытом или должностью. Помните, что одним из основных преимуществ удаленного тестирования удобства использования является возможность тестирования с большими размерами выборки. Так что чем больше пользователей вы найдете, тем лучше.

Чем раньше вы найдете нужную целевую аудиторию, тем раньше вы сможете начать тестирование в процессе проектирования. Это может избавить вас от многих усилий, которые впоследствии сведут на нет вашу тяжелую работу, поскольку ваш продукт будет ориентирован на пользователя вплоть до его основ.

Вот несколько мест, с которых можно начать поиск:

• Попросите свою команду по работе с клиентами связать вас с вашими самыми активными пользователями и наиболее громкими запросчиками функций. У них будет отличное понимание, и они будут рады помочь. И ваша команда CS будет благодарна вам за то, что люди чувствуют себя услышанными.
• Обратитесь к определенным сегментам пользователей в вашем списке рассылки, которые будут заинтересованы в тестировании актуальной для них функции
• Создайте всплывающее окно на своем сайте или в приложении, чтобы попросить людей оставить отзыв
• Размещайте сообщения в социальных сетях, чтобы дать вашим поклонникам возможность сформировать ваш продукт
• Для выпуска новых продуктов поощряйте первых подписчиков электронной почты стать бета-тестерами
• Если вам не хватает времени и пользователей, вы можете нанять участников тестирования с помощью инструмента тестирования удобства использования у которого есть панель тестирования пользователей

Какой бы метод вы ни пробовали, начните создавать пул пользователей, готовых к тестированию, как только они вам понадобятся. Если вы оставите это до последней минуты, поиск людей может стать болезненным препятствием в процессе тестирования удобства использования.

Краткий обзор

Поиск пользователей — самое большое потенциальное препятствие для удаленных исследований. Так что начинайте искать как можно раньше и убедитесь, что у вас есть список участников тестирования, которые готовы дать вам отзыв о том, когда вам нужно начать тестирование.

4. Создавайте предельно понятные задачи по юзабилити

Вот наши главные советы по созданию задач:

• Определите цели пользователя. Цели, которые имеют в виду пользователи при использовании вашего продукта, должны влиять на то, как вы формулируете задачи. . Обязательно изучите мнение ваших пользователей, прежде чем начать.
• Дайте людям контекст: заранее расскажите людям о тесте — для какого проекта он нужен, какие данные вы хотите, что вы тестируете дизайн, а не они. Это поможет им интерпретировать то, что вы просите их сделать.
• Начните с чего-нибудь простого: дайте людям возможность привыкнуть к процессу тестирования и продукту с помощью простого задания на открытие.
• Используйте план, лаконичный язык: избегайте использования внутренних терминов или технического жаргона, которые могут запутать людей. Если в вашей команде есть копирайтер, попросите его оставить отзыв.
• Ставьте одну задачу за раз: Дайте пользователям полностью сосредоточиться на одной задаче, прежде чем давать им другую. Это предотвратит их перегрузку и поможет вам точно определить недостатки дизайна в ваших данных.
• Плывите по течению: сделайте свой тест похожим на обычный поток действий в вашем продукте, чтобы он был более реалистичным.
• Создание задач с действиями: используйте повелительные глаголы, побуждающие пользователей к действию. Например, создать, зарегистрироваться, завершить.
• Не раскрывайте ответ: давайте людям сценарии, а не указания. Например, «Вам нужно обратиться к врачу. Запишитесь на прием с помощью этого приложения». Нажмите и перейдите слишком точно — цель юзабилити-тестирования — увидеть, смогут ли люди выполнить реальную задачу с вашим продуктом, не обращаясь к инструкциям.

Выводы

То, как вы пишете и структурируете задачи, во многом определяет успех вашего удаленного теста удобства использования. Используйте простой язык, основанный на целях вашего пользователя, и не делайте свои задачи слишком сложными или слишком очевидными.

5.

Задавайте эффективные вопросы для получения более подробной информации

Вопросы — это способ получить больше отзывов об удаленном тесте удобства использования. Даже если вы выбрали немодерируемое тестирование, программное обеспечение для тестирования удобства использования, такое как Maze, позволяет вам задавать исследовательские вопросы до и после каждой задачи и в конце теста.

Общайтесь с участниками после каждого задания, чтобы узнать их мнение о конкретных элементах дизайна, или задавайте общие вопросы в конце теста, чтобы получить качественную обратную связь.

Поскольку вопросы для удаленного теста нужно будет написать заранее, они должны быть составлены без ошибок. Вот несколько советов:

• Задайте предварительные вопросы перед тестированием: сегментируйте своих пользователей в соответствии с их техническими ноу-хау и привычками к продуктам. Это полезно при последующем анализе данных, так как вы можете определить тенденции в том, как разные аудитории используют ваш продукт.
• Избегайте наводящих вопросов: в промежуточных вопросах не спрашивайте «насколько простым» или «насколько полезным» был проект. Это посеет идею в голове вашего пользователя, прежде чем он ответит, что исказит ваши данные.
• Оставьте открытые вопросы до конца. Спросив, как чей-то общий опыт, вы получите подробные и качественные ответы. Но сведите эти вопросы к минимуму, так как на них требуется больше времени, чтобы ответить.

А вот несколько примеров хорошо написанных вопросов теста юзабилити:

• Насколько вам понравилось выполнение этой задачи?
• Что вы думаете о дизайне в целом?
• Каким был язык на этой странице?
• Что вы думаете о расположении информации и функций?

Если вам нужно больше вдохновения, вы можете взглянуть на вопросы по шкале удобства использования системы (SUS). Это проверенное и проверенное исследование юзабилити, которое часто используется для измерения юзабилити продукта. SUS даже дает вашему продукту оценку удобства использования в конце.

Вы также можете задавать демографические вопросы, чтобы сегментировать своих пользователей по возрасту, роду занятий, образованию и т. д. Это полезно для определения тенденций удобства использования для разных групп людей, но имейте в виду, что задавая людям личные вопросы, они могут чувствовать себя неловко. Так что спрашивайте внимательно и делайте демографические вопросы необязательными, иначе вы рискуете, что люди уйдут, не начав.

Вывод

Формулировка ваших вопросов должна быть очень точной для удаленного исследования пользователей, потому что у вас есть только один шанс. Трижды проверьте их перед отправкой теста.

6. Проведите пилотный тест

Великие исследователи знают, что все нужно тестировать. И это включает в себя тестирование вашего юзабилити-теста. Последнее, что вы хотите, — это отправить свой удаленный тест 100 людям, а затем понять, что в первом предложении есть опечатка, разрушающая задачу.

Поделитесь пилотным тестом с коллегами и узнайте их мнение о том, что можно улучшить. Попросите людей из разных команд попробовать это, так как копирайтеры увидят это другими глазами команды по работе с клиентами. Коллеги, не входящие в вашу команду, также увидят это совершенно по-новому, поэтому их точка зрения будет ближе к точке зрения ваших пользователей.

Если вы проводите модерируемый тестовый сеанс, убедитесь, что подключение к Интернету работает нормально, а установка готова. Вы, вероятно, уже все подготовили в выбранном пользователем инструменте тестирования, но также убедитесь, что другие инструменты, такие как видеоконференции или приложения для создания заметок, настроены правильно, прежде чем начинать сеанс тестирования.

Если вы проводите немодерируемый тест, отправляйте его партиями, а не все сразу. Есть большая вероятность, что вы поймете, что что-то не так после первой или двух партий. Таким образом, вы сможете исправить это и избежать серьезных затруднений.

Кратковременное дистанционное тестирование удобства использования с помощью одного из шаблонов Maze:

Проверка шкалы удобства использования системы (SUS)

Запустите опрос, основанный на авторитетной структуре шкалы удобства использования системы, чтобы оценить удобство использования вашего инструмента, а затем используйте отзывы, чтобы заполнить пробелы.

.

Юзабилити-тестирование нового продукта

Проведите этот юзабилити-тест с реальными пользователями и соберите ценные мнения и отзывы. Вы обнаружите, где ваш прототип соответствует ожиданиям пользователей, а где нет.

Часто задаваемые вопросы об удаленном тестировании удобства использования

Что означает удаленное тестирование?

Дистанционное тестирование — это любое тестирование, которое проводится, когда участник и исследователь находятся в разных местах. В удаленном тесте участники выполняют задания в естественной среде, используя собственные устройства. Сессии проводятся с помощью онлайн-инструментов и могут модерироваться или не модерироваться.

Как удаленно протестировать приложение?

Вы можете выбрать один из двух типов удаленного тестирования удобства использования: модерируемое и немодерируемое. Сессии обычно проводятся с помощью платформы тестирования удобства использования, такой как Maze, которая позволяет вам делиться ссылкой на ваш продукт или прототип, записывать людей, выполняющих тест, собирать данные и генерировать идеи, которые вы можете сразу же применить к действию.

Каковы наилучшие методы удаленного тестирования?

При проведении удаленного тестирования удобства использования сначала необходимо выбрать метод между модерируемым и немодерируемым удаленным тестированием, который вам больше подходит.

Как только это станет ясно, мы рекомендуем сосредоточить ваше тестирование на нескольких гипотезах — ваши результаты будут намного яснее, и пользователи с большей вероятностью закончат тест. Кроме того, начните искать участников как можно раньше, чтобы убедиться, что у вас есть список пользователей, готовых к тестированию, как только они вам понадобятся.

Четкость очень важна при тестировании удаленного использования. Итак, убедитесь, что ваши задачи по юзабилити предельно ясны, используя простой язык и избегая слишком сложных задач. Вы можете запустить пилотный тест и поделиться им с коллегами, чтобы увидеть, что можно улучшить, прежде чем тестировать с пользователями. Наконец, во время теста не забудьте связаться с участниками после каждого задания или в конце теста, чтобы получить более полную информацию.

Дистанционное тестирование | Usability.gov

Удаленное юзабилити-тестирование позволяет вам проводить исследования пользователей с участниками в их естественной среде с помощью программного обеспечения для совместного использования экрана или онлайн-сервисов поставщиков удаленного юзабилити. В целом, тесты должны длиться около 15–30 минут и состоять примерно из 3–5 заданий.

Удаленные юзабилити-тесты могут быть «модерируемыми» так же, как и очные лабораторные тесты, или «немодерируемыми», когда участники выполняют задания самостоятельно.

Когда следует рассматривать удаленное тестирование

Существуют определенные условия, когда имеет смысл рассмотреть удаленное тестирование удобства использования. Вот некоторые из этих условий:

• Сроки могут помешать личному тестированию из-за проблем с расписанием
• Целевая аудитория/участники географически рассредоточены, что затрудняет путешествие для них или экспериментаторов
• Участникам необходимо использовать определенную рабочую машину из-за требований к программному обеспечению или безопасности
.
• У участников есть проблемы с доступностью, которые требуют, чтобы они использовали собственное программное обеспечение или оборудование
.
• Вы потенциально можете запускать несколько тестов одновременно

Хотя этот метод является гибким, как и любой тест, вы должны учитывать преимущества и стоимость этого метода.

Преимущества

Вызовы

Устраняет как необходимость в лабораторной среде, так и влияние лабораторной среды на участников Подходит для разных групп участников Как правило, это дешевле, чем традиционное лабораторное тестирование с личным присутствием . В случае немодерируемого тестирования позволяет продлить тестовый день, возможно, предоставляя вам доступ к большему количеству участников Это возможность провести тест для большей группы людей, чем вы могли бы разместить в лабораторной среде .

Безопасность может быть нарушена при проверке конфиденциальной, привилегированной или интеллектуальной собственности Ограниченный просмотр или отсутствие просмотра языка тела пользователя может препятствовать некоторым сигналам его реакции на тестируемый материал Технические трудности вероятны, если пользователи: Не устраивает задействованная технология Наличие конфликтующего программного обеспечения или оборудования на своих машинах Не могут поделиться своим экраном через Интернет Имеют ненадежную или медленную скорость соединения или Если ваш тест требует загрузки специального оборудования или программного обеспечения или подключаемых модулей, которые участники могут не захотеть или не иметь возможности загрузить

Разработка удаленного теста удобства использования

Процессы разработки удаленного теста во многом аналогичны разработке теста и материалов для теста, который вы проводите лично. Часто вы можете использовать личный тест, который вы могли запустить для использования в удаленных условиях. Важно:

• Помните, что тесты должны длиться около 15–30 минут и состоять примерно из 3–5 заданий.
• Разрабатывайте простые задачи с четко определенными конечными состояниями
• Если вы используете скринер, обязательно укажите минимальные системные требования как для сайта или инструмента, который вы тестируете, так и для службы совместного использования экрана, которую вы предлагаете использовать
.
• Убедитесь, что у вас есть правильная контактная информация для ваших участников для напоминаний и последующих действий, если это необходимо.
• Подготовьте вводные и/или тестовые материалы, чтобы участники знали, что от них ожидается, а также чего они могут ожидать от вас
• Подготовьте формы согласия на тестирование
• Подготовьте компенсации и квитанции для компенсации, если вы решите заплатить своим участникам

 Дистанционное тестирование отличается в основном технологией. Вам необходимо убедиться, что: 

• Все, что вы тестируете, доступно за пределами брандмауэра вашего бизнеса , ​​агентства или среды разработки
.
• Вам нужно будет определить, могут ли какие-либо проблемы с брандмауэром повлиять на возможность ваших участников получить доступ к сайту или инструменту, который вы тестируете
• Участники могут загрузить или получить доступ к программному обеспечению для совместного использования экрана или онлайн-услугам поставщика удаленного использования
.

Модерируемое удаленное юзабилити-тестирование

Во время модерируемого удаленного тестирования участники наблюдают за тем, как взаимодействуют с ними, пока они выполняют задания для теста. Модерируемое тестирование лучше всего подходит для сложных задач, которые не имеют структурированной последовательности шагов или когда больше взаимодействия и вопросов принесут пользу тестированию.

Для проведения модерируемого удаленного юзабилити-теста, помимо общих указаний, указанных выше, вам потребуется:

• Определите тест и решите, какие задачи вы собираетесь просить участников выполнить, порядок задач и любые дополнительные вопросы
• Расписание тестовых сеансов
• Отведите достаточно времени на сеанс тестирования, чтобы разрешить технологические проблемы

Во время модерируемых удаленных юзабилити-тестов вы сможете:

• Назначить выполнение задач на основе интервью
• Задайте дополнительные вопросы
• Обеспечение завершения теста
• Тестируйте и анализируйте в соответствии с планом

В зависимости от используемой технологии или методологии вы также можете анализировать такие показатели, как скорость выполнения задач, время выполнения задачи, время на странице, пути посещений, а также рейтинги удовлетворенности или рейтинги мнений .

Немодерируемое удаленное юзабилити-тестирование

Во время немодерируемого удаленного тестирования участники самостоятельно проходят тестирование без взаимодействия с модератором теста. Немодерируемое тестирование наиболее эффективно, когда у вас есть очень конкретные вопросы о том, как люди используют пользовательский интерфейс для относительно простых задач.

Чтобы провести немодерируемое удаленное тестирование удобства использования, в дополнение к общим рекомендациям, указанным выше, вам потребуется:

• Определите тест и решите, какие задачи вы собираетесь просить участников выполнить, включая порядок задач
• Определите, кто будет участвовать. Многие инструменты немодерируемого тестирования позволяют либо перехватывать пользователей на вашем веб-сайте, либо набирать их из собственного списка участников тестирования, составленного разработчиками инструмента
.
• Перед тестированием определите, поддерживает ли ваша служба демонстрации экрана возможность записи или позволит использовать ваше записывающее оборудование или программное обеспечение.
• Имейте в виду, что функция «картинка в картинке» (PIP) или веб-камеры могут не записываться, если ваше программное обеспечение может принимать только один видеовход.
• Если вы выбираете из пула приглашенных участников, убедитесь, что они представляют вашу целевую аудиторию
• Включите вопросы качественного исследования, когда это возможно, и проанализируйте отзывы, о которых сообщают сами
• Обратите внимание на время выполнения задачи и открытую обратную связь, чтобы отфильтровать участников, которые могут участвовать с единственной целью получения поощрения
• Если у участников есть какие-либо проблемы со зрением, спросите, знакомы ли они с используемым вами программным обеспечением для демонстрации экрана. Если нет, подумайте о том, чтобы спросить, будут ли коллеги или члены семьи доступны во время тестирования, чтобы убедиться, что они могут поделиться своим экраном

Во время немодерируемого удаленного тестирования удобства использования вам потребуется:

• Запустите тест и отправьте участникам электронное письмо с приглашением пройти его.