Контрольная работа планирование эксперимента: works.doklad.ru – Учебные материалы

Аналитические и численные методы в планировании экспериментов и инженерном анализе

КУРСОВАЯ РАБОТА

по дисциплине: «Аналитические и численные методы в планировании экспериментов и инженерном анализе»

---

СОДЕРЖАНИЕ

ВВЕДЕНИЕ…………………………………………………………………….	3
1 Планирование полного трехфакторного эксперимента…………………..	5
2 Матрица полного факторного эксперимента на двух уровнях с тремя факторами………………………………………………………………………	6
3 Вычисление коэффициентов уравнения регрессии……………………….	7
4 Определение однородности дисперсии ……………………………………	9
5 Проверка значимости коэффициентов регрессии…………………………	11
6 Проверка адекватности полученной модели………………………………	12
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ…………………………..	14

ВВЕДЕНИЕ

Научное исследование – это творческая деятельность человека, связанная с изучением (сбором информации), анализом и объяснением закономерностей развития окружающей его деятельности.

Под методом научного исследования необходимо понимать способ или совокупность способов, реализация которых позволяет достичь намеченной цели исследования.

В основе любого научного исследования, прежде всего, должны лежать общедиалектические и системные методологии, которые вооружают исследователя знанием общих принципов познания современного мира и являются основой исследования.

Планирование эксперимента, как и любое планирование, предполагает поиск рациональной последовательности получения откликов (выходов) или данных о свойствах изучаемых объектов и явлений с последующим математическим описанием и построением графиков функциональных или корреляционных и регрессивных зависимостей (связей).

При традиционном методе планирования эксперимента, когда на изучаемый процесс или явление влияют два, три и более факторов, рассматривают последовательно влияние изменение одного фактора на получаемый результат. При этом остальные варьируемые факторы стремятся закрепить на каком-то постоянном уровне. Проведя ряд измерений, или экспериментов, выясняют характер влияния данного фактора на происходящий процесс, то есть находят его оптимальное значение. Далее данный фактор оставляют на этом уровне постоянным, производят варьирование следующего фактора до нахождения его оптимального значения. Так последовательно, проведя большое количество измерений процесса последовательно, находят оптимальные значения всех факторов.

Однако этот метод имеет ряд существенных недостатков. Во-первых, изобразить графически это явление не представляется возможным, ибо график будет представлять объемное изображение. Только в тех случаях, когда эксперимент имеет два переменных фактора, пользуются изображением процесса семейством кривых. Вторым недостатком традиционного метода планирования является трудность аналитического описания процесса. Чаще всего результаты предоставляются в виде сложных графиков или таблиц.

Результат выхода редко зависит от одного фактора. Чаще всего на происходящий процесс влияют несколько факторов. К тому же факторы могут оказывать влияние и при совместном воздействии.

Математические методы планирования, и в первую очередь статистические методы планирования, и в первую очередь статистические методы планирования, существенно отличаются от традиционного метода планирования и методов статистической обработки результатов наблюдений, где количественному анализу отводится пассивная роль обработки данных, полученных при случайном сочетании условий. В противоположность этому математический аппарат методов планирования эксперимента играет активную роль, определяя и диктуя исследователю жесткую схему постановки эксперимента, последовательность анализа полученных результатов и всегда приводит к математическому описанию процесса, то есть получению в конечном итоге уравнения или систем уравнений, связывающих функцию отклика с влияющими факторами.

Контрольная «Контрольная работа “Планирование эксперимента”», экспериментальная психология в Чапаевске

Контрольная работа “Планирование эксперимента”

экспериментальная психология

Заказ выполнен

План работы ТИТУЛЬНЫЙ ЛИСТ СОДЕРЖАНИЕ ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА 1.Цель эксперимента. 2.Теоретическое обоснование. 3.Операцинализация переменных. 4. Экспериментальные гипотезы 5. Внешняя валидность. 6. Внутренняя валидность. 7.Экспериментальный контроль. 8. Программа эксперимента ЗАКЛЮЧЕНИЕ СПИСОК ЛИТЕРАТУРЫ ПРИЛОЖЕНИЯ Введение 1. Актуальность исследования. 2. Теоретическая разработанность проблемы. 3. Теоретическая и практическая значимость результатов эксперимента. Планирование эксперимента 1. Цель эксперимента. 2. Теоретическое обоснование. – теоретическое объяснение исследуемой закономерности. 3. Операционализация переменных: 3.1. Независимая переменная: – формулировка, – в чем конкретно выражается переменная 3.2. зависимая переменная: – формулировка, – в чем конкретно выражается переменная 4. Экспериментальная гипотеза Внешняя валидность 5.1. Выборка: – описать популяцию, для которой будет использоваться закон – описать конкретную выборку, рекомендуемую для данного эксперимента. 5.2. Условия эксперимента: – описать и обосновать дополнительные переменные, их соответствие реальным условиям. Внутренняя валидность – Перечислить факторы, способные нарушить внутреннюю валидность данного эксперимента и обозначить побочные переменные, в которых они выражаются. – Выделить побочные переменные наиболее опасные для данного эксперимента. – Оценить возможность сопутствующего смешения. 8.1. Методы измерения переменНых (инструментарий подробно описывается, текст и стимульный материал приводятся в приложении). ЗАКЛЮЧЕНИЕ – Ожидаемый практический эффект. – Перспективы исследований в данном направлении. СПИСОК ЛИТЕРАТУРЫ ПРИЛОЖЕНИЯ – Описание инструментария для измерения зависимой переменной (тексты, стимульный материал, бланки, ключи для обработки). – Материалы к исследованию.

Это место для переписки тет-а-тет между заказчиком и исполнителем.
Войдите в личный кабинет (авторизуйтесь на сайте) или зарегистрируйтесь, чтобы
получить доступ ко всем возможностям сайта.

СТАТИСТИЧЕСКАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ. ПОЛНЫЙ ФАКТОРНЫЙ ЭКСПЕРИМЕНТ

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ Федеральное государственное автономное образовательное учреждение высшего профессионального образования НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТОМСКИЙ ПОЛИТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ Инженерная школа природных ресурсов Отделение – Нефтегазовое дело СТАТИСТИЧЕСКАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ. ПОЛНЫЙ ФАКТОРНЫЙ ЭКСПЕРИМЕНТ Курсовая работа по дисциплине: Планирование и обработка экспериментальных данных Вариант 2 Выполнил: __________________ Д.Ю. Афанасьев Студент гр.2Б5Б (подпись) __________________ (дата) Курсовая принята: __________________ М.В. Решетько доцент отделения геологии (подпись) __________________ (дата) Томск 2018 г. СОДЕРЖАНИЕ Цель работы…………………………………………………………………………………………..3 Часть 1. ИССЛЕДОВАНИЕ СТАТИСТИЧЕСКОЙ УПРАВЛЯЕМОСТИ 1 ПРОЦЕССОВ АВАРИЙНОСТИ КС 1.1 Общие сведения о исследовании статической управляемости процессами…………………………………………………………………………………..4 1.2 Ход работы……………………………………………………………………………..7 1.3 Исходные данные. ………………………………………………………………….8 1.4 Обработка данных аварийных отключений компрессорных станций………………………………………………………………………………………9 1.5 Обработка данных аварийных отключений компрессорных станций для оценки статистической управляемости процессов аварийности КС………………………………………………………………………….15 1.6 Вывод по первой части работы………………………………………………20 Часть 2. ПОЛНЫЙ ФАКТОРНЫЙ ЭКСПЕРИМЕНТ 2.1 Исходные данные………………………………………………………………….21 2.2 План работы………………………………………………………………………….22 2.3 Общие сведения…………………………………………………………………….22 2.4 Проверка воспроизводимости опытов……………………………….. ….24 2.5 Расчет значений коэффициентов регрессии……………………………25 2.6 Проверка адекватности модели………………………………………………25 2.7 Проверка значимости коэффициентов регрессии……………………26 2.8 Интерпретация результатов эксперимента……………………………..27 2.9 Переход от кодированных значений факторов к натуральным……………………………………………………………………………….28 2.10 Вывод по второй части работы……………………………………………..28 Список литературы……………………………………………………………………..30 Цель работы. Получение компетенций, связанных с применением теоретических знаний в практической деятельности по специальности, а именно: 1. Освоение методов статистической обработки данных аварийных отключений компрессорных станций, исследование статистической управляемости процессов аварийности КС, приобретение навыков работы с альтернативными картами Шухарта (ГОСТ Р 50779.42-99). 2 Второй вид – реальные перемены в процессе. Они могут быть следствием некоторых определяемых причин, не присущих процессу внутренне, и могут быть устранены, по крайней мере, теоретически. Эти выявляемые причины рассматриваются как “неслучайные” или “особые” причины изменения. К ним могут быть отнесены поломка инструмента, недостаточная однородность материала, производственного или контрольного оборудования, квалификация персонала, невыполнение процедур и т.д. Цель контрольных карт – обнаружить неестественные изменения в данных из повторяющихся процессов и дать критерии для обнаружения отсутствия статистической управляемости. Процесс находится в статистически управляемом состоянии, если изменчивость вызвана только случайными причинами. При определении этого приемлемого уровня изменчивости любое отклонение от него считают результатом действия особых причин, которые следует выявить, исключить или ослабить. Задача статистического управления процессами – обеспечение и поддержание процессов на приемлемом и стабильном уровне, гарантируя соответствия продукции и услуг установленным требованиям. Главный статистический инструмент, используемый для этого, – контрольная карта, – графический способ представления и сопоставления информации, основанной на последовательности выборок, отражающих текущее состояние процесса, с границами, установленными на основе внутренне присущей процессу изменчивости. Метод контрольных карт помогает определить, действительно ли процесс достиг статистически управляемого состояния на правильно заданном уровне или остается в этом состоянии, а затем поддерживать управление и высокую степень однородности важнейших характеристик продукции или услуги посредством непрерывной записи информации о качестве продукции в процессе производства. Использование контрольных карт и их тщательный анализ ведут к лучшему пониманию и совершенствованию процессов. 1.2 Ход работы: 1. Ознакомиться с теоретическим материалом нормативного документа ГОСТ Р 50779.42-99. 2. Обработать данные аварийных отключений компрессорных станций в целом, а именно: 2.a. Вычислить весовой вклад аварийных отключений по причинам возникновения (в % к общему количеству) в целом за исследуемый период, построить диаграмму распределения за весь период в зависимости от причин. 5 2.b. Рассмотреть динамику аварийных случаев на КС в зависимости от весового вклада каждого года, сделать вывод об изменении (или не изменении) ситуации на предприятии с помощью линейного фильтра. 3. Обработать данные аварийных отключений компрессорных станций для оценки статистической управляемости процессов аварийности КС, а именно: 2.c. Показать, что закон распределения аварийных остановок для каждой из категорий причин аварийных отключений подчиняется модели Пуассона 2.d. Доказать, что для анализа статистической управляемости процессов аварийности КС необходимо использовать с-карту Шухарта 2.e. Вычислить среднее значение отказов, вызванных каждой категорией причин, и верхний контрольный предел, определяющий 3σ-границу ее статистической вариабельности 2.f. Нанести на с-карты величины аварийных событий, соответствующие рассматриваемым причинам 2.g. Сделать заключение о статистической управляемости процессов аварийности КС 4. Сделать общий вывод по первой части работы. 1.3 Исходные данные: Таблица 1. Исходные данные задания. Год экспл. Вид отказа Количество аварийных случаев на КС в зависимости от причин возникновения (по вариантам) 2 2004 эл.оборуд. 3 2 004 мех.части 3 2 004 ПТЭ 5 2 004 эн. снабж. 4 6 2 004 КИПиА 2 2005 эл.оборуд. 5 2 005 КИПиА 3 2 005 мех.части 4 2 005 эн. снабж. 6 2006 эл.оборуд. 3 2 006 КИПиА 5 2 006 мех.части 4 2 006 ПТЭ 6 2 006 эн. снабж. 2 2007 эл.оборуд. 5 2 007 КИПиА 5 2 007 мех.части 8 2 007 эн. снабж. 6 2008 эл.оборуд. 2 2 008 КИПиА 5 2 008 мех.части 8 2 008 эн. снабж. 5 2 008 ПТЭ 2 2009 эл.оборуд. 4 2 009 КИПиА 4 2 009 мех.части 4 2 009 ПТЭ 1 2 009 эн. снабж. 5 2010 КИПиА 2 2 010 эл.оборуд. 5 2 010 мех.части 2 2 010 ПТЭ 5 7 9,6 2006 КИПиА 5 2006 мех.части 4 2006 ПТЭ 6 2006 эн. снабж. 2 2007 эл.оборуд. 5 11,5 2007 КИПиА 5 2007 мех.части 8 2007 эн. снабж. 6 2008 эл.оборуд. 2 10,5 2008 КИПиА 5 2008 мех.части 8 2008 эн. снабж. 5 2008 ПТЭ 2 2009 эл.оборуд. 4 8,6 2009 КИПиА 4 2009 мех.части 4 2009 ПТЭ 1 2009 эн. снабж. 5 2010 КИПиА 2 7,7 2010 эл.оборуд. 5 2010 мех.части 2 2010 ПТЭ 5 2010 эн. снабж. 2 2011 КИПиА 6 5,7 2011 эн. снабж. 6 2012 КИПиА 4 6,7 2012 мех.части 3 2012 эн. снабж. 7 2013 эн. снабж. 2 5,7 2013 эл.оборуд. 2 2013 мех.части 3 2013 ПТЭ 2 2013 КИПиА 3 2014 эл.оборуд. 3 5,3 2014 КИПиА 3 2014 мех.части 2 2014 ПТЭ 1 2014 эн. снабж. 2 2015 эн. снабж. 2 4,8 2015 эл.оборуд. 3 2015 КИПиА 2 2015 мех.части 2 2015 ПТЭ 1 10 2016 эн. снабж. 2 3,8 2016 эл.оборуд. 1 2016 КИПиА 2 2016 мех.части 2 2016 ПТЭ 1 2017 эн. снабж. 2 3,3 2017 эл.оборуд. 1 2017 КИПиА 1 2017 мех.части 1 2017 ПТЭ 2 Таблица 2. Весовой вклад АО по причинам возникновения. Кол-во отказов Процент Эл. оборуд. 37 17,7 Мех. части 46 22,0 ПТЭ 26 12,4 Эн. снабж. 53 25,4 КИПиА 47 22,5 Общее кол-во отказов 209 100,0 На основе таблицы 3 строим диаграмму распределения аварийных отказов за весь период в зависимости от причин возникновения (Рис. 1). 11 Рис. 1. Диаграмма весового вклада аварийных отключений по причинам возникновения. По данной диаграмме можно сделать вывод, что наибольшее число отказов за период 2004-2017 год приходится на отказы энергоснабжения и отказы в системе КИПиА, что составляет 25,4% и 22,5% соответственно. Приведенная диаграмма показывает на какие причины отказов необходимо сделать акцент, для сведения к минимуму числа аварийных случаев. Также рассмотрим динамику аварийных случаев на КС в зависимости от весового вклада каждого года (Рис. 2). 12 Рис. 4 Проверка двух выборок по критерию Шапиро-Уилка Таким образом, выборки подчиняются нормальному закону распределения при уровне значимости 0,05 (т.к. W расчетное > W табличное). Далее по критерию Стьюдента проведем сравнение средних арифметических значений двух выборок. С помощью критерия Стьюдента, проверяем, существенна ли разница между значениями количества аварийных отключений в первой и второй половине исследуемого периода, приняв α= 0,05, согласно литературному источнику [1]. 15 1. Суммируем общее количество аварийных отключений за каждый год. Получится у нас две выборки с разными периодами. 2. Первый объём выборки n = 7, Хаср = 18,38, σa = 4,28; Второй объём выборки n = 7, Xbcр = 11,25, σb = 3,32. 3. Рассчитаем по формулам 16 Рис. 5 Проверка различий между средними арифметическими выборок. Таким образом, разница между значениями количества аварийных отключений в первой и второй половине исследуемого периода не существенна. 1.5 Обработка данных аварийных отключений компрессорных станций для оценки статистической управляемости процессов аварийности КС. Для построения контрольных карт Шухарта мы составим таблицу, в которой содержатся такие данные, как: год – исследуемой год отказов компрессорной станции; количество – число аварийных отключений в исследуемом году; UCL – верхняя контрольная граница, которая определяется как (, CL – центральная линия, находится как среднее значение всего объема выборки; 17 2005 4 8,724 3,286 1,813 2006 4 8,724 3,286 1,813 2007 8 8,724 3,286 1,813 2008 8 8,724 3,286 1,813 2009 4 8,724 3,286 1,813 2010 2 8,724 3,286 1,813 2011 0 8,724 3,286 1,813 2012 3 8,724 3,286 1,813 2013 3 8,724 3,286 1,813 2014 2 8,724 3,286 1,813 2015 2 8,724 3,286 1,813 2016 2 8,724 3,286 1,813 2017 1 8,724 3,286 1,813 Наносим полученные данные на карту Шухарта (рисунок 4) Рис. 4 Карта Шухарта для механических повреждений Рассмотрим 3 категорию – отказы в работе при несоблюдении ПТЭ. Составляем таблицу значений, среднее значение отказов (таблица 5) Таблица 5. Отказы в работе при несоблюдении ПТЭ Год Кол-во UCL CL σ 20 2004 5 5,945 1,857 1,363 2005 0 5,945 1,857 1,363 2006 6 5,945 1,857 1,363 2007 0 5,945 1,857 1,363 2008 2 5,945 1,857 1,363 2009 1 5,945 1,857 1,363 2010 5 5,945 1,857 1,363 2011 0 5,945 1,857 1,363 2012 0 5,945 1,857 1,363 2013 2 5,945 1,857 1,363 2014 1 5,945 1,857 1,363 2015 1 5,945 1,857 1,363 2016 1 5,945 1,857 1,363 2017 2 5,945 1,857 1,363 Наносим полученные данные на карту Шухарта (рисунок 5) 21 Рис. 5 Карта Шухарта для несоблюдения ПТЭ. Отмечаем, что возникла ошибка первого рода, но процесс остается в статистически управляемом состоянии. Рассмотрим 4 категорию – отказы в энергоснабжении. Составляем таблицу значений, среднее значение отказов (таблица 6) Таблица 6. Отказы в энергоснабжении Год Кол-во UCL CL σ 22 2007 5 8,854 3,357 1,832 2008 5 8,854 3,357 1,832 2009 4 8,854 3,357 1,832 2010 2 8,854 3,357 1,832 2011 6 8,854 3,357 1,832 2012 4 8,854 3,357 1,832 2013 3 8,854 3,357 1,832 2014 3 8,854 3,357 1,832 2015 2 8,854 3,357 1,832 2016 2 8,854 3,357 1,832 2017 1 8,854 3,357 1,832 Наносим полученные данные на карту Шухарта (рисунок 7) 25 Рис. 7 Карта Шухарта для отказов в системе КИПиА. 1.6 Вывод по первой части работы. В ходе работы ознакомиться с теоретическим материалом нормативного документа ГОСТ Р 50779.42-99. Обработали данные аварийных отключений компрессорных станций в целом. В результате удалось выяснить, что наибольшее число отказов за период 2000-2017 год приходится на сбои энергоснабжения и КИПиА (25,4% и 22,5% соответственно). Так же выяснили, что наибольшее число отказов 26 приходится на периоды с 2006 по 2008 год. Самое меньшее число отказов приходится на 2016 и 2017 года. Обработали данные аварийных отключений компрессорных станций для оценки статистической управляемости процессов аварийности КС. Анализируя результаты, полученные с помощью составленных карт Шухарта, делаем вывод, что процессы находится в статистически управляемом состоянии. Наблюдался выход параметра за верхнюю контрольную границу (отказы в связи с несоблюдением ПТЭ в 2006 году), однако это является ошибкой первого рода и процесс остается в статистически управляемом состоянии.. Часть 2. ПОЛНЫЙ ФАКТОРНЫЙ ЭКСПЕРИМЕНТ 2.1 Исходные данные: По результатам ПФЭ типа 22, выполненного с равномерным двукратном дублированием опытов, найти математическое описание зависимости условной вязкости –(у, с) бурового раствора от концентрации в нем CaCl2 (х1) и кальцинированной соды (х2) при постоянной концентрации глинопорошка. Уровни выравнивания факторов и результаты опытов приведены ниже. Таблица 8. Исходные данные. Наименование факторов Обозначение факторов Уровни Интервал варьирования нижний основной верхний Концентрация CaCl2 х1 0,8 0,6 Концентрация Na2CO3 х2 0,6 0,3 Таблица 9. Исходные данные. № опыта (N) Матрица планиров. Результаты опытов x1 х2 x1 х2 1 -1 -1 1 -1 -1 2 +1 -1 2 +1 -1 3 -1 +1 3 -1 +1 4 +1 +1 4 +1 +1 27 3)проверки воспроизводимости (однородности выборочных дисперсий) эксперимента; 4) получения математической модели объекта с проверкой статистической значимости выборочных коэффициентов регрессии; 5) проверки адекватности математического описания. Преимуществами ПФЭ являются простота решения системы уравнений оценивания параметров и статистическая избыточность количества измерений, которая уменьшает влияние погрешностей отдельных измерений на оценку параметров. 2.4. Проверяем воспроизводимость опытов с помощью критерия Кохрена Таблица 11. Расчет дисперсии и среднего значения № опыта (N) Матрица планиров. Результаты опытов x1 х2 yi’ yi” Di 1 -1 -1 15,4 15,9 15,65 0,125 2 +1 -1 54,6 52,2 53,4 2,88 3 -1 +1 17,2 18,8 18,0 1,28 4 +1 +1 71,4 69,8 70,6 1,28 = 5,565 Так как полученное значение G меньше табличного, то из этого следует что опыты воспроизводимы (G< Gтабл). 2.5 Рассчитаем значения коэффициентов регрессии Таблица 12. Расчетная матрица эксперимента № опыта х0 х1 х2 х1·х2 1 +1 -1 -1 +1 15,65 2 +1 +1 -1 -1 53,4 3 +1 -1 +1 -1 18,0 4 +1 +1 +1 +1 70,6 b0=1/4(15,65+ 53,4+ 18,0+ 70,6) = 39,4; 30 b1=1/4(-15,65+ 53,4- 18,0+ 70,6) = 22,6; b2=1/4(-15,65- 53,4+ 18,0+ 70,6) = 4,9; b12=1/4(15,65- 53,4- 18,0+ 70,6) = 3,7. Составляем уравнение регрессии: y = 39,4+22,6х1 + 4,9х2 +3,7х1х2 2.6 Проверим адекватность линейной модели y = 39,4+22,6* х1 + 4,9*х2 Таблица 13. Данные для проверки адекватности линейной модели № опыта х1 х2 уi (-уi)2 1 -1 -1 15,65 11,9 13,78 2 +1 -1 53,4 57,1 13,78 3 -1 +1 18,0 21,7 13,78 4 +1 +1 70,6 66,9 13,78 сумма 55,13 m1 = N – k* – 1 = 4 – 2 – 1 = 1 m2 = N (m – 1) = 4 ·(2 – 1) = 4 Дисперсия воспроизводимости: Дисперсия адекватности: Проверку гипотезы производим с помощью F – критерия (критерия Фишера): 31

Work Program | Система проектирования учебных курсов и рейтинга студентов СурГПУ

1	Принципы конструирования психодиагностических тестов	Практическая работа	дать определение основным понятиям	Узнавание
2	Методология экспериментального психологического исследования	Лекция	сравнивать соотношения между данными	Воспроизведение
3	Формирующий эксперимент (вариативное задание)	Вариативное задание	описывать особенности проведения формирующего эксперимента	Воспроизведение
4	Конструирование психодиагностических тестов	Практическая работа	объяснять понятие гипотезы и основные виды	Воспроизведение
5	Классификация исследовательских методов в психологии	Лекция	описывать особенности корреляционного отличия	Воспроизведение
6	Психологический экперимент	Другое	называть критерии анализа экспериментальных результатов в соответствии с ошибками	Узнавание
7	Психологический экперимент	Индивидуальная работа	называть критерии анализа экспериментальных результатов в соответствии с ошибками	Узнавание
8	Психофизиологические методы в эксперименте и их особенности	Практическая работа	называть теоретические, экспериментальные и неэкспериментальные методы психологии	Узнавание
9	Экспериментальное исследование психологической совместимости	Практическая работа	описывать особенности корреляционного отличия	Воспроизведение
10	Наука как особый способ деятельности человеческого общества	Конференция	описывать содержание парадигмы науки	Воспроизведение
11	Теория психологического эксперимента. Квазиэксперимент	Лекция	перечислять теоретические методы	Узнавание
12	Составление психологического профиля (портрета) по Р. Кеттеллу	Практическая работа	описывать основные виды переменных в эксперименте, сравнивать характеристики зависимых переменных	Воспроизведение
13	Психофизиологические методы в эксперименте и их особенности	Индивидуальная работа	называть теоретические, экспериментальные и неэкспериментальные методы психологии	Узнавание
14	Многомерно-функциональная диагностика ответственности	Практическая работа	называть признаки взаимодействия экспериментатора с испытуемым	Узнавание
15	Теоретические знания в психологии	Коллоквиум	описывать особенности проведения лабораторного эксперимента	Воспроизведение
16	Многомерно-функциональная диагностика страха	Практическая работа	перечислять теоретические методы	Узнавание
17	Основные общенаучные исследовательские методы	Другое	описывать особенности проведения формирующего эксперимента	Воспроизведение
18	Методология экспериментальной психологии (рубежный контроль)	Контрольная работа	дать определение основным понятиям	Узнавание
			описывать содержание парадигмы науки	Воспроизведение
			объяснять понятие гипотезы и основные виды	Воспроизведение
			перечислить основные характеристики гипотезы	Узнавание
			называть теоретические, экспериментальные и неэкспериментальные методы психологии	Узнавание
			перечислять теоретические методы	Узнавание
			описывать особенности корреляционного отличия	Воспроизведение
			обнаруживать различия формирующего, лабораторного и естественного экспериментов	Воспроизведение
			описывать особенности проведения формирующего эксперимента	Воспроизведение
			описывать особенности проведения лабораторного эксперимента	Воспроизведение
19	Методология экспериментальной психологии (рубежный контроль)	Индивидуальная работа	перечислить основные характеристики гипотезы	Узнавание
			называть теоретические, экспериментальные и неэкспериментальные методы психологии	Узнавание
			перечислять теоретические методы	Узнавание
			описывать особенности корреляционного отличия	Воспроизведение
			обнаруживать различия формирующего, лабораторного и естественного экспериментов	Воспроизведение
20	Планирование эксперимента	Лекция	описывать основные виды переменных в эксперименте, сравнивать характеристики зависимых переменных	Воспроизведение
21	Методы психологического исследования	Контрольная работа	перечислять эмпирические методы	Узнавание
22	Процедура психологического эксперимента	Контрольная работа	описывать личность экспериментатора	Воспроизведение
23	Диагностика семейных отношений	Практическая работа	описывать способы контроля эффектов взаимодействия	Воспроизведение
24	Интерпретация результатов	Коллоквиум	обнаруживать различия формирующего, лабораторного и естественного экспериментов	Воспроизведение
25	Психологическое измерение	Контрольная работа	называть виды данных и виды их взаимосвязей в исследовании	Узнавание
26	Корреляционные исследования. Контроль переменных	Лекция	описывать способы контроля эффектов взаимодействия	Воспроизведение
27	Интерпретация результатов	Индивидуальная работа	обнаруживать различия формирующего, лабораторного и естественного экспериментов	Воспроизведение
28	Измерение в психологии	Лекция	называть критерии анализа экспериментальных результатов в соответствии с ошибками	Узнавание
29	Анализ и представление результатов психологического исследования	Лекция	называть требования к оформлению научной статьи	Узнавание
30	Анализ и представление результатов психологического исследования	Индивидуальная работа	называть требования к оформлению научной статьи	Узнавание
31	Психологический эксперимент (рубежный контроль)	Контрольная работа	описывать особенности проведения лабораторного эксперимента	Воспроизведение
			описывать основные виды переменных в эксперименте, сравнивать характеристики зависимых переменных	Воспроизведение
			описывать характеристики независимых переменных	Воспроизведение
			описывать характеристики побочных переменных	Воспроизведение
32	Формирующий эксперимент (вариативное задание)	Индивидуальная работа	описывать особенности проведения формирующего эксперимента	Воспроизведение
33	Психологический эксперимент (рубежный контроль)	Индивидуальная работа	описывать особенности проведения лабораторного эксперимента	Воспроизведение
			описывать основные виды переменных в эксперименте, сравнивать характеристики зависимых переменных	Воспроизведение
			описывать характеристики независимых переменных	Воспроизведение
			описывать характеристики побочных переменных	Воспроизведение
34	Представление результатов	Конференция	перечислять основные виды измерений	Узнавание
35	Системное представление результатов	Конференция	соотнести этапы процедуры измерения	Воспроизведение
36	Систематизация и специфика экспериментальных исследований в различных областях психологии (сенсорных, перцептивных, мнемических процессов, внимания)	Лекция	сравнивать соотношения между данными	Воспроизведение
37	Особенности использования экспериментального метода в разных отраслях психологии	Контрольная работа	называть виды данных и виды их взаимосвязей в исследовании	Узнавание
			сравнивать соотношения между данными	Воспроизведение
			называть требования к оформлению научной статьи	Узнавание
			перечислять основные виды измерений	Узнавание
			соотнести этапы процедуры измерения	Воспроизведение
38	Особенности использования экспериментального метода в разных отраслях психологии	Индивидуальная работа	называть виды данных и виды их взаимосвязей в исследовании	Узнавание
			сравнивать соотношения между данными	Воспроизведение
			называть требования к оформлению научной статьи	Узнавание
			перечислять основные виды измерений	Узнавание
			соотнести этапы процедуры измерения	Воспроизведение

Планирование и контроль эксперимента – СтудИзба

Тема № 7/3

Планирование и контроль эксперимента

(По материалам американских психологов для студентов)

Вопросы:

1. Контроль различий

2. Научные выводы

3. Типы контроля

4. Статистический анализ и применение компьютеров

5. Экспериментальные парадигмы

Рекомендуемые файлы

6. Применение экспериментальной и контрольной групп (Проблема контроля: обучение во сне)

7. Проблема контроля: социальная депривация и социальное подкрепление

8. Проблема контроля: перцептивная защита

9. Проблема контроля: научение с одной попытки

10. Определения

                   Информация — это любое изменение, имеющее зна­чение.

                     Информация — это малейшее изменение, позволя­ющее проводить различия.

Грегори Бейтсон

1. КОНТРОЛЬ РАЗЛИЧИЙ

Научные эксперименты базируются на наблюдении различий, и из этих контролируемых (как правило) наблюдений вытекают выводы, которые строятся для обобщения большого класса фено­менов. Этот подход применяется как в физике, химии, ботанике, геологии, астрономии, так и в психологии. В некоторых научных исследованиях сравнения могут быть более очевидными, чем в дру­гих. Возьмем пример из физики: здесь ученый может быть заинте­ресован в сопоставлении эффектов, производимых объектами раз­ной массы. Рассмотрим, какова будет реакция разных объектов на одинаковое воздействие, например, на удар по обычному теннис­ному мячу и на аналогичный удар по такому же шару, сделанному из свинца. Сравнение того, как эти два объекта отскочат рикоше­том от теннисной ракетки (или пробьют ее насквозь), будет вполне очевидным. Затем, на основе изучения различий, можно постро­ить выводы о таких общих понятиях, как масса, инерция и сила на­тяжения нейлоновых струн ракетки или кетгута. Большинство на­учных сравнительных наблюдений гораздо тоньше, но на этом бытовом примере можно уловить основную идею!

Примером более сложного сравнения, также взятого из области физики, может служить измерение электромагнитных полей, созданных заряженными электродами. Существование таких «невиди­мых» полей не ощущается человеком непосредственно, но их влия­ние может быть измерено путем сравнения распределения частичек железа сначала в отсутствии, а затем в присутствии электромагнит­ного поля. В психологических терминах электромагнитное поле, созданное заряженным электродом, является независимой пере­менной, в то время как рисунок расположения частичек железа есть зависимое измерение, из которого выведена зависимая переменная (характеристики электромагнитных полей). Совсем недавно, буду­чи школьниками старших классов, сегодняшние студенты могли на­блюдать этот опыт на уроках физики. Железные опилки рассыпа­лись по поверхности доски, а затем магнит располагался под доской. Тут же опилки приходили в движение — и возникали узо­ры, которые ясно показывали присутствие электромагнитных сил и их влияние на железные частички. Весьма яркий опыт, когда ви­дишь его в первый раз. Невидимое до того момента становилось ви­димым, скрытое становилось явным и, при объяснении этого фе­номена, загадочное — объясненным. От этих наблюдений можно перейти к выводам относительно теоретических характеристик и к построению математических моделей, которые могут обобщить ши­рокий класс подобных физических ситуаций (рис. 4.1, где схемати­чески изображена структура электромагнитного поля).

Рис. 4.1. Гипотетическое представление электромагнитного поля, созданного двумя положительными зарядами

Целью данного примера было не описать метод, который ис­пользуется в электродинамике, но иллюстрировать основную докт­рину экспериментирования:

Наука основывается на наблюдении различий. Наблюдения могут быть произведены как в контролируемых условиях, например в лабора­тории, так и в природных (естественных) условиях. Такие наблюдения формируют систему знаний в теоретической физике или психологии.

В примере с электромагнитными полями сравнивались данные, полученные при наличии и отсутствии электромагнитного поля. В психологическом исследовании сопоставляются обычно данные, замеренные в условиях нескольких уровней влияния независимой переменной на группу испытуемых, при этом еще одна группа ис­пытуемых наблюдается в условии отсутствия влияния независимой переменной.

*Первая группа называется экспериментальной груп­пой,

*вторая группа — контрольной группой.

2. НАУЧНЫЕ ВЫВОДЫ

Научные теории основываются на выводах. Расположение же­лезных опилок изменяется вследствие воздействия электромагнит­ного поля, а человеческое поведение подобным образом меняется под влиянием множества разнообразных условий (например, лекар­ственных препаратов, социальной обстановки, мотивации). Точно так же, как физики делают выводы о характеристиках электромаг­нитных полей, психологи-экспериментаторы наблюдают поведе­ние, обусловленное воздействием определенных переменных. За­тем психологи могут порой сконструировать теоретические модели, обобщающие широкий класс подобных ситуаций, и затем из них иногда могут вывести заслуживающие доверия законы для описа­ния человеческого поведения.

Вследствие того, что валидность наших наблюдений зависит от характеристик испытуемых (так же, как и влияния независимой переменной), крайне важно, чтобы экспериментальная и контроль­ная группы были настолько схожи, насколько возможно. Предста­вим себе, например, что ошибочное заключение об электромаг­нитных полях могло бы возникнуть в случае, если бы один ученый использовал в эксперименте железные опилки, а другой исследова­тель употребил алюминиевые опилки,— наблюдения были бы раз­личными не потому, что изменились законы действия электромаг­нитных потоков, а из-за использования другого материала. И даже если бы это частное наблюдение было валидно, эксперимент испытал бы недостаток контроля, результатом которого были бы бес­смысленные или неправильно ориентированные будущие исследо­вания. Исходные данные очень важны для экспериментирующего психолога, поэтому с целью уберечь исследователя от возможных ошибок недостаточного контроля были созданы специализирован­ные методы. Далее мы рассмотрим некоторые из проблем, кото­рые могут возникнуть из-за такого рода ошибок, и обратимся к процедурам для их контроля.

3. ТИПЫ КОНТРОЛЯ

В предыдущих темах основное внимание уделялось стратегиям планирования эксперимента. В представленных примерах экспери­ментатор манипулировал отдельной (независимой) переменной и наблюдал, какой эффект это произвело на зависимую переменную. Исследователь контролировал независимую переменную, опреде­ляя, в какую сторону были направлены изменения переменной и насколько сильными они были. Это — одна из форм эксперимен­тального контроля. Особо отмечалось, что хороший план экспери­мента состоит в том, чтобы экспериментальным манипуляциям подвергалась только одна переменная, рассматриваемая как неза­висимая, а все прочие условия поддерживались бы равно неизмен­ными для всех групп, участвующих в эксперименте.

Обеспечение константных (постоянных) условий является вторым типом экспе­риментального контроля. Если различные экспериментальные и контрольные группы, задействованные в эксперименте, в точнос­ти подобны друг другу, за исключением только одной независимой переменной, из этого явствует, что любые полученные различия в, значениях зависимой переменной должны быть объяснены действи­ем независимой переменной. Если какая-либо другая переменная оказала воздействие на результаты, эта переменная обычно назы­вается внешней («прочей») переменной или вмешивающейся пере­менной. Переменная является «внешней», если привносится в экс­перимент извне. Она считается вмешивающейся потому, что экспериментатор не может быть уверен в том, должен ли он припи­сать полученные в эксперименте результаты независимой перемен­ной, внешней переменной или влиянию обеих вместе. Таким образом, результаты считаются неубедительными, а данный экс­перимент должен быть повторен с использованием плана, исклю­чающего влияние внешних переменных.

Переменная рассматривается как внешняя, только когда допус­кается возможность ее влияния на зависимую переменную. В эксперименте на изучение восприятия зрительных иллюзий такие пере­менные, например, как цвет глаз испытуемого, его вес, спортив­ные способности или умение разбираться в сортах швейцарского сыра, вероятно, не окажут никакого влияния на восприятие данно­го человека: экспериментатор выглядел бы глупо, пытаясь контро­лировать все эти индивидуальные различия. (Кроме того, эти раз­личия стремятся уравновесить друг друга, если выборка испытуемых для эксперимента набирается репрезентативная.) С другой стороны, такие переменные, как острота зрения и освещенность, похоже, влияют на результат, и они должны находиться под контролем ис­следователя.

Какая бы переменная ни рассматривалась как внешняя (и, сле­довательно, тем самым вызывала необходимость контроля), ее осо­бенностью является то, что она может вызвать изменение в зави­симой переменной; поэтому внешние переменные меняются от эксперимента к эксперименту. Интеллект может быть внешней пе­ременной для ученого, ставящего обучающий эксперимент, но, возможно, незначительным фактором для исследователя порогов восприятия звуковых тонов разной частоты. Умение разбираться в марках швейцарских сыров, возможно, не относится никак к выяв­лению установок по отношению к абортам, но может иметь значе­ние для изысканий в области сенсорного различения молочных продуктов. Конечно, каждый читатель может самостоятельно при­вести воображаемый пример малозначительных в эксперименте ха­рактеристик испытуемого (таких, как ограничение уровня интел­лекта для участия в эксперименте на сенсорное различение или умение разбираться в сырах, сколь-нибудь важное для отношения к абортам). Но не будем гоняться за призраками. В психологии и так существует множество важных проблем, требующих своего раз­решения, и слишком часто исследователи-новички увязают во вто­ростепенных задачах.

Хороший экспериментальный план характеризуется пристальным вниманием к контролю за действительными внешними переменными и исследованием по-настоящему важных тем. Даже в наиболее искусных экспериментах подчас невозможно уберечься от глупых идей, и быва­ет, что блестящий замысел теряется в эксперименте с серьезными проблемами планирования.

Внутренняя мудрость, соединясь со знанием, может улучшить планирование эксперимента до такой степени, чтобы все потенци­альные внешние переменные были управляемы. Это значит, что экспериментатором должны приниматься во внимание в отношении контроля только те переменные, для которых может быть разумно обоснована возможность их влияния на зависимые переменные.

Эта глава в первую очередь касается контроля внешних перемен­ных экспериментатором при воздействии на независимую перемен­ную. В связи с этим возникает необходимость, чтобы все группы, участвующие в эксперименте, имели одинаковые характеристики испытуемых. Далее, в главе 6, будет более подробно описан целый ряд методик, созданных для решения этой проблемы.

А пока уделим особое внимание теме исключительной важности: обеспечению константности всех условий для контроля влияния внешних переменных. Фактически нами упоминался только один из двух общих методов — контроль внешних переменных.

Второй метод состоит из использования дополнительной контрольной груп­пы. Все эксперименты используют первый метод контроля, когда экспериментатор манипулирует только независимой переменной; некоторые исследователи добавляют еще контрольную группу для дополнительного контроля внешних переменных. Этот последний метод часто используется в случаях, когда экспериментальное воз­действие может включать как внешнюю переменную, так и незави­симую переменную. Дополнительные экспериментальные или кон­трольные группы позволяют исследователю отделить, насколько это возможно, эффект внешних переменных от воздействия неза­висимой переменной.

ОБЕСПЕЧЕНИЕ НЕИЗМЕННОСТИ (КОНСТАНТНОСТИ) УСЛОВИЙ

Как мы уже видели в эксперименте Лорджа (Lorge, 1930), срав­нивавшего концентрацию и распределение упражнений на заре ста­новления экспериментальной психологии (см. главу 2), независи­мой переменной была избрана длина промежутка времени между сериями упражнений. Эта была единственная управляемая пере­менная. Все остальные переменные сохранялись неизменными:

*группы, участвовавшие в эксперименте, выполняли одну и ту же задачу;

*все участники эксперимента имели одинаковый уровень тренировки;

*экспериментальная задача обеспечивала достаточный уровень сложности для экспериментальных групп, чтобы исключить тренировки в промежутках между сериями упражнений;

*способнос­ти испытуемых в каждой группе были одинаковы и так далее.

По­тенциально все эти факторы могли бы оказаться внешними пе­ременными. Например, если одна группа, принимавшая участие в эксперименте, выполняла бы больше упражнений, чем другая, результаты могли скорее быть приписаны тренировке, чем интер­валам времени в перерывах между экспериментальными задания­ми. Если бы различные группы, участвовавшие в эксперименте, выполняли различные задачи, то результаты, возможно, должны были бы быть объяснены различиями в заданиях, например, их сложностью, а не длительностью интервалов между заданиями. Если бы испытуемые из одной группы имели большие способнос­ти, релевантные задаче, чем испытуемые из другой группы, то ре­зультаты могли бы означать скорее разницу в задатках, чем пробелы в тренировках. Убедившись, что все эти переменные равно воздей­ствовали на все экспериментальные группы, Лордж игнорировал их влияние на свои результаты. К этому ведет логика, вытекающая из факта, что все условия, исключая независимую переменную, постоянны.           

       Субъектные переменные. Обеспечение константности условий — черта хорошего экспериментального плана; это понятно даже начи­нающим студентам-психологам. Тем не менее, как мы увидим из последующих примеров, даже наиболее компетентные исследова­тели могут неосознанно нарушить этот принцип. Пока нет возмож­ности составить перечень всех возможных внешних переменных (так как они различаются от ситуации к ситуации), но существуют не­сколько областей, где проблемы особенно бросаются в глаза. На­пример, если независимая переменная является характеристикой самого испытуемого (субъектной переменной), то всегда есть опас­ность, что она каким-либо системным образом связана с другой субъектной переменной. Если это действительно так, то результаты эксперимента могут впоследствии быть объяснены влиянием этой другой характеристики испытуемого, проявившейся в эксперимен­те помимо воли ученого. Это называется проблемой смешения (под­мены) субъектных переменных и определяется как получение по­тенциально ошибочных результатов, которые могут быть приписаны вторичной причине, из-за подмены или смешения субъектных пе­ременных. Вы можете думать (или даже выдвигать гипотезу), что вы измеряете реакцию испытуемого, в то время как на самом деле вы измеряете специфику выборки (присущие ее членам характери­стики).

Для иллюстрации этой проблемы рассмотрим исследование, где экспериментатор проверял такую гипотезу: авторитарная личность должна испытывать больше сложностей в изучении трудного мате­риала, чем не авторитарная. Эта гипотеза базируется на допуще­нии, что высокоавторитарные люди часто судят в упрощенной манере и, значит, должны испытывать затруднения, изучая сложный материал. Из предъявленного в тесте стимульного материала низ­коавторитарная группа вспомнила значительно больше, чем группа с высоким уровнем авторитарности. Впоследствии, критикуя дан­ный эксперимент, обозреватели высказали такую точку зрения: хо­рошо известно, что существует отрицательная корреляция между авторитаризмом и интеллектом — авторитарные люди менее интел­лектуальны, и наоборот. Таким образом, то, что высокоавтори­тарная группа выучила меньший объем материала, могло быть объяснено фактом, что входящие в нее испытуемые были менее умны, а авторитаризм мог быть вовсе ни при чем.

Если в эксперименте нет воздействия на субъектные перемен­ные, то опасность их смешения минимизируется. Тем не менее, эк­спериментатор должен сознавать возможность присутствия других возможных внешних переменных. Некоторые из этих проблем бу­дут обсуждаться далее.

4. СТАТИСТИЧЕСКИЙ АНАЛИЗ И ПРИМЕНЕНИЕ КОМПЬЮТЕРОВ

Каждая обсуждаемая здесь модель исследования обеспечена осо­бым статистическим методом (см. курс «Математические методы в психологии»). Детали можно отыскать в специализированной статистической литературе. Полезные психологу статистические ме­тоды обычно можно найти в виде пакетов компьютерных программ. Таким образом, сегодня возможно составить план эксперимента, провести исследование, собрать и статистически проанализировать данные, а также вывести валидные заключения с впечатляющей оперативностью.

Всего несколько лет назад статистический анализ данных часто требовал больше времени, чем все остальные фазы эксперимента, вместе взятые. Сегодня расчеты очень больших баз данных не тре­буют много времени — их проводят за считанные минуты с исполь­зованием вычислительных машин. Существование некоторых из этих современных компьютерных гигантов так впечатляет потому, что поразительная мощь заключена в небольшом, общедоступном и удобном виде в недорогих компьютерах. С появлением персо­нальных настольных компьютеров (и портативных компьютеров-ноутбуков) стало возможным переносить данные в стандартные ста­тистические пакеты, которые подсчитывают значения и выдают конечный результат буквально за секунды.

Некоторые статистические пакеты были описаны во вполне до­ступной форме психологами и статистиками в учебной литературе. При этом одни психологи-исследователи приветствовали такие устройства, производящие сложные математические расчеты, и считали благом для экспериментатора освобождение от рутины мыслителя-творца, который мог теперь тратить свое время на более плодотворную деятельность в области предметной сущности самого эксперимента. Другие же предполагали, что использование таких пакетов без осмысленного понимания основ статистики является серьезной ошибкой и ведет к печальным злоупотреблениям статис­тическими результатами.

Мы, в свою очередь, верим, что студенты, изучающие плани­рование экспериментов, должны понимать основные принципы статистики и разбираться в применении специфических методов. Это легко можно усвоить из учебных курсов статистики и изучения статистической литературы. Хотя некоторые студенты могут вы­брать для углубления своих знаний специализированные универси­тетские курсы статистики, для планирования и выполнения психо­логического эксперимента часто хватает общих статистических сведений. И хотя мы не можем не отметить доступность, эффек­тивность и точность современных компьютерных программ, мы так­же хотим напомнить студентам, что планирование эксперимента и статистика в экспериментальной психологии являются инструмен­тами изучения важных психологических проблем. Подчас ученые-экспериментаторы столь увлекаются планированием и вопросами статистики, что могут потерять из виду реальную цель эксперимен­тальной работы: продвижение вперед научного знания путем науч­ных изысканий. Планирование эксперимента, применение статис­тики и изучение важных психологических проблем — составные части этого процесса.

5. ЭКСПЕРИМЕНТАЛЬНЫЕ ПАРАДИГМЫ

Парадигмой в экспериментальной психологии называется модель или образец, которые ученый использует для организации экспе­римента.

В этом разделе мы введем пять экспериментальных пара­дигм и методов контроля.

1.   План со случайным набором групп.

2.   План с попарной группировкой испытуемых.

3.   План с повторными измерениями.

4.   План повторных измерений со сбалансированной (уравновешен­ной) последовательностью (repeated measure).

5.   факторный план.

Некоторые из этих парадигм и способов контроля будут подроб­но обсуждаться в последующих темах.

А сейчас мы обратимся к пяти способам планирования на отдель­ном примере. Представьте, что экспериментаторы хотят узнать, как цвет вина влияет на его предпочтения потребителями. Ученые раз­работали устройство, которое может изменить цвет вина, не влияя на его вкус. В эксперименте используется вино натурального цве­та — темно-рубинового, который может быть изменен на глубокий зеленый. Зависимой переменной является оценка предпочтений по 5-балльной шкале, независимая переменная — цвет вина. Так как удовольствие от употребления — не четкий термин, важно, чтобы исследователи определили этот термин, включив туда все важные характеристики вина. Например, одно из определений может включать вкус, букет и цвет как важные особенности.

Табличка (см. ниже) показывает, что даже этот простой экспе­римент бросает исследователю сразу вызов в нескольких аспектах из разряда проблем планирования.

      В них входят:

*необходимость учесть температуру вина (которая должна сохраняться постоянной),

*осве­щение (оно не должно быть ни слишком тусклым, чтобы можно было рассмотреть вино, ни слишком ярким),

*последовательность (пробование одного вина первым может оказать влияние на оценку последующих вин),

*опыт пробующего (вино с изысканным буке­том, вероятно, сложнее оценить, чем «дешевку») и

*окружающая обстановка (пробование должно быть проведено скорее индивиду­альным образом, чем в группах, где давление остальных участни­ков может оказать влияние на оценку отдельной личности).

Такой эксперимент может быть проведен несколькими способами.

ПЛАН С НЕЗАВИСИМЫМИ ИСПЫТАНИЯМИ (ВЫБОРКАМИ):

МОДЕЛЬ 1

В этой парадигме, названной план с независимыми испытаниями (выборками) или межгрупповой план (модель 1), одна группа получа­ла искусственно подкрашенное вино (экспериментальная группа), в то время как другая группа получала вино естественных цветов (контрольная группа). В этом плане исследования подразумевает­ся, что испытуемые из одной группы будут тестироваться независи­мо от испытуемых из другой группы. Выборка испытуемых для этого эксперимента состояла из 16 университетских студентов в возрасте от 21 до 30 лет. Четких правил о размере выборки нет, но считается, что достаточно и 8 студентов (или 8 наблюдений) для экспери­ментов такого рода (хотя лучше было бы пригласить как минимум вдвое больше испытуемых). Испытуемые были случайным образом распределены по двум группам. Каждый из 16 человек попадал либо в контрольную, либо в экспериментальную группу: использовался план с рандомизированными выборками (план со случайным набором испытуемых). Для удобства мы обозначили испытуемых S₁, S₂, S₃,…, S₁₆. Систематизацию этой процедуры можно представить сле­дующим образом (см. модель 1).

В этом эксперименте мы заполнили таблицы воображаемыми данными, подобными реальным экспериментальным. Такие дан­ные могут быть в дальнейшем проанализированы при помощи

t-критерия Стьюдента. Рассматривание «сырых» данных иногда оча­ровывает нас: они ощутимо позволяют понять, что на самом деле делает и думает каждый испытуемый; но таким сведениям не хватает математической точности. Статистический анализ может показать нам, были ли различия между группами статистически значимыми. В то время как поначалу, глядя на сырые данные, можно счесть, что зеленое вино показалось испытуемым «гадостью», психологи-экспериментаторы используют гораздо более осторожный язык. Сначала нужно доказать, что весьма мала вероятность (например, менее чем 1 из 100) того, что различия между этими двумя группа­ми случайны. Затем можно сделать осторожное, хотя и очень прав­доподобное заключение, что натуральный рубиновый цвет предпо­читается аналогичному вину, искусственно окрашенному в зеленый цвет. Причины этого предпочтения могут быть культурно обуслов­лены, и обычно на этой базе будут сделаны и дальнейшие выводы. Эта парадигма является общей для психологического экспери­мента. И если выборка является большой и статистически ре­презентативной, экспериментатор может принять допущение, что субъектные переменные, влияющие на результат, равным образом представлены в двух группах благодаря случайному распределению испытуемых.

ПЛАН С ПОПАРНОЙ ГРУППИРОВКОЙ ИСПЫТУЕМЫХ:

МОДЕЛЬ 2

 С другой стороны, кто-то может предположить, что какая-ни­будь субъектная переменная (такая, как опыт предыдущего пробования вин) может оказаться настолько существенной для получен­ных результатов, что каждому испытуемому необходимо подобрать пару с той же выраженностью этой переменной. Имеется в виду, что люди, имеющие опыт в частом потреблении вин, обладают по­вышенным уровнем сенсорного различения в этой области, позво­ляющим выносить более критические оценки (что повлияет на ре­зультаты нашего опыта). Соответствующий тип плана называется планом с попарной группировкой испытуемых или попарно согласо­ванным планом (модель 2) и выглядит, как показано на модели 2.

Согласующая переменная подбора испытуемых — опыт предыду­щего пробования вин.

В этом примере наши испытуемые отмечены как S₁, S₂,…, S₁₆, но добавлены индексы а, Ь,…, h с целью показать, что S_1а и S_9a по­добраны на некоторой основе. В этом случае участники попарно подобраны друг к другу на основе предыдущего опыта пробования вин таким образом, чтобы в каждой паре уровень опыта был при­мерно равным. Более того, в этом примере мы можем отобрать

только тех людей, которые являются экспертами в пробовании вин, удалив профанов. Другие эксперименты могут использовать при попарном отборе другие признаки, такие, как пол, интеллект, про­фессиональные качества или тренированность. Такой план будет действенным при условии, что согласующая переменная подбора может сильно повлиять на зависимую переменную. Кроме того, независимое измерение, на основе которого составляются пары, должно быть валидным. Попарный подбор людей на основе преды­дущего опыта¹ пробования вин или на основе интеллекта, измерен­ного непригодным тестом,— профанация данного исследовательс­кого метода.

^1. Мы имеем в виду тех людей, которые обладают собственным богатым опытом употребления вина (то есть пьют большое количество вина), но не являются знатоками-экспертами вин.

t-критерий Стьюдента приме­няется для плана с попарной группировкой испытуемых. Такой статистический метод проверки иногда называется коррелирован­ным t-критерием или t-критерием для зависимых выборок, посколь­ку две группы взаимосвязаны или взаимозависимы друг от друга по данному измерению. Анализ наших выдуманных данных показыва­ет высокую статистическую значимость различий между результата­ми двух групп.

ПЛАН С ПОВТОРНЫМИ ИЗМЕРЕНИЯМИ:

МОДЕЛЬ 3

Третий тип плана — план с повторными измерениями, или внутригрупповой план (модель 3). Он характеризуется тем, что каждый испытуемый участвует в двух или более экспериментальных задачах с разными условиями. В нашем примере каждый испытуемый пробует оба сорта вина и, по существу, контролирует самого себя. Проиллюстрируем эту процедуру, как показано на модели 3.

На рисунке видно, что S₁ пробует и экспериментальное (подкра­шенное) вино, и контрольное (натурального цвета) вино. Так как каждый испытуемый участвует и в контрольной, и в эксперимен­тальной группе, этот план делает возможным собрать больше дан­ных — по два измерения в разных условиях для каждого испыту­емого. Кроме того, этот план позволяет уменьшить количество испытуемых в эксперименте, что может быть удобно при ограни­ченной выборке.

ПЛАН С ПОВТОРНЫМИ ИЗМЕРЕНИЯМИ:

МОДЕЛЬ 4

При разработке предыдущего плана может возникнуть несколько проблем. Первая представляет собой последовательность, в кото­рой предъявляются стимулы. При дегустации вина вторая порция может показаться более приятной, чем первая, не потому, что ее вкус лучше, а из-за того, что дегустатору жизнь вообще стала пред­ставляться несколько более приятной. Для избежания этого ис­пользуется сбалансированная (уравновешенная) последовательность (модель 4). В этом случае уравновешивание может быть достигну­то, если первая половина испытуемых первым пробует окрашенное вино, а другая половина первым пробует вино натурального цвета. Мы демонстрируем этот план на модели 4.

В этом случае испытуемые от S₁, до S₈ будут пробовать и оце­нивать сначала контрольное вино, а затем — экспериментальное вино, в то время как испытуемые от S₉ до S₁₆ включительно будут делать это в обратной последовательности. Данные могут также быть

проанализированы статистическими методами для повторных изме­рений. Дальнейшее усложнение плана также возможно. Например, можно воспользоваться планом с двойным или тройным повторе­нием измерений, но расплатой за подобный стиль планирования эксперимента может явиться похмелье.

ФАКТОРНЫЙ ПЛАН:

МОДЕЛЬ 5

В предыдущих моделях мы уделяли наибольшее внимание эф­фекту воздействия единственной независимой переменной на за­висимую переменную. Часто, тем не менее, психологи изучают результаты влияния нескольких независимых переменных на зави­симую переменную. Такие факторные планы очень распространены в экспериментальной психологии. Хотя такие планы не создавались специально для контроля субъектных переменных, они упоминаются здесь для демонстрации того, как эти переменные можно учесть при разработке факторного плана. В соответствии с рассматриваемой моделью предположим, что экспериментатор выбрал цвет вина и тип винограда, приняв их за две независимые переменные. Цвет вина может быть как естест­венным, так и красным (цвет бургундского вина), но вдобавок мо­гут быть использованы три типа вина (произведенные из трех видов винограда). Для примера возьмем «Пино Нуар» (Pinot Noir), «Ци­нандали» (Zinfandel) и «Шардонне» (Chardonnay). Простая репре­зентация этого типа плана может быть показана в следующей табли­це размерностью 2×3:

В этом типе плана одни и те же испытуемые подвергаются всем воздействиям, как и в методе повторных измерений. Таким об­разом, с помощью модели 5 можно объединить методы контроля субъектных переменных. Следует отметить также, что в факторном эксперименте могут применяться и другие виды контроля, напри­мер, планы с независимыми выборками. Подобный способ плани­рования может быть проиллюстрирован следующей таблицей:

6. ПРИМЕНЕНИЕ ЭКСПЕРИМЕНТАЛЬНОЙ И КОНТРОЛЬНОЙ ГРУПП

Контрольная группа определяется как группа испытуемых, ана­логичная экспериментальной группе, которая подвергается в ис­следовании всем тем же воздействиям, за исключением экспери­ментальной переменной (независимой переменной). В некоторых случаях и контрольная, и экспериментальная группы должны быть отобраны случайным образом из той совокупности людей (гене­ральной совокупности), на которую распространяются (обобщают­ся) результаты эксперимента.

Некоторые техники, использующиеся для контроля внешних пе­ременных. Рассмотрим более детально экспе­римент Пола (Paul, 1966) по лечению речевой фобии. Экспериментатор планировал сравнить в исследовании эффектив­ность двух типов терапии. Вдобавок он хотел рассмотреть изме­нение внешних переменных, совместное с изменением уровня терапевтического воздействия. То есть предполагалось, что если внешние переменные изменяются в соответствии с терапией, то любое улучшение состояния пациента может быть приписано скорее влиянию этих переменных, а не терапии самой по себе. Суще­ствуют две хорошо известные внешние переменные, сопутствую­щие любому виду лечения. Во-первых, установлено, что некото­рые люди, демонстрирующие симптомы поведенческих проблем, ощущают улучшение состояния через некоторое время без какого-либо лечебного воздействия. Этот феномен называется спонтанная ремиссия (spontaneous remission), то есть спонтанное исчезновение симптомов без какого-либо видимого лечебного воздействия. В эк­сперименте с применением различных видов терапии эксперимен­татор должен убедиться: было ли улучшение здоровья испытуемого вызвано терапией самой по себе либо спонтанной ремиссией.

Во-вторых, известно, что некоторые люди, которые убеждены в пользе лечения, могут показать значительное улучшение состоя­ния даже когда они фактически не получали никакого лечебного воздействия. Это называется эффектом плацебо. Данное понятие, пришедшее из латыни, обозначает «доставлять удовольствие»; впер­вые оно было описано врачами-терапевтами, дававшими пациен­там инертные вещества (например, подслащенную воду), похожие внешне на активный медикамент, в большей степени доставляю­щие удовольствие пациентам, чем оказывающие физиологический эффект. Описано множество занимательных случаев, когда в со­стоянии больного после курса плацебо наблюдалось заметное улуч­шение, особенно у тех, чье заболевание, очевидно, было психосо­матическим. Так как эффект плацебо принимается во внимание при любом лечении психологических проблем, учитывается, что каж­дое улучшение в ходе терапии может быть вызвано этим эффектом, а не терапией самой по себе.

Для разделения эффекта спонтанной ремиссии, эффекта плаце­бо и терапии самой по себе Пол (Paul, 1966) использовал две кон­трольные группы.

Табл. 4.1 показывает как результаты четырех экспериментальных групп, так и переменные, влияющие на результат лечения в каж­дой из этих групп. Экспериментатор может отделить эффекты воз­действия различных переменных на улучшение состояния испытуе­мого. Например, мы можем вычесть процентный показатель улучшения, достигнутый в контрольной группе с применением плацебо, из показателя улучшения в каждой терапевтической груп­пе. Это дает нам показатель эффективности каждого вида терапии самой по себе, то есть после того, как отброшен эффект всех вне­шних переменных.

Исследователи часто применяют дополнительные группы в экс­перименте с целью убедиться, что результаты не были вызваны ка­кой-нибудь внешней переменной. Допустим, что в эксперименте Эша (Asch, 1952), исследовавшего формирование впечатлений, исследователь взял бы только единственную экспери­ментальную группу, которая получала положительные характерис­тики описываемой личности сначала, а негативные характеристи­ки—в конце. В этом случае общая оценка личности испытуемыми была бы положительной, и экспериментатор принял бы гипотезу об эффекте первичности в формировании впечатления. Если бы Эш использовал в эксперименте только эту единственную группу, количество критических замечаний в его адрес резко возросло бы. Во-первых, можно было бы допустить, что негативные характери­стики не были на самом деле действительно отрицательными, и та­ким образом личность могла бы быть оценена позитивно, независи­мо от порядка предъявления ее характеристик. Другим основанием для критики было бы то, что люди вообще склонны оценивать дру­гих людей позитивно, невзирая на информацию, которую им дают: люди ищут хорошие черты в других и склонны благожелательно от­носиться к окружающим. Если это предположение справедливо, то Эш мог бы наблюдать позитивную оценку, несмотря на порядок или тип предъявленных описаний личности. Но эксперименталь­ный план, примененный Эшем, отрицал возможность всех этих ве­роятных критических замечаний. Одна из его групп, использован­ных в эксперименте, получала характеристики, представленные в порядке «от положительных к отрицательным»; вторая же группа получала прилагательные, представленные в порядке «от отрица­тельных к положительным». Оценка испытуемыми описываемой личности была положительной в первой группе эксперимента и от­рицательной во второй группе; таким образом, упомянутые крити­ческие замечания и их возможные следствия оказываются несосто­ятельными. Также заметим, что они несостоятельны из-за того, что Эш использовал две группы в эксперименте вместо одной и получил негативные оценки от испытуемых.

Особенно сложно сформулировать специфические принципы контроля внешних переменных. Экспериментатор обычно начина­ет с некоторой проблемы, которая должна быть решена, и несколь­ких гипотез, которые он собирается проверить. Планируя экспери­мент, экспериментатор должен помнить о разнообразных внешних переменных, которые могли бы послужить объяснением его резуль­татов, и предусмотреть способы их устранения. Безусловно, это может подразумевать как обеспечение константности всех условий эксперимента (за исключением независимой переменной), так и применение добавочной экспериментальной или контрольной груп­пы. Лучшим способом для студентов определить, какие внешние переменные наиболее часто встречаются в данной области, являет­ся изучение описаний экспериментов, произведенных в этой облас­ти. Таким образом, студент получает некий общий уровень знаний о применяемых в данной области способах планирования экспери­мента и о тех внешних переменных, которые необходимо контроли­ровать. Некоторые эксперименты с проблемами контроля описаны далее. Цель представленных в нашей книге примеров — рассмотреть некоторые проблемы, которые возникали в прошлом. Мы надеем­ся, что наши читатели в будущем смогут их избежать, анализируя планы экспериментов с точки зрения проблем контроля.

ПРОБЛЕМА КОНТРОЛЯ: ОБУЧЕНИЕ ВО СНЕ

СЛУЧАЙ ИЗ ПРАКТИКИ

Был проведен эксперимент для проверки возможности обучения во время сна. Материалом для заучивания служили английские экви­валенты немецких слов. В качестве испытуемых были привлечены десять студентов колледжа, которые сообщили, что они не знают не­мецкого языка. Каждый испытуемый погружался в сон в удобной кровати в звукоизолированной, проветриваемой лабораторной комнате. Испытуемый укладывался примерно около полуночи, и примерно в 1:30 пополуночи экспериментатор заходил к нему в комнату, и спра­шивал, заснул ли он. Если не следовало ответа, то исследователь включал звукозапись, которая содержала немецкие слова и их анг­лийский перевод, например: «»Ohne» означает «без»». Звукозапись со­держала 60 различных слов, которые проигрывались непрерывно до 4:30 пополуночи. Если испытуемый просыпался в течение ночи, он подзывал экспериментатора, и проигрывание звукозаписи приоста­навливалось до тех пор, пока участник не засыпал вновь. Для того чтобы проверить уровень запоминания, звукозапись немецких слов предъявлялась участнику с утра, и после каждого слова ему задавал­ся вопрос, каков, по мнению испытуемого, его английский перевод. Количество точно переведенных немецких слов рассматривалось в качестве зависимой переменной. Результаты показали, что среднее значение количества точно распознанных слов было 9 (из 60 возмож­ных), а самым большим числом точно определенных слов было 20. Экспериментатор интерпретировал эти данные в поддержку своей гипотезы о том, что во время сна происходит научение.

                        *********************************************

Данный эксперимент влечет за собой несколько важных выво­дов. На теоретическом уровне это означает, что во время сна мозг активно обрабатывает информацию, воспринимаемую органами чувств. На практическом уровне это наводит на мысль, что обуче­ние во сне может оказаться легким и не требующим усилий спосо­бом образования. Оно может стать благом для многих студентов колледжей, которые вместо зубрежки ночь напролет перед экзаме­ном смогут просто включить магнитофон и отправиться спать.

В то время как полученные результаты являются весьма захва­тывающими и кто-то может счесть их достоверными, два серьезных критических замечания могут сровнять с землей план проведенного эксперимента. Первое из них — отсутствие контрольной группы, которая не заучивала бы материал, а просто прошла тест. Это было нужно сделать хотя бы потому, что, несмотря на то что все испыту­емые действительно не знали немецкого языка, они могли угадать значения некоторых слов. Например, немецкое слово «Mann» оз­начает «man» («человек») по-английски. К тому же некоторые не­мецкие слова часто используются в английском языке, особенно в старых фильмах о войне, например, «Schwein» («свинья»), «nein» («нет»), «ja» («да»). Таким образом, кажущиеся эффекты обучения во сне могут на самом деле быть вызваны способностью испытуемо­го угадывать некоторые слова и знанием других слов; контрольная группа могла бы проверить это предположение.

Второе критическое замечание относится к операциональному определению сна, использованному экспериментаторами. Сон был определен как то, что происходило с испытуемым между 1:30 и 4:30, если он не сообщал о том, что он проснулся. Но известно, что существуют различные уровни сна — от дремоты до очень глу­бокого засыпания. Также известно, что на уровне дремоты человек получает часть информации из окружающего мира о воздействую­щих на него внешних стимулах. Но на уровне, на котором номинально начинается сон, существует очень небольшая восприимчи­вость (или никакой вовсе) того, что происходит вокруг. В настоя­щем эксперименте нет никакой возможности узнать, какой мате­риал был предъявлен и на каком уровне сна. Следовательно, его результаты, например, могут быть объяснены тем, что все науче­ние происходило скорее на уровне дремоты, чем на уровне действи­тельного сна.

**********************************************

СЛУЧАЙ ИЗ ПРАКТИКИ

Саймон и Эммонс (Simon & Emmons, 1956) спланировали экспе­римент с учетом ранее упомянутых проблем. Материалы для изуче­ния состояли из 96 общеизвестных вопросов и ответов на них. Они были представлены в следующем виде, например: «В какой области торговли работал Улисс С. Грант до войны?», затем давался ответ: «До войны Улисс С. Грант работал в торговле скобяными изделия­ми». Были использованы две группы испытуемых: экспериментальная группа, которой давались ответы на вопросы во время сна, и конт­рольная группа, которая просто получала обучающий тест без пред­варительного проигрывания ответов. В начале эксперимента обеим группам были предложены вопросы и их попросили угадать ответы. Те вопросы, на которые испытуемые ответили правильно, удалялись из теста. Следующим шагом было предъявление экспериментальной группе вопросов и ответов во время сна. В течение этого времени велась регистрация их мозговых волн с использованием электроэн­цефалографа (ЭЭГ). Вследствие того что мозговая активность раз­личается на разных стадиях сна, ЭЭГ записи дали возможность экс­периментаторам точно определять степень глубины сна. По мере того как каждый ответ предъявлялся участнику, экспериментатор фикси­ровал уровень его сна. Таким образом экспериментатор получал пол­ный отчет о том, на каком уровне сна предъявлялись каждый вопрос и ответ.

Утром экспериментальная группа была протестирована по тому материалу, который предъявлялся испытуемым в течение ночи. Был предложен тест с множественным выбором, который состоял из воп­роса и пяти вариантов ответов. Испытуемые должны были догадать­ся, какой из ответов был правильным. Тест с множественным выбо­ром был взят для проверки, так как было сочтено, что это, вероятно, наилучшее средство измерения научения во сне, так как человеку проще узнать правильный ответ, чем произнести его. Контрольная группа также получила такой тест.

После того как были получены тестовые оценки, экспериментато­ры разделили вопросы для каждого испытуемого, участвующего в эксперименте, разнеся их по разным категориям в зависимости от уровня сна, на котором проигрывался каждый ответ. Эксперимента­торы использовали деление на восемь уровней сна, которые мы све­ли в три большие категории, представленные в табл. 4.2, где указано процентное соотношение точных ответов для каждой категории.

Эти данные отражают тот факт, что имеет место значительное на­учение, когда испытуемые в эксперименте просыпаются, и умеренный уровень научения, проявляющийся на стадии дремоты. Но не было обнаружено никакого очевидного научения, когда испытуемые нахо­дились в состоянии действительного сна. Для вопросов, ответы на которые были узнаны в этом состоянии, процент ответов был тем же самым, что и у контрольной группы, которая не получала никакого обучения. 23% правильных ответов у контрольной группы говорят, что того же самого эффекта можно ожидать в случае простого угадыва­ния ответов испытуемыми.

*************************************

Взглянув на планирование этого эксперимента, важно заметить, что экспериментаторами введено несколько ключевых контрольных процедур для того, чтобы точнее очертить границы понятия науче­ния во сне.

Во-первых, чтобы убедиться в том, что информация, выученная во время сна, на самом деле не является заранее извест­ной испытуемому, экспериментаторы предложили всем участникам предварительный тест на знание материала, и исключили вопро­сы, ответы на которые у тех уже имелись.

Во-вторых, так как оп­ределенный процент ответов на тест множественного выбора может быть получен путем угадывания, экспериментаторы использовали контрольную группу для определения, каким может быть этот про­цент.

В-третьих, экспериментаторы сравнили различные уровни сна и отметили, какие ответы были предъявлены его участникам на каждом уровне. Эта техника сделала возможным отделить матери­ал, предъявленный испытуемому, когда тот находился в состоянии бодрствования, в состоянии дремоты и в состоянии действительно­го сна. В итоге использование этих процедур контроля позволило сделать вывод, который гласит: обучения во время действительного сна не происходит.

7. ПРОБЛЕМА КОНТРОЛЯ:

СОЦИАЛЬНАЯ ДЕПРИВАЦИЯ И СОЦИАЛЬНОЕ ПОДКРЕПЛЕНИЕ

*********************************************

СЛУЧАЙ ИЗ ПРАКТИКИ

На экспериментальном материале было многократно продемон­стрировано, что для тех животных, которые были лишены еды, эф­фективность кусочков пищи в качестве подкрепления значительно возросла. Был проведен эксперимент с целью проверки возможности получения аналогичных результатов у детей в случае использования социальной депривации и социального подкрепления. Испытуе­мыми были шестилетние дети из начальной школы.

Эффективность социального подкрепления измерялась при помо­щи игры в мраморные шарики. Игра состояла из коробки с двумя от­верстиями, в каждое из которых испытуемый должен был забросить шарик с первого раза. В течение первых 4 минут экспериментатор молча наблюдал за тем, как испытуемый играет. В течение следую­щих 10 минут экспериментатор вербально подкреплял ребенка каж­дый раз, как только тот попадал шариком в отверстие, которое мень­ше использовалось в течение начального 4-минутного периода. Вербальное подкрепление состояло в том, что экспериментатор го­ворил: «хорошо» или «молодец» каждый раз, как только испытуемый попадал шариком в это отверстие. Зависимой переменной было воз­растание количества попаданий шариками в желаемую лунку с 4-ми­нутного до 20-минутного периода.

С целью определения эффектов социальной депривации дети были случайным образом распределены по трем экспериментальным группам. В условиях социальной депривации испытуемого оставляли в одиночестве в комнате на 20 минут до начала игры, В группе, не под­вергавшейся депривации, ребенок начинал игру немедленно. В ситу­ации социального подкрепления испытуемые проводили 20 минут до начала эксперимента, общаясь с экспериментатором, рисуя и выре­зая картинки.

Результаты показали, что участники эксперимента из группы, под­вергшейся депривации, показывали более выраженное возрастание попаданий шариков в желательную лунку, чем испытуемые из любой другой группы. Кроме того, в недепривированной группе возрастание было большим, чем в группе, получавшей социальное подкрепление. Эти данные были интерпретированы исследователями в пользу спра­ведливости гипотезы о том, что социальная депривация оказывает то же влияние, что и пищевая или водная депривация.

**********************************

Предыдущий эксперимент влечет за собой далеко идущие теоре­тические последствия относительно того, что, как оказывается, социальные побуждения подчиняются тем же законам, что и про­стейшие побуждения, связанные с первичными потребностями, такими, например, как голод. Нельзя не признать, что авторы эксперимента разработали для проверки собственных гипотез кра­сивую экспериментальную ситуацию, поэтому экспериментальные манипуляции над независимой переменной представляются объективно очерченными, а зависимую переменную легко замерить, из­бегая двусмысленного толкования. Тем не менее, вскоре после опубликования данного эксперимента в научной печати стали по­являться критические заметки с утверждениями о том, что его ре­зультаты могли быть вызваны небрежным контролем внешних пере­менных.

Первое критическое замечание в адрес данного эксперимента обращало внимание на то, что, когда экспериментаторы манипу­лировали с социальной депривацией, они также манипулировали с общей сенсорной депривацией. Например, дети, оставшись в ком­нате одни, могли подвергнуться депривации не только вследствие изоляции от других людей, но и вследствие отсутствия возможнос­ти поиграть с какими-либо игрушками. В группе же, где применя­лось социальное подкрепление, школьники не только общались с экспериментатором, но также рисовали и вырезали картинки. Та­ким образом экспериментатор манипулировал внешней перемен­ной (общая сенсорная депривация) вместе с социальной деприва­цией, и результаты эксперимента могут быть вызваны внешней переменной. Стивенсон и Одом (Stevenson, Odom, 1962) провери­ли такое альтернативное объяснение результатов, сравнив три груп­пы испытуемых. До того, как начать играть в шарики, одна группа детей была изолирована и играла с привлекательными игрушками в течение 15 минут, другая группа была изолирована без игрушек, а третья группа начала играть с мраморными шариками немедленно. Результаты показали, что не было никакого различия в выполне­нии задачи участниками двух групп, подвергшихся изоляции, но обе эти группы продемонстрировали более высокие результаты (то есть забрасывали больше шариков в желаемую лунку), чем неизо­лированная группа. Так как не было обнаружено различий в вы­полнении задачи у двух изолированных групп (обе были социально депривированы, но только одна была лишена игрушек), более вы­сокий результат вызван социальной депривацией. Эти данные под­держали оригинальную интерпретацию эксперимента, а влияние внешней переменной в первоначальном эксперименте можно, по-видимому, счесть несущественным.

Вторая группа исследователей выдвинула другое критическое возражение относительно данного эксперимента. Мишенью для их критики послужила ситуация, когда детей помещали в чуждое окружение и при этом присутствовал только незнакомый взрослый человек: все это должно было вызвать ощущение тревоги у шестиле­ток. Тревожность должна была достичь максимума у испытуемых, которых оставляли одних в незнакомой комнате на 20 минут. Сле­дующей по степени выраженности уровень тревожности можно, по-видимому, обнаружить у группы тех детей, которые непосред­ственно приступили к игре в шарики. Наименьшую тревожность должен был испытывать ребенок в условиях социального подкреп­ления, после 20-минутной дружеской беседы с экспериментато­ром, когда испытуемый до некоторой степени начинал чувствовать себя уютно в присутствии незнакомца. И поскольку существуют доказательства, что более высокий уровень ситуативной тревожно­сти улучшает выполнение некоторых задач на научение (особенно простых задач), результаты эксперимента можно объяснить разли­чием в уровне тревожности в трех экспериментальных группах, а в привлечении неких социальных побуждений нет никакой нужды.

С целью проверки этого предположения Уолтер и Парк (Walter & Parke, 1964) применили факторный план 2 х 2, в котором были ис­пользованы несколько степеней изоляции (или оставление детей в одиночестве на 10 минут, или немедленное начало игры) и два уровня тревожности. В условиях меньшего уровня тревожности экспериментатор обращался с ребенком в дружелюбной и; привет­ливой манере, а в условиях высокого уровня тревожности экспе­риментатор разговаривал с испытуемым более холодно и резко.

Использование этих воздействий показало, что:

1) не обнаружено статистически значимых различий в результатах групп с двумя уров­нями изоляции, свидетельствовавших бы против гипотезы соци­ального побуждения;

2) испытуемые в группе с высоким уровнем тревожности действовали лучше, чем участники группы с низким уровнем тревожности, что может поддержать гипотезу о влиянии тревожности;

3) эффект взаимодействия не был статистически зна­чимым.

Таким образом, это показывает, что внешняя переменная (уровень тревожности) может предопределить результаты ориги­нального эксперимента, а гипотеза о влиянии социальной деприва­ции может оказаться несостоятельной.

8. ПРОБЛЕМА КОНТРОЛЯ:

ПЕРЦЕПТИВНАЯ ЗАЩИТА

Следующий эксперимент базируется на гипотезе о том, что в об­ласти человеческого бессознательного существует некий процесс, определяющий, вызывает ли конкретное слово ощущение тревоги. Узнавание такого слова на сознательном уровне не происходит или, по крайней мере, замедляется. Этот процесс обозначается как пер­цептивная защита, и на его основе можно строить далеко идущие выводы о поведении людей.

**********************************************

СЛУЧАЙ ИЗ ПРАКТИКИ

Долгое время считалось, что человек обладает определенными механизмами, которые защищают его от восприятия провоцирующих тревогу стимулов. Один из таких механизмов носит название «пер­цептивная защита». Был спланирован эксперимент для проверки ги­потезы о существовании перцептивной защиты. Для этого испытуемым на экране тахистоскопа предъявлялись нейтральные и табуированные (относящиеся к ненормативной лексике) слова. Эксперимента­тор строил свои предположения на том, что запретные слова вызыва­ют тревогу и, хотя испытуемый может узнавать их на бессознательном уровне, механизм перцептивной защиты замедляет их восприятие на сознательном уровне. На этой основе была построена гипотеза, что для узнавания табуированных слов необходима более долгая экспо­зиция предъявления, чем для нейтральных слов. Испытуемыми были восемь мужчин и восемь женщин — студентов колледжа. Каждый участник тестировался индивидуально дважды: отдельно с экспери­ментатором-мужчиной и экспериментатором-женщиной. Испытуемым предъявлялись одиннадцать нейтральных слов (например, «яблоко», «рынок»), и семь непристойных слов (например, «шлюха», «сука») в заранее установленном порядке. Для того чтобы точно определить время, необходимое для распознавания слова, использовался метод предельного порога. В этом методе для каждого слова сначала уста­навливается очень невысокое время экспозиции (0,01 с), и экспози­ция постепенно удлиняется до тех пор, пока человек не называет слово точно. Этот процесс повторялся для

каждого из 18 слов. Временной порог для узнавания нейтральных слов был установ­лен в среднем на отметке 0,053 с, а значение порога для узнавания ненормативных слов в среднем было 0,098 с. Различие между двумя значениями было статистически достоверным. Так как для опознания непристойных слов требовалась большая экспозиция (пороги выше), экспериментатор заключил, что гипотеза перцептивной защиты под­твердилась.

******************************

Критические замечания со стороны других исследователей в ад­рес данного экспериментального плана не заставили себя долго ждать. Хаус и Соломон (Howes, Solomon, 1950) обозначили два критических методологических пункта. Во-первых, они обратили внимание научной общественности на то предположение, что ре­зультаты могли быть вызваны нежеланием человека произносить табуированное слово до полной уверенности в том, что он его пра­вильно узнал. Испытуемые могли быть особенно нерасположены вербализовать эти слова перед экспериментатором противополож­ного пола. Вторым методологическим замечанием было то, что нейтральные слова намного более часто встречаются в печати, чем термины ненормативной лексики, и поэтому более быстрое узна­вание нейтральных слов испытуемыми может быть вызвано их боль­шей привычностью. В доработанном эксперименте Хаус и Соло­мон (1951) продемонстрировали состоятельность гипотезы о частоте встречаемости слов. Был получен частотный список встречаемости в печати около 30 000 слов. Затем были выбраны 60 слов различ­ной частоты встречаемости (все они были словами нормативной лексики) и определены порога узнавания для каждого слова с ис­пользованием процедуры, подобной применявшейся в первона­чальном эксперименте. Была обнаружена высокая отрицательная корреляция (примерно —0,79) между частотой, с которой слово встречается в печати, и временным порогом его узнавания, то есть чем чаще слово встречается в печати, тем ниже порог узнавания для него. При этом, хотя данный эксперимент продемонстрировал, что частота слов является правдоподобным объяснением результатов оригинального эксперимента, все еще не отбрасывается возмож­ность доказательства того, что непристойные слова требуют более высокого порога узнавания, даже при условии контроля частоты встречаемости.

Постман, Бронсон и Гроппер (Postman, Bronson and Gropper, 1952) провели более строгий эксперимент с целью проверки гипо­тез о частоте встречаемости и перцептивной защиты. Для этого было определена частота, с которой конкретные ненормативные слова встречаются в печати, а затем каждому слову была подобрана пара из нейтральных слов, появляющихся в печати с той же часто­той. Список слов был представлен испытуемым при помощи экс­периментальной процедуры, подобной использованной в ориги­нальном эксперименте. Полученные результаты никоим образом не поддерживают гипотезу перцептивной защиты. Фактически было обнаружено, что порог узнавания для непристойных слов был зна­чительно ниже, чем для нейтральных слов. Это, вероятно, связано с занижением частоты встречаемости табуированных слов. Хотя исследования в этой области продолжаются, ясно, что к первона­чальному эксперименту в поддержку феномена перцептивной за­щиты могла быть примешана внешняя переменная частоты встреча­емости слов, которая повлияла на результат.

9. ПРОБЛЕМА КОНТРОЛЯ:

 НАУЧЕНИЕ С ОДНОЙ ПОПЫТКИ

Особый тип проблем контроля обнаружен в случаях, когда на­учение базируется на единственной пробе (научение с одной попыт­ки). Эта проблема контроля может также быть обнаружена в других схожих случаях. Следующий пример служит иллюстрацией указан­ной проблемы.

****************************************

СЛУЧАЙ ИЗ ПРАКТИКИ

Когда дети учатся читать алфавит, им показывают буквы А, В, С и так далее, при этом учитель произносит вслух соответствующие им звуки. Это повторяется до тех пор, пока ребенок не сформирует ассо­циативную связь между написанными буквами и их произношением. Между теоретиками научения давно ведется полемика: составляют­ся ли ассоциации постепенно (пошаговый процесс постепенного воз­растания знания} либо это совершается по принципу «все или ниче­го». Вторая из упомянутых научных школ изучения мышления могла бы сказать, что если после нескольких попыток научения ребенок не может вербализовать название буквы, после того как эта буква ему показана, то ни о каких ассоциациях между буквой и ее названием говорить нельзя. Первая из упомянутых школ изучения мышления могла привести доводы в пользу того, что некоторая ассоциация все же имеет место, хотя она еще не достигла достаточной силы для того, чтобы позволить ребенку дать правильный ответ.

Довольно остроумный эксперимент был поставлен для выяснения, какая из этих теорий верна. Задачей испытуемых было запомнить во­семь пар бессмысленных слогов. Каждая пара слогов была предъяв­лена испытуемым на отдельной карточке. После просмотра всех вось­ми пар испытуемому показывали первый бессмысленный слог из каждой пары и просили назвать второй бессмысленный слог. Напри­мер, человеку могла быть предъявлена карточка с надписью POZ-LER. В тесте воспоминания предъявлялся первый слог, POZ, и испытуе­мый должен был дополнить второй слог.

      Использовались две экспериментальные группы. Для первой экс­периментальной группы экспериментатор замещал в каждой попытке каждую пару бессмысленных слогов, которая не была правильно на­звана. Например, испытуемому было показано восемь пар карточек и затем дан тест на их воспроизведение. Каждая пара, которую он не смог вспомнить, была удалена, а на ее место подставлена новая. Восемь карточек (которые теперь включали только уже выученные пары слогов и совершенно новые пары) вновь показывались участни­ку, и вновь его просили воспроизвести содержание всех восьми кар­точек. Экспериментатор вновь отбрасывал те пары слогов, которые не были воспроизведены с первого раза, и заменял их на новые пары. Этот процесс продолжался до тех пор, пока человек не мог вспом­нить все восемь пар с первой попытки. Ко второй экспериментальной группе было применено воздействие, подобное первой, исключая то, что этим испытуемым предъявлялись те же самые восемь карточек в каждой попытке. Таким образом, это выглядело так: предъявлялось восемь пар бессмысленных слогов, давался тест на их воспроизве­дение, затем предъявлялись те же самые восемь пар слогов, вновь предлагалось их назвать, и так далее. Этот процесс повторялся до тех пор, пока участник не мог воспроизвести содержание всех восьми карточек с первой попытки.

Затем экспериментатор сравнил количество попыток, которые по­требовались первой и второй группе испытуемых для того, чтобы за­учить все восемь пар слогов. Значение числа попыток для безоши­бочного воспроизведения у обеих групп было примерно тем же самым (8,1). То есть все пары слогов в первой экспериментальной группе были выучены с первой попытки (или, по крайней мере, невыученные пары были выброшены) и не было обнаружено отличий в среднем количестве необходимых попыток для того, чтобы выучить все восемь пар бессмысленных слогов. На этом основании было сделано заклю­чение, что научение (то есть ассоциации) происходят по типу «все или ничего». Сформулировав несколько иначе, можно сказать, что во второй группе с каждым повторением происходило постепенное на­копление ассоциативного багажа. Если предположить, что повторе­ние важно для научения, то вторая группа должна была выучить во­семь пар слогов быстрее, чем первая группа, которая выучила содержание восьми карточек с единственной попытки без каких-либо повторений. Так как не было обнаружено никаких различий в данных двух групп, выводом было, что повторение не является необходимым для научения.

***********************************

Как можно ожидать, этот эксперимент послужил причиной не­которого волнения в научных кругах, особенно в рядах тех, кто под­держивал точку зрения об ассоциировании путем постепенного на­учения (ведь эксперимент заставлял думать, что такой взгляд на научение несостоятелен). Но вскоре после опубликования резуль­татов стали появляться резкие критические замечания в его адрес. Одним из них было то, что большинство сложных для запоминания пар слогов было, вероятно, удалено из материала, предъявленного первой экспериментальной группе, и таким образом окончатель­ный список для нее состоял только из более легких для заучивания пар слогов. При этом вторая группа должна была учить все подряд и, значит, список пар слогов, выученный испытуемыми из этой группы, состоял в итоге как из сложных, так и из легких для запо­минания пар. Неспособность эксперимента обнаружить более быс­трое выучивание у второй группы была вызвана тем, что слоги, выученные этой группой, были труднее, чем те, что в итоге запом­нила первая группа испытуемых.

Для проверки этой дополнительной гипотезы селекции Андервуд, Рехьюла и Кеппел (Underwood, Rehula and Keppel, 1962) по­вторили всю ранее описанную процедуру, за исключением того, что была добавлена контрольная группа, получавшая список бес­смысленных слогов, составленный из пар, которые испытуемые первой группы получали в последней попытке заучивания. Резуль­таты показали, что испытуемые контрольной группы выучили пары слогов быстрее, чем те, кто учил слоги, случайным образом подо­бранные из всего списка пар. Таким образом, создается впечатле­ние, что испытуемые в группе с удалением слогов в оригинальном эксперименте выучивали более легкие пары бессмысленных слогов, и это может послужить объяснением полученных результатов.

10. ОПРЕДЕЛЕНИЯ

Ниже приводится список терминов и понятий, упомянутых в данной теме. Мы рекомендуем студентам просмотреть материал во второй раз, чтобы дать определения каждому из следующих по­нятий.

*Вмешивающаяся переменная (confounding variable).

*Внешняя («прочая») пере­менная (extraneous variable).

*Выводы (inferences).

*Коррелированный t-критерий Стьюдента (correlated t-test).

*Межгрупповой план (between groups design).

*Научение с одной попытки (one-trial learning).

*Обеспечение неизменности (константности) условий (holding conditions constant).

*Парадигма (paradigm).

*Перцептивная защита (perceptual defense).

*План с независимыми ис­пытаниями (выборками) (independent subject design).

*План с повторными изме­рениями (repeated measure
design).

*План с попарной группи­ровкой (matched pair design).

*План с рандомизированными выборками (randomized subjects design).

*Попарно согласованный план (matched subjects design).

*Смешение (подмена) субъектных переменных (subject variable-subject variable confound).

*Социальное подкрепление (social reinforcement).

*Спонтанная ремиссия (spontaneous remission).

Люди также интересуются этой лекцией: Цивилизованный E-mail маркетинг.

*Сравнения (contrasts).

*t-критерий Стьюдента для зависимых выборок
(dependent t-test).

*Уравновешенная (сбалансиро­ванная) последовательность
(balanced siquence).

*Электроэнцефалограф (electroencephalograph).

*Эффект плацебо (placebo effect).

“Планирование и проведение эксперимента” ксп естествознание 3 класс

Актуализация субъективного опыта учащихся

Учитель предлагает учащимся ответить на вопросы.

1.  Что такое исследование?

2.  Кто и зачем проводит исследование?

Ответы на вопросы для повторения.

Формулирование целей урока совместно с учащимися.

–  Как  вы  думаете,  о  чем  мы  будем  говорить  сегодня  на

уроке?

Постановка перед учащимися учебной проблемы

Изучение нового материала

Работа по учебнику.

Учитель  предлагает  рассмотреть  схему  и  определить

порядок проведения исследования.

Расшифровка  последовательности  выполнения  действий

при проведении исследования:

-какова цель исследования;

-какие наблюдения надо провести;

-какие вопросы помогут в работе;

– какую гипотезу мы выдвигаем;

– подтверждена гипотеза или нет;

-оформление  результатов исследования (схема, таблица, постер).

Работа  в  парах  по  учебнику  –  выделение  главной  информации по теме урока.

Знакомство с новым термином «гипотеза».

Во время изучения нового материала учитель напоминает

о том,  что  можно  также  пользоваться  глоссарием  в конце

учебника при знакомстве с новыми определениями

Минутка отдыха

На разминку становись!

Вправо-влево покрутись,

Повороты посчитай,

Раз-два-три,  не  отставай,  (Вращение  туловищем  вправо

и влево.)

Начинаем приседать –

Раз-два-три-четыре-пять.

Тот, кто делает зарядку,

Может нам сплясать вприсядку. (Приседания.)

А теперь поднимем ручки,

И опустим их рывком.

Будто прыгаем мы с кручи

Летним  солнечным  деньком.  (Дети  поднимают  прямые

руки над головой, потом резко опускают их.)

А теперь ходьба на месте,

Левой-правой, стой раз-два. (Ходьба на месте.)

Мы за парты сядем, вместе

Вновь возьмемся за дела. (Дети садятся за парты.)

Проведение исследования по описанию в учебнике

1.  Подготовка  всего  необходимого  для  данного  исследования.

2. Проведение опытов по описанию.

3. Выводы учащихся по выполненной работе.

Так как жидкость движется от корня по стеблю к листьям

растения, значит, подкрашенная жидкость тоже будет двигаться.  Поэтому  корни  лука  изменят  цвет,  а  в  листьях

фиалки  и  салата  подкрашенная  жидкость  окрасит

трубочки,  по  которым  происходит  движение  воды.  Это

видно,  если  листок  рассмотреть  на  просвет.  (Именно  так

в цветочных магазинах окрашивают некоторые цветы.)

Первичная проверка новых знаний

Работа  в  тетради.  Восстановление  порядка  проведения

исследования  (задание  1).  Повторение  основных  понятий

(задание  2).  Фиксирование  результатов  исследования

(задание 3)

План

– Test Science 3.0

Установить цели тестирования

Производительность

Человеческий фактор

Надежность

Выбор переменных отклика

Весы, прошедшие эмпирическую проверку

Показатели производительности

Коэффициенты выбора

Стратегически изменяться

Константа удержания

Запись

Правильное планирование теста требует формирования правильной команды, использующей правильные инструменты.Правильно спланированный тест требует управления людьми, фасилитации команды, управления проектами и предметной экспертизы, как научной / инженерной, так и статистической. Успешные тесты часто требуют много размышлений, опыта, обсуждения, понимания и базового понимания статистического анализа.

В разделе «Планирование теста» представлены:

---

Этапы планирования теста

Окончательный успех эксперимента зависит от тщательного рассмотрения и выполнения процесса планирования.В этих разделах описывается общий процесс разработки экспериментов (т. Е. Тестов), доказавших свою эффективность на практике.

Установите цели тестирования

Четкая цель при разработке теста жизненно важна. Зачем ты проводишь тест? На какие вопросы ты хочешь ответить? Эти вопросы будут определять ваши варианты дизайна и анализа.

В этом разделе вы найдете сводку общих целей и задач тестирования.

Подробнее >>

Выбрать переменные ответа

Переменные ответа (также известные как зависимые переменные) измеряют результат теста.Ответы часто включают измерения производительности, эффективности или пригодности системы.

В этом разделе вы познакомитесь с передовыми методами выбора переменных отклика, обеспечивающих успех теста.

Подробнее >>

Коэффициенты выбора

Факторы – это независимые переменные, которые, как ожидается, повлияют на результаты тестирования. Факторы (например, погода) имеют несколько уровней (например, дождливый, сухой), которые меняются. Хороший тест контролирует или манипулирует уровнями, чтобы оценить их влияние.

В этом разделе вы узнаете, как выбирать факторы и расставлять приоритеты для планирования тестирования.

Подробнее >>

---

Особые соображения

Некоторые тесты особенно сложны или уникальны и требуют дополнительных соображений, помимо тех, которые описаны в «Шагах по планированию теста». В следующих разделах представлены дополнительные рекомендации по тестам, которые часто приводят к новым вопросам у специалистов по планированию тестирования.

Запланировать тест на надежность

Надежность – это способность объекта выполнять требуемую функцию в заданных условиях окружающей среды и эксплуатации и в течение указанного периода времени.Оценка надежности систем знакомит с уникальными аспектами дизайна. Данные тестов надежности ведут себя иначе, чем данные других тестов.

В этом разделе вы узнаете о тестировании различных типов надежности и общих влияющих факторах.

План эксперимента

– обзор

2 Постановка проблемы

Мы предполагаем, что данный процесс может быть описан набором дифференциально-алгебраических уравнений (ДАУ) (Bauer et al., 2000)

(1) y. (T) = f (t, y (t), p, uED (t)), y (t0) = y0 (p),

, где t представляет время, y обозначает переменные состояния, p – это набор параметров, которые необходимо определить, а u _ED представляет набор переменных управления, которые позже используются в качестве дизайна. переменные для планирования экспериментов. Оценка параметров выполняется путем подгонки результатов моделирования модели y ^calc к измеренным данным y ^mes . Мы предполагаем, что ошибки измерения ξy независимы, нормально распределены и могут быть охарактеризованы матрицей ковариации измерений MV. Оценка параметра основана на минимизации взвешенного функционала наименьших квадратов

(2) minp∑k = 1Nexp ((ykmeas-yk (uED, k, p)) ⋅MV-1⋅ ((ykmeas-yk ( uED, k, p)).

Стратегия планирования эксперимента на основе модели направлена ​​на максимизацию точности оценки параметров, которая математически представлена ​​матрицей дисперсии-ковариации параметров модели C и характеризует статистическую неопределенность оценки параметров.

(3) minϕ (C) uEDs.tf (y. (T), y (t), uED, p, t) = 0y (t0) = y0 (p) uEDmin≤uED (t) ≤uEDmax

Статистическая неопределенность представлена ​​доверительной областью. Таким образом, уменьшение размера доверительной области для каждого параметра модели приводит к минимизации ковариационно-дисперсионной матрицы C. Размер доверительной области (размер матрицы C) определяет ожидаемое информационное содержание, которое может быть извлечено из данные измерений. Вид функционала ϕ характеризует выбранный критерий оптимальности.Общие критерии проектирования – это так называемые A-, D- и E-оптимальные критерии, определение которых можно найти в (Franceschini and Macchietto, 2008). Далее мы используем критерий A-оптимальности, который представляет след ковариационно-дисперсионной матрицы и минимизирует средние стандартные отклонения параметра.

Ковариационно-дисперсионная матрица определяется как инверсия информационной матрицы Фишера.

(5) C = F-1 = (∑k = 1NExpFk) -1

Мы рассматриваем последовательную стратегию, поэтому, согласно (Galvanin et al., 2007) информационная матрица после N _exp экспериментов может быть рассчитана следующим образом:

(6) F = ∑k = 1Nexp-1Fk + FNexp (p, uED, Nexp) = FC + FNexp (p, uED , Nexp)

, где F _c представляет собой постоянную часть информационной матрицы Фишера, вычисленной в ходе предыдущих экспериментов N _exp – 1. В ур. (6) в процессе оптимизации можно изменять только вектор uED, Nexp.

Для одного эксперимента матрица Фишера вычисляется на основе коэффициентов чувствительности для каждого расчетного выхода модели

(7) Fk (p, uED, k, y) = QkTMVk-1Qk,

, где MV _k представляет матрицу ковариации измерений, а Q _k характеризует матрицу чувствительности.Параметры модели часто имеют очень разные размеры. Поэтому удобно использовать нормализованные коэффициенты чувствительности, как определено в формуле. (8) (Barz et al., 2010).

(8) Qk – = [∂yk (ti) ∂pjpj]; ∀j∈Np, ∀i∈Nsp

Исходя из этих соображений, в данной работе применяются нормированные коэффициенты чувствительности.

Важность планов тестирования / протокола тестирования (с шаблоном)

Планы тестирования

, также называемые протоколом тестирования, представляют собой официальные документы, в которых обычно излагаются требования, действия, ресурсы, документация и графики, которые необходимо выполнить.Перед любым тестом следует разработать план тестирования в той или иной форме.

Основными причинами для разработки планов тестирования являются:

• Подготовка: Чтобы убедиться, что все разумные аспекты проведения теста были учтены.
• Связь и обучение: Для обучения тех, кому необходимо помочь с тестом.
• Эффективность: Обеспечить механизм для определения потребностей, ограничений (перечисление предположений) и обоснования тестирования с целью установления ожиданий, получения ресурсов, исследования неожиданных результатов, обеспечения нормальности и эффективности.
• Правовая и регулятивная осмотрительность: Для обеспечения возможности воспроизведения и защиты сделанных открытий, для снижения потенциальных судебных издержек, связанных с использованием этих открытий, и для оказания помощи в предоставлении доказательств, демонстрирующих эффективность регулирующих органов.

Содержание плана тестирования

Названия и порядок разделов в плане тестирования значительно различаются от компании к компании, учитывая различия в типах тестирования, стратегии, области применения и отрасли. Примеры тестов, для которых должны быть составлены планы или протоколы, включают медицинские, немедицинские, полевые, лабораторные или производственные исследования, планирование экспериментов (DOE), решение проблем, тесты надежности или регрессии программного обеспечения, а также тесты для обеспечения качества проектирования, оценки или проверки. .

Начало плана (как правило, справочная информация) – Рекомендуемые соображения по поводу информации, которая должна быть включена в начало плана: информация заголовка, заголовок, дата, автор, код файла, номер проекта, описание продукта / устройства / модели , подкомпоненты фактически тестируемого продукта, для кого написан отчет, номер теста и версия, а также ссылки на другие связанные документы. Ссылки могут включать в себя отраслевые стандарты, документы мозгового штурма (диаграммы рыбьей кости, исследования FMEA / FTA / FMECA, соответствующие протоколы и отчеты V&V, полевые истории или отчеты об отклонениях, процедуры компании, ссылки на соответствующие веб-сайты и т. Д.). Для больших планов следует учитывать титульные листы и оглавление. Большинство планов содержат объяснение того, о чем идет речь (например, резюме, введение, аннотация, предыстория, цель, история и т. Д.). Некоторые планы также включают информацию о типе теста и стратегии, определения, важные термины или ключевые слова, подписи одобрения, рентабельность инвестиций и / или другую информацию об обосновании.

Шаблон плана тестирования

К этой статье прилагается бесплатный шаблон Word для плана тестирования с уже настроенными общими разделами.Используя детали из предыдущих планов тестирования, статистическое программное обеспечение, логотипы компаний или проектов и другие материалы, вы можете вырезать и вставить шаблон и сократить время разработки плана тестирования. Или сэкономьте себе и своей компании еще больше времени, денег, рисков и связанных с ними проблем, используя шаблон, который поможет вам в разработке собственного формата плана тестирования. Конечно, вы захотите удалить разделы, которые не подходят вашему стилю ведения бизнеса.

Середина плана (обычно информация, связанная с областью применения) – Предлагаемые соображения по поводу информации, которая должна быть включена в середину плана, включают план сбора данных или выборки (включая размер выборки, уровни достоверности приемки и методы выборки), условия испытаний или инструкции по настройке, процедура тестирования, определяющая точные измерения, требования к мониторингу тестирования и используемые ресурсы (оборудование и персонал), включая обязанности.Большинство планов содержат в той или иной форме блок-схему, карты процессов или потоков создания ценности, предположения, которые необходимо сделать и почему (включая статистическое распределение, если это применимо), иерархическую структуру или график работ и / или то, как факторы тестирования (ответы Ys и Control Xs) были выбраны. Некоторые планы включают особые запросы или соображения, связанные с заказчиком или площадкой, информацию о возможностях системы измерения, а также то, как проблемы, связанные с тестированием, должны сообщаться и исправляться (т. Е. Система отчетов о сбоях и корректирующих действий).Также включите отчет о нерешенных проблемах.

Конец плана (обычно информация, связанная с анализом) – Предлагаемые соображения по поводу информации, которая должна быть включена в конец плана, – это используемые статистические методы, гипотеза, подлежащая проверке, мощность тестовой матрицы и / или почему он был выбран (для DOE) и определение успешности теста (критерии «прошел / не прошел», насколько это возможно). Большинство планов включают в себя то, как данные должны быть проанализированы, непредвиденные обстоятельства, как обрабатывать различные типы предварительных или недостаточных результатов, как должны быть представлены или резюмированы выводы (т.е. значимость с уверенностью, пройден / не пройден и т. д.). Некоторые планы также включают ссылки и / или библиографию, приложения, которые могут потребоваться, и сообщения об авторских правах или правах собственности, если это применимо.

Рекомендации по общему плану тестирования

• Сделайте их расширенными для контекста: Планы тестирования с расширенным контекстом содержат, казалось бы, неважные детали, которые часто действительно помогают уменьшить путаницу, документировать детали теста, которые могут потребоваться, и / или помогают объяснить любые необъяснимые результаты.
• Использовать гипертекст: Часто бывает полезно добавить ссылки на другие части того же документа (т.е.е. «Переходите к заключению», «смотрите подробности», «смотрите ссылки»).
• Добавить ключевые предположения: Перечисление ключевых предположений в плане может быть важным для определения ожиданий читателя, влияния на одобрение, уверенности руководства в том, что тест хорошо продуман, объяснения неожиданных результатов и определения направления для будущих тестов. Примеры предположений следующие:
  • «Предполагается, что результаты содержат равномерное распределение ошибок».
  • «Предполагается, что выбранное время стабилизации изменения температуры является достаточным.”
• Преобразуйте план тестирования в отчет о тестировании, насколько это возможно: Планы тестирования часто можно преобразовать в отчеты о тестировании. Некоторые разделы меняются только по времени. Остальные разделы можно использовать повторно в том виде, в котором они были написаны.
• Примите дополнительные меры, связанные с данными: Убедитесь, что выборка репрезентативна для генеральной совокупности (случайная и беспристрастная), лично наблюдайте за сбором данных и убедитесь, что система измерения работает.
• Разработка библиотек тестов: Стандартные тесты и / или результаты предыдущих тестов (особенно тестов надежности) должны быть легко доступны и повторно использоваться, если это применимо и возможно.

Заключение: план тестирования – разумный шаг

Легко понять, насколько планы тестирования являются важной и разумной частью проведения эксперимента. Они экономят время и деньги, помогают получить наилучшие результаты и могут способствовать быстрому написанию отчетов об испытаниях.

Вам также может понравиться

Планирование тестирования экспериментов. | Скачать таблицу

Карбиды вольфрама являются типичными труднообрабатываемыми материалами из-за их высокой твердости и хрупкости, которые вызывают сильный износ инструмента и сокращают срок службы инструмента при обработке с использованием традиционных методов обработки, что приводит к потере качества и точности обрабатываемой детали. части.В этой статье была предложена новая технология лазерной токарной обработки карбидов вольфрама с ультразвуковым сопровождением, и основная цель этого исследования заключалась в исследовании поведения инструментов из поликристаллического алмаза (PCD) при токарной обработке карбидов вольфрама с применением ультразвуковой вибрации к инструментам и лазерам. -индуцированный нагрев заготовок. Для определения подходящих параметров было использовано тепловое моделирование лазерной токарной обработки карбида вольфрама с ультразвуковой обработкой. Путем контрастных экспериментов, проведенных во время обычного точения, токарно-эллиптической токарной обработки, токарной обработки с помощью лазера и комбинированного лазерного точения карбидов вольфрама с инструментами из поликристаллического алмаза, были исследованы характеристики износа инструмента и основные механизмы износа, а также взаимосвязь между износом инструмента и поверхностью. Качество заготовки определялось путем анализа влияния износа инструмента на значения шероховатости поверхности и микрорельеф обработанной поверхности.Значительное снижение силы резания и существенное увеличение срока службы инструмента были получены при комбинированном лазерном точении карбидов вольфрама с инструментами из PCD по сравнению с обычным точением, ультразвуковым токарным точением на эллиптических вибрациях и токарной обработкой с помощью лазера; следовательно, были получены более низкие значения шероховатости поверхности и хорошее качество поверхности детали. Во время комбинированного точения карбидов вольфрама с использованием лазерного ультразвука с инструментами из PCD износ передней поверхности характеризовался микропрокидыванием и выкрашиванием, на боковой поверхности были мелкие микроканавки, ориентированные вдоль направления резания, и преобладающие механизмы разрушения инструментов из PCD были синергетическое взаимодействие диффузии, окисления, опрокидывания и выкрашивания.С увеличением износа инструмента значения шероховатости поверхности при комбинированном лазерном ультразвуковом точении неуклонно увеличивались, а режим резания был изменен с пластичного на хрупкое, что привело к появлению многих дефектов, включая ямки, пустоты, канавки и т. Д. на обработанных поверхностях.

Планирование экспериментов, тестирование программного обеспечения, комбинаторное тестирование, планирование тестирования на основе научных данных: веб-семинар по вопросам соответствия (онлайн-семинар)

В этом тренинге по тестированию программного обеспечения будет рассмотрен метод тестирования, основанный на «Планировании экспериментов», чтобы значительно сократить количество повторяющихся тестовых примеров и гарантировать обнаружение максимального количества дефектов.

Почему вам стоит посетить:

Согласно отраслевым эталонным данным, средний проект стоимостью около 1 000 000 долларов потребует примерно 4 000 тестовых примеров. Примерно 20% этих случаев – это дублирование других тестов – они не показывают ничего нового о качестве приложения.

Используя метод, обсуждаемый в этом сеансе, вы можете ожидать значительного уменьшения количества избыточных тестовых примеров, обеспечения того, чтобы важные случаи не были пропущены, и уменьшения общего количества требуемых тестов, а также сокращения общих затрат на тестирование на 40%.Мы также обсудим тематические исследования, проведенные крупной аутсорсинговой фирмой, которые показали, что количество дефектов, обнаруженных за час тестирования, увеличилось в 2,4 раза.

Метод, обсуждаемый в этом сеансе, применим ко всем типам тестирования программного обеспечения.

Участки, охваченные семинаром:

• Фон: «Дизайн экспериментов».
• Тестирование программного обеспечения как «эксперимент».
• Что такое «комбинаторные» взаимодействия? Почему они важны?
• Экономическое обоснование комбинаторного тестирования.
• Пример использования: Amazon Checkout.
• Ограничения и предостережения.
• Список литературы.

Кто получит выгоду:

Этот веб-семинар будет полезен всем, кто занимается тестированием программного обеспечения – как специалистам по программному обеспечению, так и специалистам в области бизнеса, участвующим в тестировании программного обеспечения. Технического образования не требуется. Те, которые выиграют больше всего, включают:

• Специалист прикладной области
• Участники приемочного тестирования пользователей
• Бизнес-аналитики
• Инженеры по требованиям
• Руководители проектов
• Менеджеры по обеспечению качества
• Специалисты по совершенствованию процессов
• Специалисты по программным метрикам
• Специалисты по программным процессам

Профиль инструктора:

Гэри Гак, , является основателем и президентом Process-Fusion.net, поставщик услуг по оценке, стратегическому консультированию, обучению и коучингу, связанных с интеграцией и развертыванием программного обеспечения и передового опыта в области ИТ. Г-н Гак имеет степень магистра делового администрирования Wharton School, черный пояс по бережливому производству и шести сигмам и сертифицированный инженер по качеству программного обеспечения ASQ. У него более 40 лет разнообразного опыта, в том числе более 20 лет работы над улучшением процессов. Он является автором множества статей и книги под названием «Управление черной дырой: руководство по рискам программных проектов».

Фон темы:

Программное обеспечение для тестирования стоит дорого и часто не очень эффективно. При правильном анализе, что редко делается, мы часто обнаруживаем очень существенные уровни избыточности среди тестовых примеров. Мы также часто обнаруживаем, что важные тестовые примеры полностью пропущены. Программное обеспечение для тестирования всегда составляет не менее 30% от общей стоимости программного обеспечения, а иногда и до 70%.

Что касается календарного времени, на тестирование часто требуется 40% от общего расписания, а иногда и намного больше.И заказчики, и разработчики постоянно задаются вопросом: «Насколько хватит?» Согласно отраслевым эталонным данным, средний проект стоимостью около 1000000 долларов потребует примерно 4000 тестовых примеров. Примерно 20% этих случаев – это дублирование других тестов – они не показывают ничего нового о качестве приложения. Даже при наличии 4000 тестовых примеров высококачественный программный продукт выявляет около 200 дефектов (95% предрелизного уровня обнаружения). Более типичные средние проекты обеспечивают от 400 до 800 дефектов (уровень обнаружения 60-80%).

Можно ожидать, что отдельные типы испытаний (например, установка, интеграция, система, приемка и т. Д.) Обнаружат от 30% до 50% дефектов, присутствующих во время проведения испытания. Последовательность из 5-8 различных типов тестов является нормальным случаем.

В некоторых отраслях промышленности, особенно в фармацевтике, давно используется статистический метод, известный как «Планирование экспериментов», для разработки режимов тестирования, которые позволяют получить максимум информации из относительно минимального количества тестов. Совсем недавно этот подход был адаптирован к области тестирования программного обеспечения.Существует множество различных видов тестирования программного обеспечения, в том числе некоторые, такие как модульное и интеграционное тестирование, которые требуют значительных технических знаний. Другие типы тестирования, такие как системный уровень и принятие пользователями, в гораздо большей степени полагаются на знание бизнеса и предметной области. Метод, обсуждаемый на этом занятии, применим ко всем типам тестирования программного обеспечения.

15 шагов для идеального сплит-теста

Когда маркетологи, подобные нам, создают целевые страницы, пишут электронные письма или разрабатывают кнопки с призывом к действию, может возникнуть соблазн использовать нашу интуицию, чтобы предсказать, что заставит людей щелкнуть и совершить конверсию.

Но принятие маркетинговых решений на основе «ощущений» может очень пагубно сказаться на результатах. Вместо того, чтобы полагаться на догадки или предположения при принятии этих решений, вам гораздо лучше провести A / B-тест, который иногда называют сплит-тестом.

A / B-тестирование может быть полезным, потому что разные аудитории ведут себя по-разному. То, что работает для одной компании, не обязательно работает для другой. Фактически, эксперты по оптимизации коэффициента конверсии (CRO) ненавидят термин «передовой опыт», потому что он может быть не лучшим для вы .

Но A / B-тесты также могут быть сложными. Если вы не будете осторожны, вы можете сделать неверные предположения о том, что нравится людям и что заставляет их кликать, – решения, которые могут легко дезинформировать другие части вашей стратегии.

Продолжайте читать, чтобы узнать, как проводить A / B-тестирование до, во время и после сбора данных, чтобы вы могли принимать оптимальные решения на основе своих результатов.

Что такое A / B-тестирование?

A / B-тестирование, также известное как сплит-тестирование, представляет собой маркетинговый эксперимент, в котором вы разделяете аудиторию, чтобы протестировать несколько вариантов кампании и определить, какой из них работает лучше.Другими словами, вы можете показать версию А маркетингового контента одной половине вашей аудитории, а версию Б – другой.

Чтобы запустить A / B-тест, необходимо создать две разные версии одного фрагмента контента с изменениями в одной переменной . Затем вы покажете эти две версии двум аудиториям одинакового размера и проанализируете, какая из них показала лучшие результаты за определенный период времени (достаточно долго, чтобы сделать точные выводы о ваших результатах).

Источник изображения

A / B-тестирование помогает маркетологам наблюдать, как одна версия маркетингового контента работает вместе с другой.Вот два типа A / B-тестов, которые вы можете провести, чтобы повысить коэффициент конверсии вашего сайта:

Пример 1: Тест взаимодействия с пользователем

Возможно, вы хотите узнать, повысит ли CTA перемещение определенной кнопки с призывом к действию (CTA) в верхнюю часть домашней страницы вместо того, чтобы держать ее на боковой панели.

Чтобы проверить эту теорию A / B, вы должны создать другую, альтернативную веб-страницу, которая использует новое размещение CTA. Существующий дизайн с боковой панелью CTA – или « control » – это Версия A.Версия B с призывом к действию вверху называется « Challenger ». Затем вы должны протестировать эти две версии, показывая каждую из них заранее определенному проценту посетителей сайта. В идеале процент посетителей, просматривающих обе версии, одинаков.

Узнайте, как легко провести A / B-тестирование компонента вашего веб-сайта с помощью HubSpot’s Marketing Hub.

Пример 2: Тест проекта

Возможно, вы хотите узнать, может ли изменение цвета кнопки с призывом к действию (CTA) увеличить ее CTR.

Чтобы A / B проверить эту теорию, вы должны разработать альтернативную кнопку с призывом к действию с другим цветом кнопки, которая приведет к той же целевой странице , что и элемент управления. Если вы обычно используете красную кнопку с призывом к действию в своем маркетинговом контенте, а зеленый вариант получает больше кликов после вашего A / B-теста, это может заслуживать изменения цвета кнопок с призывом к действию по умолчанию на зеленый с этого момента. на.

Чтобы узнать больше об A / B-тестировании, загрузите наше бесплатное вводное руководство здесь.

A / B-тестирование в маркетинге

A / B-тестирование имеет множество преимуществ для маркетинговой команды, в зависимости от того, что вы решите протестировать. Однако, прежде всего, эти тесты ценны для бизнеса, потому что они невысоки по стоимости, но приносят большие выгоды.

Допустим, вы нанимаете создателя контента с зарплатой 50 000 долларов в год. Этот создатель контента публикует пять статей в неделю для блога компании, всего 260 статей в год. Если средний пост в блоге компании генерирует 10 лидов, можно сказать, что создание 10 лидов для бизнеса стоит немногим более 192 долларов (зарплата 50 000 долларов ÷ 260 статей = 192 доллара на статью).Это значительная часть изменений.

Теперь, если вы попросите этого создателя контента потратить два дня на разработку A / B-теста одной статьи вместо того, чтобы писать двух статей за этот период времени, вы можете сжечь 192 доллара, потому что публикуете на одну статью меньше. Но если этот A / B-тест обнаружит, что вы можете увеличить коэффициент конверсии каждой статьи с 10 до 20 лидов, вы потратили 192 доллара, чтобы потенциально удвоить количество клиентов, получаемых вашим бизнесом от вашего блога.

Если тест не пройдет, вы, конечно, потеряете 192 доллара, но теперь вы можете сделать свой следующий A / B-тест еще более образованным.Если этот второй тест удвоит коэффициент конверсии вашего блога, вы в конечном итоге потратите 384 доллара, чтобы потенциально удвоить доход своей компании. Независимо от того, сколько раз ваш A / B-тест терпит неудачу, его конечный успех почти всегда перевешивает затраты на его проведение.

Есть много типов сплит-тестов, которые можно провести, чтобы эксперимент окупился. Вот несколько общих целей, которые маркетологи ставят перед своим бизнесом при A / B-тестировании:

• Увеличение посещаемости веб-сайта: Тестирование различных заголовков сообщений в блогах или заголовков веб-страниц может изменить количество людей, которые нажимают на этот заголовок с гиперссылкой, чтобы перейти на ваш веб-сайт.В результате это может увеличить посещаемость сайта.
• Более высокий коэффициент конверсии: Тестирование различных местоположений, цветов или даже якорного текста в ваших призывах к действию может изменить количество людей, которые нажимают на эти призывы к действию, чтобы перейти на целевую страницу. Это может увеличить количество людей, которые заполняют формы на вашем веб-сайте, отправляют вам свои контактные данные и «превращаются» в потенциальных клиентов.
• Более низкий показатель отказов: Если посетители вашего веб-сайта уходят (или «отскакивают») быстро после посещения вашего веб-сайта, тестирование различных вводных сообщений в блогах, шрифтов или избранных изображений может снизить этот показатель отказов и удержать больше посетителей.
• Отказ от покупки в нижней корзине: Компании электронной торговли видят, что в среднем 70% клиентов покидают свой веб-сайт с товарами в корзине. Это известно как «брошенная корзина» и, конечно же, наносит ущерб любому интернет-магазину. Тестирование различных фотографий продуктов, оформления страниц оформления заказа и даже когда отображается стоимость доставки, может снизить этот показатель отказа.

Теперь давайте пройдемся по контрольному списку для настройки, запуска и измерения A / B-теста.

Как проводить A / B-тестирование

Следуйте вместе с нашим бесплатным набором для A / B-тестирования со всем необходимым для проведения A / B-тестирования, включая шаблон отслеживания тестов, практическое руководство для инструкций и вдохновения, а также калькулятор статистической значимости, чтобы узнать, были ли ваши тесты успешными. , убытки или безрезультатные.

Перед A / B-тестом

Давайте рассмотрим шаги, которые необходимо предпринять перед началом A / B-теста.

1. Выберите одну переменную для тестирования.

По мере того, как вы оптимизируете свои веб-страницы и электронную почту, вы можете обнаружить, что есть ряд переменных, которые вы хотите проверить. Но чтобы оценить, насколько эффективно изменение, вам нужно выделить одну « независимую переменную » и измерить ее эффективность. В противном случае вы не можете быть уверены, какая переменная повлияла на изменение производительности.

Вы можете протестировать более одной переменной для одной веб-страницы или электронной почты – просто убедитесь, что вы тестируете их по очереди.

Чтобы определить переменную, посмотрите на элементы в ваших маркетинговых ресурсах и их возможные альтернативы для дизайна, формулировок и макета.Другие вещи, которые вы можете проверить, включают строки темы электронной почты, имена отправителей и различные способы персонализации ваших писем.

Имейте в виду, что даже простые изменения, такие как изменение изображения в электронном письме или слов на кнопке с призывом к действию, могут привести к большим улучшениям. На самом деле, такого рода изменения обычно легче измерить, чем более крупные.

Примечание: Иногда имеет смысл тестировать несколько переменных, а не одну.Этот процесс называется многовариантным тестированием. Если вам интересно, стоит ли проводить A / B-тест или многомерный тест, вот полезная статья от Optimizely, в которой сравниваются эти два процесса.

2. Определите свою цель.

Хотя вы будете измерять несколько метрик во время одного теста, выберите основную метрику, чтобы сосредоточиться на до того, как вы запустите тест . Фактически, сделайте это еще до того, как настроите второй вариант. Это ваша « зависимая переменная », которая изменяется в зависимости от того, как вы управляете независимой переменной.

Подумайте, где вы хотите, чтобы эта зависимая переменная была в конце сплит-теста. Вы можете даже заявить официальную гипотезу и проверить свои результаты на основе этого прогноза.

Если после этого вы подождете, чтобы подумать о том, какие показатели важны для вас, каковы ваши цели и как предлагаемые вами изменения могут повлиять на поведение пользователей, то вы можете настроить тест не самым эффективным способом.

3. Создайте «контроль» и «претендента».’

Теперь у вас есть независимая переменная, зависимая переменная и желаемый результат. Используйте эту информацию, чтобы настроить неизменную версию того, что вы тестируете, в качестве сценария управления. Если вы тестируете веб-страницу, это уже существующая неизмененная страница. Если вы тестируете целевую страницу, это будет дизайн и копия целевой страницы, которые вы обычно используете.

Оттуда создайте претендента – измененный веб-сайт, целевую страницу или электронное письмо, которое вы будете проверять на соответствие своему контролю.Например, если вам интересно, повлияет ли добавление отзыва на целевую страницу на конверсию, настройте свою контрольную страницу без отзывов. Затем создайте своего претендента с характеристикой.

4. Разделите группы выборки поровну и случайным образом.

Для тестов, в которых у вас есть больший контроль над аудиторией – например, с электронной почтой – вам нужно протестировать с двумя или более аудиториями, которые равны, чтобы получить окончательные результаты.

То, как вы это сделаете, будет зависеть от того, какой инструмент A / B-тестирования вы используете.Например, если вы являетесь клиентом HubSpot Enterprise, проводящим A / B-тест по электронной почте, HubSpot автоматически разделит трафик на ваши варианты, чтобы каждый вариант получал случайную выборку посетителей.

5. Определите размер вашей выборки (если применимо).

Способ определения размера выборки также будет зависеть от вашего инструмента A / B-тестирования, а также от типа проводимого A / B-теста.

Если вы проводите A / B-тестирование электронной почты, вы, вероятно, захотите отправить A / B-тест в подмножество вашего списка, которое достаточно велико для достижения статистически значимых результатов.В конце концов, вы выберете победителя и отправите выигрышный вариант остальной части списка. (См. Электронную книгу «Наука сплит-тестирования» в конце этой статьи, чтобы узнать больше о том, как рассчитать размер вашей выборки.)

Если вы являетесь клиентом HubSpot Enterprise, вам будет некоторая помощь в определении размера вашей выборочной группы с помощью ползунка. Это позволит вам провести A / B-тест 50/50 для любого размера выборки, хотя для всех остальных разделений выборки требуется список из не менее 1000 получателей.

Если вы тестируете что-то, что не имеет конечной аудитории, например веб-страницу, то время, в течение которого вы будете выполнять тест, напрямую повлияет на размер вашей выборки.Вам нужно дать вашему тесту работать достаточно долго, чтобы получить значительное количество просмотров. В противном случае будет сложно сказать, была ли статистически значимая разница между вариантами.

6. Решите, насколько важными должны быть ваши результаты.

Выбрав целевую метрику, подумайте, насколько важными должны быть ваши результаты, чтобы оправдать выбор одного варианта по сравнению с другим. Статистическая значимость – это очень важная часть процесса A / B-тестирования, которую часто неправильно понимают.Если вам нужно что-то напомнить, я рекомендую прочитать это сообщение в блоге о статистической значимости с точки зрения маркетинга.

Чем выше процент вашего уровня уверенности, тем больше вы можете быть уверены в своих результатах. В большинстве случаев вам понадобится минимальный уровень достоверности 95% – предпочтительно даже 98% – особенно, если для настройки этого эксперимента требуется много времени. Однако иногда имеет смысл использовать более низкий уровень достоверности, если вам не нужно, чтобы тест был таким строгим.

Мэтт Рео, старший инженер-программист в HubSpot, любит думать о статистической значимости, как о ставке.На какие коэффициенты вы можете сделать ставку? Сказать: «Я на 80% уверен, что это правильный дизайн, и я готов поставить на него все» – все равно что провести A / B-тест до 80% значимости и затем объявить победителя.

Рео также говорит, что вам, вероятно, понадобится более высокий порог достоверности при тестировании чего-то, что лишь незначительно повышает коэффициент конверсии. Почему? Потому что случайная дисперсия, скорее всего, будет играть большую роль.

«Примером, в котором мы могли бы чувствовать себя безопаснее, понизив порог уверенности, является эксперимент, который, вероятно, повысит коэффициент конверсии на 10% или более, например, переработанный раздел героев», – пояснил он.

“Вывод из этого состоит в том, что чем более радикальное изменение, тем менее научным нам нужно подходить к процессу. Чем более конкретным является изменение (цвет кнопки, микрокопия и т. Д.), Тем более научным мы должны быть, потому что изменение менее может иметь большое и заметное влияние на коэффициент конверсии “.

7. Убедитесь, что вы запускаете только один тест за раз в любой кампании.

Тестирование более чем одного объекта для одной кампании – даже если оно не на одном и том же активе – может усложнить результаты.Например, если вы проводите A / B-тестирование кампании электронной почты, которая направляет на целевую страницу одновременно с A / B-тестированием этой целевой страницы, как вы можете узнать, какое изменение вызвало увеличение количества потенциальных клиентов?

Во время A / B-теста

Давайте рассмотрим шаги, которые необходимо предпринять во время вашего A / B-теста.

8. Используйте инструмент A / B-тестирования.

Чтобы провести A / B-тест на своем веб-сайте или по электронной почте, вам понадобится инструмент A / B-тестирования. Если вы являетесь клиентом HubSpot Enterprise, программное обеспечение HubSpot имеет функции, которые позволяют вам проводить A / B-тестирование электронных писем (узнайте, как это сделать), призывы к действию (узнайте, как здесь) и целевые страницы (узнайте, как здесь).

Для клиентов, не имеющих отношения к HubSpot Enterprise, другие варианты включают Google Analytics, который позволяет проводить A / B-тестирование до 10 полных версий одной веб-страницы и сравнивать их производительность с использованием случайной выборки пользователей.

9. Проверьте оба варианта одновременно.

Время играет важную роль в результатах вашей маркетинговой кампании, будь то время суток, день недели или месяц в году. Если бы вы использовали версию A в течение одного месяца и версию B через месяц, как бы вы узнали, было ли изменение производительности вызвано другим дизайном или другим месяцем?

Когда вы запускаете A / B-тесты, вам нужно запускать два варианта одновременно, иначе вы можете усомниться в своих результатах.

Единственное исключение здесь – это если вы сами проверяете время, например, поиск оптимального времени для отправки электронных писем. Это отличная вещь для тестирования, потому что в зависимости от того, что предлагает ваш бизнес и кто ваши подписчики, оптимальное время для взаимодействия с подписчиками может значительно различаться в зависимости от отрасли и целевого рынка.

10. Дайте A / B-тесту достаточно времени для получения полезных данных.

Опять же, вы захотите убедиться, что ваш тест выполняется достаточно долго, чтобы получить значительный размер выборки.В противном случае будет сложно сказать, была ли статистически значимая разница между двумя вариантами.

Сколько времени достаточно? В зависимости от вашей компании и того, как вы проводите A / B-тест, получение статистически значимых результатов может произойти за часы … или дни … или недели. Большая часть того, сколько времени требуется для получения статистически значимых результатов, – это объем трафика, который вы получаете – поэтому, если ваш бизнес не получает большого трафика на ваш веб-сайт, вам потребуется гораздо больше времени, чтобы запустить A / B. тестовое задание.

Прочтите это сообщение в блоге, чтобы узнать больше о размере и сроках выборки.

11. Спрашивайте отзывы реальных пользователей.

A / B-тестирование во многом связано с количественными данными … но это не обязательно поможет вам понять , почему человек совершают одни действия по сравнению с другими. Пока вы проводите A / B-тест, почему бы не собрать качественную обратную связь от реальных пользователей?

Один из лучших способов узнать мнение людей – это опрос или голосование. Вы можете добавить на свой сайт анкету выхода, в которой у посетителей спрашивают, почему они не нажимали на определенный призыв к действию, или опрос на ваших страницах с благодарностью, который спрашивает посетителей, почему они нажали кнопку или заполнили форму.

Например, вы можете обнаружить, что многие люди нажимали на призыв к действию, ведущий их к электронной книге, но как только они видели цену, они не конвертировали. Такая информация поможет вам понять, почему ваши пользователи ведут себя определенным образом.

После A / B теста

Наконец, давайте рассмотрим шаги, которые необходимо предпринять после вашего A / B-теста.

12. Сосредоточьтесь на метрике своей цели.

Опять же, хотя вы будете измерять несколько метрик, сосредоточьтесь на этой метрике основной цели при проведении анализа.

Например, если вы протестировали два варианта электронного письма и выбрали потенциальных клиентов в качестве основного показателя, не обращайте внимания на показатель открытий или CTR. Вы можете увидеть высокий рейтинг кликов и низкие коэффициенты конверсии, и в этом случае вы можете в конечном итоге выбрать вариант с более низким рейтингом кликов.

13. Измерьте значимость своих результатов с помощью нашего калькулятора A / B-тестирования.

Теперь, когда вы определили, какой вариант работает лучше всего, пора определить, являются ли ваши результаты статистически значимыми.Другими словами, достаточно ли их, чтобы оправдать изменение?

Чтобы выяснить это, вам нужно провести тест на статистическую значимость. Вы можете сделать это вручную … или просто добавить результаты своего эксперимента в наш бесплатный калькулятор A / B-тестирования.

Для каждого протестированного варианта вам будет предложено ввести общее количество попыток, например отправленных электронных писем или просмотренных показов. Затем введите количество достигнутых целей – обычно вы смотрите на клики, но это также могут быть другие типы конверсий.

Калькулятор покажет уровень достоверности ваших данных для выигрышного варианта. Затем сравните это число со значением, которое вы выбрали, чтобы определить статистическую значимость.

14. Действуйте в соответствии с вашими результатами.

Если один вариант статистически лучше другого, у вас есть победитель. Завершите тест, отключив проигрышный вариант в инструменте A / B-тестирования.

Если ни один из вариантов не является статистически лучше, вы только что узнали, что проверяемая вами переменная не повлияла на результаты, и вам придется отметить тест как неубедительный.В этом случае оставьте исходный вариант или запустите другой тест. Вы можете использовать неудачные данные, чтобы определить новую итерацию вашего нового теста.

Хотя A / B-тесты помогают вам повлиять на результаты в каждом конкретном случае, вы также можете применить уроки, извлеченные из каждого теста, и применить их к будущим усилиям.

Например, если вы проводили A / B-тесты в своем почтовом маркетинге и неоднократно обнаруживали, что использование чисел в строках темы электронной почты обеспечивает более высокий рейтинг кликов, вы можете рассмотреть возможность использования этой тактики в большей части своих электронных писем.

15. Спланируйте следующий A / B-тест.

A / B-тест, который вы только что закончили, возможно, помог вам открыть новый способ сделать ваш маркетинговый контент более эффективным, но не останавливайтесь на достигнутом. Всегда есть место для дополнительной оптимизации.

Вы даже можете попробовать провести A / B-тест для другой функции той же веб-страницы или электронной почты, для которой вы только что тестировали. Например, если вы только что протестировали заголовок на целевой странице, почему бы не провести новый тест на основном тексте? Или цветовое решение? Или изображения? Всегда следите за возможностями увеличения коэффициента конверсии и потенциальных клиентов.

Примеры A / B-тестирования

Мы обсудили, как A / B-тесты используются в маркетинге и как их проводить, но как они на самом деле выглядят на практике?

Как вы могли догадаться, мы проводим множество A / B-тестов, чтобы повысить вовлеченность и увеличить количество конверсий на нашей платформе. Вот пять примеров A / B-тестов, которые вдохновят вас на собственные эксперименты.

1. Поиск по сайту

Панели поиска по сайту помогают пользователям быстро находить то, что им нужно на определенном сайте. HubSpot обнаружил из предыдущего анализа, что посетители, которые взаимодействовали с его панелью поиска на сайте, с большей вероятностью совершили конверсию в сообщении в блоге.Итак, мы провели A / B-тест, чтобы увеличить взаимодействие с панелью поиска.

В этом тесте функциональность панели поиска была независимой переменной, а просмотры на странице с благодарностью за контент были зависимой переменной. В эксперименте мы использовали одно контрольное условие и три контрольных условия.

В контрольном условии (вариант А) строка поиска осталась неизменной.

В варианте B панель поиска была увеличена и визуально более заметна, а текст-заполнитель был установлен на «поиск по теме.”

Вариант C выглядел идентично варианту B, но поиск выполнялся только по блогу HubSpot, а не по всему веб-сайту.

В варианте D панель поиска была увеличена, но текст заполнителя был установлен на «поиск в блоге». Этот вариант также искал только HubSpot Blog

Мы обнаружили, что вариант D является наиболее эффективным: он увеличил конверсию на 3,4% по сравнению с контролем и увеличил процент пользователей, использующих панель поиска, на 6,5%.

2.Мобильные призывы к действию

HubSpot использует несколько призывов к действию для предложений контента в сообщениях нашего блога, в том числе в теле сообщений, а также внизу страницы. Мы тщательно тестируем эти призывы к действию, чтобы оптимизировать их работу.

Для наших мобильных пользователей мы провели A / B-тест, чтобы определить, какой тип CTA внизу страницы дает наибольшую конверсию. Для нашей независимой переменной мы изменили дизайн панели призыва к действию. В частности, в нашем тесте мы использовали один контроль и три претендента. Для наших зависимых переменных мы использовали просмотры страниц на странице благодарности с призывом к действию и клики с призывом к действию.

Контрольное условие включало наше обычное размещение CTA внизу сообщений. В варианте B призыв к действию не имел опции закрытия или минимизации.

В варианте C мобильные считыватели могут закрыть CTA, нажав значок X. Как только он был закрыт, он больше не появлялся.

В вариант D мы включили возможность минимизировать CTA с помощью курсора вверх / вниз.

Наши тесты показали, что все варианты были успешными. Вариант D оказался наиболее успешным – 14.Увеличение конверсии на 6% по сравнению с контролем. Затем последовал вариант C с увеличением на 11,4% и вариант B с увеличением на 7,9%.

3. CTA авторам

В другом эксперименте с призывом к действию HubSpot проверил, приведет ли добавление слова «бесплатно» и другого описательного языка к призыву к действию авторов в верхней части сообщений блога увеличению количества потенциальных клиентов. Предыдущие исследования показали, что использование слова «бесплатно» в тексте с призывом к действию приведет к увеличению числа конверсий, а текст с указанием типа предлагаемого контента будет полезен для SEO и доступности.

В тесте независимой переменной был текст CTA, а главной зависимой переменной был коэффициент конверсии в форме предложения контента.

В контрольном условии текст CTA автора не изменился (см. Оранжевую кнопку на изображении ниже).

В варианте B к тексту призыва к действию добавлено слово «бесплатно».

В варианте C в текст призыва к действию была добавлена ​​описательная формулировка в дополнение к слову «бесплатно».

Интересно, что в варианте B количество отправленных форм снизилось на 14% по сравнению с контролем.Это было неожиданно, поскольку включение слова «бесплатно» в текст предложения по содержанию широко считается лучшей практикой.

Между тем, отправка форм в варианте C превзошла контроль на 4%. Был сделан вывод, что добавление описательного текста к призыву к действию автора помогло пользователям понять предложение и, таким образом, повысило вероятность их загрузки.

4. Содержание блога

Чтобы помочь пользователям лучше ориентироваться в блоге, HubSpot протестировал новый модуль содержания (TOC). Цель заключалась в том, чтобы улучшить пользовательский опыт, быстрее представляя читателям желаемый контент.Мы также проверили, приведет ли добавление CTA к этому модулю TOC к увеличению конверсии.

Независимой переменной этого A / B-теста было включение и тип модуля TOC в сообщениях блога, а зависимыми переменными были коэффициент конверсии при отправке формы предложения контента и клики по CTA внутри модуля TOC.

Контрольное условие не включало новый модуль TOC – контрольные сообщения либо не имели оглавления, либо имели простой маркированный список якорных ссылок в теле сообщения в верхней части статьи (на фото ниже).

В варианте B в сообщения блога был добавлен новый модуль оглавления. Этот модуль был липким, то есть он оставался на экране, пока пользователи прокручивали страницу вниз. Вариант B также включал призыв к действию с предложением контента в нижней части модуля.

Вариант C включает модуль, идентичный варианту B, но с удаленным CTA.

Оба варианта B и C не увеличили коэффициент конверсии сообщений в блогах. Контрольное условие превзошло вариант B на 7% и наравне с вариантом C.Кроме того, немногие пользователи взаимодействовали с новым модулем оглавления или призывом к действию внутри модуля.

5. Просмотр уведомлений

Чтобы определить лучший способ сбора отзывов клиентов, мы провели сплит-тест уведомлений по электронной почте и уведомлений в приложении. Здесь независимой переменной был тип уведомления, а зависимой переменной – процент тех, кто оставил отзыв, среди всех, кто открыл уведомление.

В элементе управления HubSpot отправил уведомление по электронной почте в виде обычного текста с просьбой оставить отзыв.В варианте B HubSpot отправил электронное письмо с изображением сертификата, включающим имя пользователя.

Для варианта C HubSpot отправлял пользователям уведомление в приложении.

В конечном итоге оба сообщения электронной почты работали одинаково и превзошли уведомления в приложении. Около 25% пользователей, открывших электронное письмо, оставили отзыв по сравнению с 10,3%, открывшими уведомления в приложении. Электронные письма также чаще открывали пользователи.

Начать A / B-тестирование сегодня

A / B-тестирование позволяет понять, какой контент и маркетинг хочет видеть ваша аудитория.Узнайте, как лучше всего выполнить некоторые из вышеперечисленных шагов, используя бесплатную электронную книгу ниже.

Примечание редактора: этот пост был первоначально опубликован в мае 2016 года и был обновлен для полноты.

Как создать культуру экспериментирования с продуктом (и проводить лучшие эксперименты!)

Джори Маккей

Джори – писатель, контент-стратег и отмеченный наградами редактор Unsplash Book. Он вносит свой вклад в Inc., Fast Company, Quartz и другие.

24 августа 2021 г. · 13 мин чтения

Насколько бы ни хотелось продуктовым командам (и менеджерам проектов) создавать подробные планы и следовать им, даже самые лучшие из них – всего лишь выдуманные догадки. Вместо этого отличные продукты строятся на основе экспериментов – попыток небольших масштабных изменений, иногда неудачных и использования результатов для обучения, роста и оптимизации.

Но создать культуру экспериментирования, при которой ваша команда будет рада искать нестандартные решения и опробовать структурированные эксперименты, не всегда легко.

Это потому, что экспериментирование требует времени и ресурсов и , чтобы противостоять вашим предположениям и интуиции (что может вызвать экзистенциальный кризис даже для самого уверенного менеджера по продукту).

Управляйте проектами как профессионалы. Попробуйте Planio.

Создание культуры стратегического и глубокого экспериментирования способствует формированию любознательных, устойчивых компаний, которые постоянно изменяются и адаптируются.

Фактически:

88% розничных продавцов считают, что #experimentation будет играть важную роль в поддержании конкурентоспособности бизнеса в ближайшие годы.

Так что же делает эксперимент с хорошим продуктом? Как их запускать, чтобы получить наилучшие результаты и самые чистые данные? И, что наиболее важно, как вы развиваете культуру неустанного экспериментирования в своей команде и в своей компании?

Что делает эксперимент с хорошим продуктом?

В первые дни творческих идей, безумных колебаний и чистой силы воли часто бывает достаточно, чтобы добиться успеха. Но по мере роста вашей компании этот тип экспериментов также должен «расти».

Проблема в том, что маленькие эксперименты скучные .Небольшие изменения приводят к небольшим результатам. Почему бы не потратить время на создание этой новой функции или маркетинговой кампании, которая действительно изменит ваш бизнес?

Два слова: Человеческая природа.

Мы ужасно знаем, чего хотят другие люди . Ставить всю свою компанию на крупную ставку, потому что у вас есть чувство, – ужасная идея. Вместо этого структурированный подход к небольшим, постепенным экспериментам поможет вашей команде:

• Learn: Вы быстро поймете реальное влияние ваших изменений и поверите данным.
• Улучшение: Результаты ваших экспериментов позволяют постоянно оптимизировать дизайн, взаимодействие, цены и функции.
• Экономия денег и ресурсов: Постоянно проводя множество небольших экспериментов, вы получите быстрый сигнал с минимальными инвестициями и простоями.
• Снижение рисков: Экспериментирование снижает риски сложных выпусков. Лучше получить плохие новости заранее и вернуться к чертежной доске, чем видеть провал месяцев или лет работы, когда вы выходите на рынок.

Станьте боссом рок-звезды, преуспев в управлении проектами.

Вот почему вам нужно проводить эксперименты. Но какой в первую очередь может стать хорошим экспериментом?

Хорошая (и плохая) новость в том, что экспериментировать можно практически с чем угодно. Все, что вам нужно, – это догадка и способ ее проверить. Однако, если вы хотите, чтобы ваши тесты привели к практическим выводам, они должны включать несколько конкретных компонентов:

1. Проблема: Хороший эксперимент решает реальную проблему пользователя.Эти проблемы обнаруживаются посредством анализа данных, анализа данных о клиентах, исследования рынка и опыта. Еще лучше, если эти проблемы связаны с центральной темой продукта , чтобы учесть сложную прибыль.
2. Пользователи: У хороших экспериментов есть четкий «размер аудитории» – доля людей, которые его увидят. Вам нужно знать, на кого это изменение повлияет, и на их типичное поведение, чтобы вы могли следить за другими косвенными изменениями.
3. Выгода: Хорошие эксперименты знают, какую пользу они дают пользователям. и считают компромисс.Если вы увеличите цену, уменьшите ли вы удержание пользователей?
4. Характеристика: Хорошие эксперименты предоставляют одно или несколько решений, которые, по вашему мнению, принесут пользу пользователям. Это «осознанные ставки» – вы знаете, что есть шанс, что они проиграют. Но вы все равно научитесь, даже если они это сделают.
5. Данные: Хорошие эксперименты строятся вокруг «метрики Полярной звезды» – какой-то конечной цели, которую вы хотите изменить. Большинство экспериментов собирают сотни точек данных и могут изменять поведение пользователей самыми разными способами.Вам нужно войти в него, зная метрику, которую вы пытаетесь изменить, и , на сколько .

Помимо всего прочего, хорошие эксперименты связаны с вашей миссией, ценностями и целями. Как пишет Фарид Мосават, бывший директор по продуктам в Slack:

«Хорошие эксперименты продвигают стратегию продукта. Плохие эксперименты только улучшают показатели ».

Экспериментирование – важная часть гибкой команды. Вам нужно делать ставки, разрабатывать программное обеспечение, отслеживать результаты и отзывы из реального мира, а затем применять их в своем следующем спринте.

Никогда не пропустите еще один крайний срок. Попробуйте Planio.

Как проводить мощные эксперименты с продуктом за 4 шага

Есть множество стратегий и методов, которые вы можете использовать, чтобы начать экспериментировать с продуктом уже сегодня. Однако основные элементы проведения надлежащего эксперимента с продуктом остаются неизменными.

Шаг 1. Задавайте правильные вопросы

Экспериментирование начинается с поиска возможностей. Чтобы найти возможности, нужно задать правильных вопросов.

Вопросы раскрывают, где вы могли бы что-то изменить. Например:

• Что произойдет, если мы увеличим нашу модель ценообразования?
• Что, если мы избавимся от уровня бесплатного пользования?
• Почему пользователи продолжают уходить через месяц?

Просто сидя здесь, вы, вероятно, можете составить огромный список вопросов, которые у вас есть о вашем продукте, идеальном пользователе и рынке. И это нормально! Лучшее, что вы можете сделать, – это создать невыполненных вопросов для будущих экспериментов.

Однако, как мы писали выше, хорошие эксперименты – это не разовые тесты. Они связаны с большой темой. Чтобы убедиться, что вы задаете правильных вопросов прямо сейчас, выполните следующие действия.

1. Определите область экспериментов и перечислите свои предположения.

Хороший эксперимент с продуктом имеет цель. Вы входите в него не просто с одним вопросом, а с более широкой бизнес-целью, которую хотите достичь. Обычно цель эксперимента подпадает под одну из трех категорий:

1. Вам необходимо принять решение, и вам нужны данные, которые помогут его обосновать.Например, надо работать над проектом X или Y?
2. Вы хотите уменьшить неопределенность, связанную с предположением. Например, функция выпуска X увеличит удержание.
3. Вы хотите понять и улучшить производительность и влияние. Например, , на пути к достижению нашей 2-летней цели роста?

Допустим, вы беспокоитесь о долгосрочном удержании пользователей.

Не позволяйте электронной почте загромождать ваш почтовый ящик.

Это тема ваших экспериментов.Скорее всего, у вас возникнет масса вопросов о том, что влияет на удержание пользователей, какие функции или изменения могут его улучшить и т. Д.

У вас также, скорее всего, уже есть обширный список из предположений , которые вы делаете о том, почему пользователи остаются рядом, а также о ваших текущих действиях, которые вы хотели бы проверить. Соберите все это вместе – решения, предположения и подтверждения производительности и внесите в общий список.

Помните, вы даже не думаете об экспериментах или решениях на данном этапе.Просто перечислите как можно больше вопросов. Этот процесс может и занять некоторое время. Как пишет Джон Катлер, руководитель отдела обучения продукции Amplitude:

«Вам нужно сделать безопасным задавать« тупые »и менее сформированные вопросы. И вы не можете торопиться. Когда участники мозгового штурма беспокоятся о том, чтобы выглядеть глупо, они отключаются. Если они будут торопиться, они будут задавать поверхностные вопросы. Хорошие вопросы возникают из менее важных вопросов, которые возникают из «плохих».”

2. Используйте подвопросы, чтобы приблизиться к проверяемым вопросам.

Затем вы хотите еще больше разбить эти решения, предположения и вопросы проверки. Выберите по одному из каждого столбца и проведите мозговой штурм. Где вам нужно проверить предположения или избавиться от неопределенности?

Чтобы запустить процесс, составьте список вариантов: Почему, кто, что, где, когда, что, сколько, как, сколько времени, делать, есть, будет, иметь, должен и есть?

Вот несколько примеров:

• Сколько пользователей оттеснили за последние 30 дней?
• Какие особенности – это клиенты, которые продолжают пользоваться, а те, кто уходит, – нет?
• Влияет ли изменение цены на на удержание пользователей в Европе?
• Насколько хорошо стартап сохраняет клиентов по сравнению с корпоративными?
• Есть ли низко висящие фрукты , которые быстро увеличивают удержание пользователей?

Если вы не можете придумать дополнительные подвопросы, попробуйте повысить или понизить уровень разрешения.Открытые вопросы отлично подходят для постановки более конкретных вопросов. В то время как конкретный вопрос может вдохновить на более открытые (например, , почему так важен?)

Соберите всех на одной странице. С Планио.

3. Голосование точками, чтобы решить, что тестировать в команде.

Двухэтапный процесс мозгового штурма высокоуровневых идей и затем подвопросов даст вам гигантский список из тематических вариантов. Однако, если вы не крупная компания с внутренними инструментами и автоматизированными процессами тестирования, вам все равно придется набирать наиболее важные из них.

Вот как вы можете использовать голосование по точкам, чтобы решить, какие вопросы ваша команда считает наиболее важными:

1. Поместите свой список вопросов и предположений на доску
2. Дайте каждому члену команды 3-5 «точек» для голосования. (вы даже можете просто использовать стикеры)
3. Разрешить несколько голосов по одной и той же идее, чтобы продемонстрировать убежденность
4. Подсчитайте вопросы с наибольшим количеством точек

Демократизация процесса мозгового штурма, подобного этому, укрепляет доверие к результатам.Чем больше ваша команда будет задействована на ранних этапах, тем больше она будет инвестирована в эксперимент.

4. Превратите свои проблемы в формулировки проблем с помощью системы HMW

Наконец, возьмите свой сокращенный список вопросов и предположений и преобразуйте как можно больше из них в формулировок проблем .

Самый простой способ сделать это – использовать инструкции How could we (HMW).

Например:

• Как мы можем увеличить удержание пользователей?
• Как мы можем убедить пользователей, которые собираются уйти, продолжать использовать наш продукт? _
• Как мы можем заставить незанятых пользователей попробовать больше функций? _

Проверка кишечника: может ли то, что вы тестируете, быть неэтичным?

Эксперименты отлично подходят для создания лучшего продукта.Но иногда они могут перейти черту и стать неэтичными или манипулятивными. Хороший тест узнает о ваших пользователях и помогает им. Плохой обман заставляет их действовать.

С Planio вы повысите продуктивность и рано вернетесь домой.

Прежде чем двигаться дальше, сделайте быструю проверку нутром, чтобы увидеть, не граничат ли какие-либо из возникших у вас вопросов с манипуляциями.

Шаг 2. Создайте проверяемую гипотезу

Затем вы хотите преобразовать свои вопросы в проверяемую гипотезу.Если с момента вашего последнего урока естествознания в средней школе прошло несколько лет, гипотеза будет такой: «Предлагаемое объяснение, сделанное на основе ограниченных доказательств в качестве отправной точки для дальнейшего исследования».

Вы берете то, что знаете, делаете ставку на то, что произойдет, если вы это измените, и используете эту информацию, чтобы продолжать экспериментировать.

Эксперименты лежат в основе самых успешных компаний мира.

Посмотрите на свой список основных вопросов и предположений. Какой результат вы хотели бы увидеть, когда протестируете его? Что вы знаете, прямо сейчас, , что поможет проинформировать этот тест?

Хорошо структурированная гипотеза дает вам схему того, что вы тестируете, желаемый результат, важные показатели и другие важные детали.

Давайте разберем основные элементы проверяемой гипотезы.

Попробуйте сами: Мы собрали этот выпуск эксперимента Planio, чтобы вы могли увидеть, как эксперимент может выглядеть в Planio.

1. Бизнес-результат / метрика Полярной звезды

Какой результат вы хотели бы видеть? Какую бизнес-цель вы пытаетесь изменить? Эксперименты требуют определения успеха заранее.

Опять же, вы, вероятно, преследуете множество бизнес-целей в любой момент.Однако, экспериментируя, вы можете выбрать только один. Это называется метрикой Полярной звезды. Это решающий фактор, определяющий, работают ли ваши эксперименты или нет.

Попади в ♥ с Project Management. Попробуйте Planio.

На Airbnb у них есть множество различных показателей, на которые они могут смотреть во время экспериментов – средняя покупка, повторные пользователи, время до бронирования и т. Д. Однако их метрика «Полярная звезда» такова: количество забронированных ночей.

Эта метрика делает их центром всех экспериментов.Если эксперимент увеличит количество забронированных ночей, это будет успехом. И в результате их бизнес растет.

Метрика «Полярная звезда» также помогает отделить сигнал от шума. Каждый эксперимент даст больше данных, чем вы могли бы пройти. Если вы не знаете, где искать, вы не сможете извлечь из этого урок.

2. Группы или персонажи пользователей

Кого вы собираетесь тестировать? Есть ли какой-то конкретный пользователь, которого вы собираетесь показать в тесте? Или этот эксперимент достанется случайной группе из всей вашей пользовательской базы? Каков ваш потенциальный «размер аудитории» (т.д., количество пользователей, которые увидят этот тест).

Группа пользователей или персонаж не обязательно должны определяться демографическими данными. Подумайте о поведении пользователей, которое вы тестируете. Люди, которые делают X, также делают Y? Почему нет?

3. Польза / поведение пользователя

Какое поведение пользователя будет определять бизнес-результат? Другими словами, что вы хотите, чтобы пользователи делали, чтобы увеличить ваш показатель Полярной звезды?

Однако поведение пользователей не возникает на пустом месте. Есть второстепенные и дополнительные модели поведения, о которых вам нужно знать, чтобы увидеть, как они влияют друг на друга.

Например, на Airbnb увеличение количества забронированных ночей заставляет людей выбирать более дешевую недвижимость? Что, в свою очередь, означает, что они менее счастливы? Почти каждое поведение имеет компромисс, о котором вам нужно знать.

Откажитесь от электронных таблиц и начните действовать с помощью управления проектами.

4. Функция / решение

Что вы, делаете, чтобы повлиять на поведение пользователя для достижения ваших бизнес-целей?

Подумайте, какие инструменты у вас есть, чтобы влиять на поведение пользователей: копирование, дизайн, UX или функции.Каждое решение – это испытание, которое стоит провести.

Собираем все вместе: пример гипотезы продуктового эксперимента

Итак, как гипотеза выглядит на практике? Чтобы увидеть, как вся эта информация может выглядеть в реальном выпуске, взгляните на подготовленное нами для вас.

Шаг 3. Проведите эксперимент и отслеживайте данные

Ваша гипотеза расскажет вам все, что вам нужно знать о проведении эксперимента: что вы делаете, на кого ориентируетесь, продолжительность эксперимента, какой у вас показатель » повторное отслеживание, почему вы думаете, что это важно.

Теперь все, что осталось, – это определить окончательные параметры, запустить и посмотреть, что произойдет. Как вы проведете эксперимент, будет зависеть от того, что вы тестируете. Мы не будем вдаваться в подробности каждого из них, но наиболее распространенными типами продуктовых экспериментов являются:

• A / B-тесты : случайным образом назначьте пользователям один из двух вариантов продукта: «эксперимент» или «контроль».
• Многомерные тесты : То же, что и A / B-тест, но с одновременным изменением нескольких переменных.
• Эксперименты с воронкой : аналогично A / B-тестированию, но с изменениями на нескольких страницах, которые посетит клиент (например, адаптация или воронка продаж).
• Time-lapse : Сравнение контрольных показателей KPI до и после изменения. (Обычно это не рекомендуется, но может быть полезно, если по какой-то причине вы не можете провести A / B-тест.)

Независимо от того, какой тип эксперимента вы решите провести, его успех будет зависеть от нескольких ключевых факторов. :

• Группы с ограниченным воздействием: Каждый в тестовых группах должен испытать изменения.
• Системы отслеживания настроены до того, как начнется тест: Вы знаете результаты, которые вам нужны, и не собираете данные для подтверждения своих убеждений постфактум.
• Надежные данные: Вы уверены, что собираемые вами данные точны.

Завершите проекты в срок и в установленный бюджет. С Планио.

Наконец, вам нужно убедиться, что вы тестируете свой эксперимент достаточно долго, чтобы получить надежные результаты. и противодействуют любым резким краткосрочным сигналам.У пользователей наступает период «выгорания», когда они будут заинтересованы и более активно взаимодействуют с изменениями или новыми функциями.

Как узнать, недействительны ли данные эксперимента

Экспериментирование зависит от доверия к вашим данным. Тем не менее, есть несколько распространенных ситуаций, когда вы должны выбросить или хотя бы поставить под сомнение достоверность ваших результатов:

• Загрязненные данные при одновременном запуске нескольких тестов: Если вы не можете быть уверены, какой тест повлиял на ваш целевой показатель, они оба недействительны.
• Малый размер аудитории : Выбросы событий могут иметь огромное влияние на ваши результаты, когда размер аудитории слишком мал.
• Слишком ранняя остановка теста : Ранний всплеск или падение может быть захватывающим, но для того, чтобы увидеть фактические результаты теста, нужно время. Если вы остановитесь слишком рано, возможно, вы увидите данные, которые не отражают поведение пользователей.
• Внешние события : Ваш конкурент одновременно выпустил новый продукт или рекламную акцию? Или как насчет масштабного глобального кризиса (например, пандемии?). Они могут окрасить результаты ваших экспериментов.

Шаг 4. Сообщайте результаты и действуйте в соответствии с ними!

Хороший процесс экспериментирования подобен бесконечному циклу. Каждый результат – как положительный, так и отрицательный – дает вам точку данных для создания новой гипотезы. После завершения эксперимента результаты необходимо понять, сообщить и применить.

1. Составьте план действий, что вы будете делать с результатами

Перед тем, как начать, узнайте, что будет дальше в зависимости от результатов:

• Нужно ли вам копаться и получить дополнительную информацию (т.е., узнайте , почему сработало / не сработало)?
• Можете ли вы использовать результаты для информирования еще более крупного эксперимента ?
• Если не удалось, знаете ли вы , почему ? Или вам нужно провести проверочный эксперимент ?

2. Сообщите результаты остальной части вашей команды

Если вы используете наш пример экспериментальной задачи в Planio в качестве руководства, вы можете увидеть, что мы включили результаты в связанную проблему и некоторые идеи команды. Таким образом, у вас будет четкая запись всех экспериментов и идей для справки.В качестве альтернативы или дополнения вы можете документировать уроки, извлеченные из экспериментов, в Wiki вашей команды.

Программное обеспечение для управления проектами, которое вы действительно захотите использовать.

3. Реализуйте результаты

Означает ли это создание новой гипотезы или запуск функции, убедитесь, что вы выполняете свой план действий.

Однако не всегда легко доверять результатам эксперимента, особенно если они идут вразрез с тем, что , , по вашему мнению, произойдет.Тем не менее, данные всегда важнее мнения . Единственный способ создать успешную культуру экспериментирования – реализовать результаты, несмотря ни на что.

4. Празднуйте маленькие победы

Культура постоянных экспериментов не оставляет времени для празднования побед. Но важно демонстрировать прогресс, чтобы все были воодушевлены и мотивированы! Использование такого инструмента, как Planio Wiki, дает вам центральное место для хранения всех ваших экспериментов и пропаганды процесса.

Как создать культуру экспериментирования

Если звучит так, будто проведение экспериментов – это большая работа, то это потому, что это так.Однако результат стоит затраченных усилий.

Чтобы вовлечь свою команду в проведение экспериментов, меньше сосредотачивайтесь на инструментах, которые вы используете, и больше на , почему им следует заботиться о них. Как пишет Стефан Томке в Harvard Business Review :

«По мере того, как компании пытаются расширить свои возможности для онлайн-экспериментов, они часто обнаруживают, что препятствиями являются не инструменты и технологии, а общее поведение, убеждения и ценности.На каждый успешный эксперимент приходится почти 10 – и в глазах многих организаций, которые делают упор на эффективность, предсказуемость и «победу», эти неудачи расточительны ».

Вот несколько шагов, необходимых для создания устойчивой культуры экспериментирования:

1. Развивайте любопытство в компании

Все, от руководства до отдельных разработчиков, должны ценить сюрпризы. Это помогает сместить суждение об «неудачах» экспериментов с пустой траты времени на возможность учиться и расти.

Управляйте проектами как профессионалы. Попробуйте Planio.

Любопытство необходимо ценить в компании. Менеджеры часто опасаются рисков, связанных с экспериментированием. Таким образом, они чрезмерно подчеркивают необходимость «успешных» экспериментов (которые невозможно предсказать) или по умолчанию используют незначительные оптимизации, не имеющие шансов стать безоговорочными успехами.

Но сбои на раннем этапе, которые неизбежны, – это самый простой способ помочь вашей команде разработчиков учиться, устранять нерешительность и переориентировать на наиболее многообещающие идеи продуктов.

2. Выровняйте всех вокруг измеримой метрики «Полярная звезда» (а не только продуктовая группа).

Каждый сотрудник вашей компании должен быть в состоянии объяснить вашу метрику «Полярная звезда» и объяснить, почему она имеет значение . Метрика «Полярная звезда» поможет вам уточнить то, что важно для вашей команды, и найти вопросы, предположения и эксперименты, которые позволят ей получить информацию.

3. Нанимайте (или добавляйте) в свою команду людей, ориентированных на данные, как можно раньше, а часто и

Надежные данные – важная часть участия в экспериментах.По мере вашего роста нанимайте больше людей, ориентированных на данные, и встраивайте их в свои команды. Это не только упростит проведение экспериментов, но и внесение большего количества экспериментальных слов в вашу повседневную жизнь поможет нормализовать процесс.

4. Гуманизируйте свои данные (чтобы сделать их доступными для всех)

Данные могут сбивать с толку или даже бесчеловечно, если они представлены неправильно (что сделает вашу команду менее заинтересованной в экспериментах или реализации результатов).

Помните, что данные не всегда содержат ответы и иногда могут оказаться совершенно бесполезными.Вместо этого попробуйте объяснить, что означают данные . Обозначьте это как «голос ваших пользователей» и покажите, как вы будете или не будете использовать данные для принятия решений.

Освободите свое время от напряженной работы и будьте организованы.

5. Создавайте инструменты, которые упрощают проведение экспериментов, которым вы доверяете.

Существует множество сторонних инструментов, которые вы можете использовать для проведения экспериментов, если не можете создать свои собственные. Самое главное, чтобы вы доверяли результатам и чтобы любой мог легко начать работу.

Демократизируйте, как вы начинаете эксперимент, а также его результаты. Обучая всех принципам работы экспериментов и используя одни и те же инструменты, вы укрепляете доверие к процессу и результатам.

6. Будьте образцом для подражания

Вы не можете ожидать, что ваша команда создаст культуру экспериментов, если вы также не будете проверять свои собственные предложения. Эго – один из самых быстрых способов убить экспериментирование.

Как писал Фрэнсис Бэкон (ученый XVI века, а не художник):

«Если человек будет начинать с определенности, он кончит сомнениями; но если он сначала довольствуется сомнениями, то кончит уверенностью.”

7. Знайте, когда можно проводить эксперименты, а когда нельзя.

Эксперименты лежат в основе самых успешных компаний мира. Однако не все можно тщательно проверить перед принятием решения.

Стратегия, опыт и лидерство – это качества, которые двигают компанию вперед в моменты, когда экспериментировать невозможно. Знание того, когда использовать каждый инструмент, а когда доверять доступным данным, – это то, что приходит со временем, а не с инструментами.

Даже самые длинные гонки выигрываются по шагам

Экспериментирование – это способ быть ориентированным на действия, с которым никогда не могут сравниться планирование, бесконечные встречи и нерешительность.