Обзор методов статистического анализа данных. Методы статистического исследования

Пособие предназначено для формирования у читателей компетентности в сфере применения статистических методов и моделей в реальной управленческой деятельности, приобретения навыков и умений, связанных с решением практических задач по обработке статистических данных и максимально полному извлечению из них полезной информации. Материал изложен не совсем традиционно — вначале рассматриваются конкретные и часто встречающиеся в реальном бизнесе задачи, требующие извлечения определенной информации, а затем разбираются и анализируются способы и методы их решения.

Все необходимые для понимания материала теоретические сведения из математической статистики и теории вероятностей помещены в Приложениях, которые можно рассматривать как краткие справочники по соответствующим темам.

Для слушателей программ MBA, магистерских программ высшего образования «Менеджмент», «Маркетинг», студентов, обучающихся по направлению «Менеджмент».

Предисловие...... 7 1. ВВЕДЕНИЕ...... 9 1. 1. Математические модели в бизнесе...... 9 1. 2. Статистические модели...... 12 1. 3. Типы статистических массивов...... 17 1. 4. Типы статистических данных...... 19 1. 5. Требования, предъявляемые к статистической выборке...... 20 2. ОБРАБОТКА И АНАЛИЗ СТАТИСТИЧЕСКОЙ ИНФОРМАЦИИ НА ОСНОВЕ ГРУППИРОВКИ ДАННЫХ...... 24 2. 1. Постановка задачи...... 24 2. 2. Группировка данных. Ряд распределения...... 25 2. 3. Построение рядов распределения и гистограмм в Excel...... 29 2. 4. Области применения метода группировки данных...... 40 Примеры задач и их решения...... 47 3. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ ВЫБОРКИ: СРЕДНЯЯ, МЕДИАНА, МОДА. ИЗМЕРЕНИЕ РАЗБРОСА ДАННЫХ...... 59 3. 1. Введение...... 59 3. 2. Средняя арифметическая...... 60 3. 3. Медиана...... 65 3. 4. Мода...... 67 3. 5. Какую из средних следует использовать...... 72 3. 6. Измерение разброса данных относительно средних значений...... 73 4. ЗАКОНЫ РАСПРЕДЕЛЕНИЯ И ИХ ПРИМЕНЕНИЕ ДЛЯ РАСЧЕТОВ И АНАЛИЗА...... 77 4. 1. Введение...... 77 4. 2. Основные сведения о законах распределения случайных величин...... 77 4. 3. Эмпирические законы распределения и их содержательный смысл...... 80 4. 4. Переход от эмпирических законов распределения к теоретическим...... 82 Примеры задач и их решения...... 90 5. АНАЛИЗ ВЗАИМОСВЯЗЕЙ МЕЖДУ ЗАВИСИМОЙ ПЕРЕМЕННОЙ И ВЛИЯЮЩИМИ НА НЕЕ ФАКТОРАМИ...... 112 5. 1. Постановка задачи...... 112 5. 2. Анализ взаимосвязей на основе точечных диаграмм (однофакторных регрессионных моделей)...... 114 5. 3. Анализ взаимосвязей между зависимой переменной и влияющими на нее факторами на основе коэффициентов парной корреляции...... 130 Примеры задач и их решения...... 137 6. МНОГОФАКТОРНЫЕ РЕГРЕССИОННЫЕ МОДЕЛИ...... 166 6. 1. Постановка задачи...... 166 6. 2. Оценка качества регрессионных моделей...... 171 6. 3. Построение многофакторных регрессионных моделей в Excel...... 174 6. 4. Нелинейные регрессионные модели...... 181 Примеры задач и их решения...... 193 ПРИЛОЖЕНИЯ. Справочные материалы из теории вероятностей и математической статистики...... 219 Приложение 1. Случайные величины и законы их распределения (краткие сведения)...... 219 П. 1. 1. Понятие о законах распределения случайных величин...... 219 П. 1. 2. Числовые характеристики случайной величины...... 221 П. 1. 3. Основные распределения случайных величин...... 223 Распределение Пуассона...... 223 Равномерное распределение...... 226 Экспоненциальное распределение...... 227 Нормальное распределение...... 230 Логарифмически нормальное распределение...... 237 Приложение 2. Функции случайных величин и законы их распределения (типовые распределения статистики)...... 240 П 2. 1. Сумма и произведение случайных величин...... 240 П 2. 2. Основные распределения в статистике...... 244 П 2. 3. Распределение хи-квадрат...... 245 П 2. 4. Распределение Стьюдента...... 250 П. 2. 5. Распределение Фишера - Снедекора (F-распределение)...... 254 Приложение 3. Элементы математической статистики...... 259 П 3. 1. Понятие о выборочном методе...... 259 П 3. 2. Точечная оценка параметров...... 259 П 3. 3. Интервальная оценка параметров...... 261 П 3. 4. Доверительный интервал для математического ожидания (генеральной средней) случайной величины...... 265 П 3. 5. Доверительный интервал для дисперсии случайной величины...... 266 П 3. 6. Проверка статистических гипотез...... 270 П 3. 7. Проверка гипотезы о виде закона распределения...... 273 П 3. 8. Проверка гипотез о равенстве дисперсий...... 279 Приложение 4. Элементы корреляционного и регрессионного анализа...... 282 П 4. 1. Функциональная, статистическая и корреляционная зависимость...... 282 П 4. 2. Коэффициент корреляции...... 283 П 4. 3. Аппроксимация статистических данных. Метод наименьших квадратов...... 290 П 4. 4. Однофакторные регрессионные модели...... 298 П 4. 5. Интервальное оценивание по уравнению регрессии...... 306 П 4. 6. Множественная регрессия...... 308 Глоссарий...... 313 Литература...... 322

Издательство: "Издательский дом «Дело»" (2011)

Введение

Заключение

Заказать работу

РЕФЕРАТ 3
ВВЕДЕНИЕ 4
1 Выборочный метод статистических исследований в бизнесе 6
1.1 Постановка задачи выборочного исследования 6
1.2 Ошибки выборки 8
1.3 Численность выборки и способы распространения ее характеристик на генеральную совокупность 12
1.4 Примеры применения выборочного метода в бизнесе 14
2 Анализ биржевого рынка 17
2.1 Построение статистической модели курсов акций компании Sears 18
2.2 Построение статистической модели курсов акций компании BankOne 24
2.3 Сравнительный анализ полученных статистических моделей 27
ЗАКЛЮЧЕНИЕ 30
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 32
ПРИЛОЖЕНИЕ А 33
ПРИЛОЖЕНИЕ Б 34

Под выборочным понимается метод статистического исследования, при котором обобщающие показатели изучаемой совокупности устанавливаются по некоторой её части на основе положений случайного отбора. При выборочном методе обследованию подвергается сравнительно небольшая часть всей изучаемой совокупности (обычно до 5-10%, реже до 15-25%). При этом подлежащая изучению статистическая совокупность, из которой производится отбор части единиц, называется генеральной совокупностью. Отобранная из генеральной совокупности некоторая часть единиц, подвергающаяся обследованию, называется выборочной совокупностью, или просто выборкой. Задача выборочного наблюдения состоит в том, чтобы получить правильное представление о показателях всей генеральной совокупности на основе изучения выборочной совокупности.
Значение выборочного метода состоит в том, что при минимальной численности обследуемых единиц проведение исследования осуществляется в более короткие сроки и с минимальными затратами труда и средств. Это повышает оперативность статистической информации, уменьшает ошибки регистрации.
Большую актуальность приобретает выборочный метод в современных условиях хозяйствования при переходе к рыночной экономике. Изменения характера экономических отношений, аренда, собственность отдельных коллективов и физических лиц обуславливают изменения функций учёта и статистики, сокращение и упрощение отчетности. Вместе с тем возрастающие требования к менеджменту усиливают потребность в надёжной управленческой информации, дальнейшего повышения её оперативности. Всё это обуславливает более широкое применение выборочного метода исследования в экономических явлений, прежде всего в таких сферах как торговля и сфера услуг которые находятся непосредственно в контакте с конечным потребителем и требующие для своего рационального управления огромных массивов информации...

Выборочное исследование широко применяется на практике, поскольку обладает существенными преимуществами по сравнению с другими методами получения статистических данных. К ним относятся:
- достаточно высокая точность результатов обследования благодаря использованию более квалифицированных кадров, что приводит к сокращению ошибок регистрации;
- экономия времени и средств в результате сокращения объема работы, большая оперативность в получении данных о результатах обследования;
- возможность исследования очень больших статистических совокупностей;
- выборочный метод является единственно возможным, если сбор информации связан с разрушением или потерей единиц наблюдения, например, при органалитическом контроле качества продукции;
- возможность исследования полностью недоступных совокупностей.
Ошибки выборки подразделяются на ошибки регистрации и ошибки репрезентативности. Ошибки регистрации возникают из-за неправильных или неточных сведений. Ошибки репрезентативности возникают вследствие несоответствия структуры выборки структуре генеральной совокупности.
Численность выборки – один из факторов, влияющих на величину ее ошибки: чем она больше, тем меньше ошибка. С другой стороны, с объемом выборки связаны затраты на проведение исследования: чем она больше, тем больше затраты.
Таким образом, выборка должна быть оптимальной по численности, чтобы обеспечить достоверность результатов исследования и не вызвать дополнительных затрат труда и денежных средств.
Далее в работе рассмотрены примеры применения выборочного метода в бизнесе: пример вычисления среднего значения и доверительного интервала для непрерывного количественного признака, а также пример оценки вероятности(генеральной доли) р.
При проведении анализ биржевого рынка были найдены уравнения линейной зависимости разброса колебания биржевой стоимости акций компании SEARS (y1) и компании BANCONE (y2) от колебания индекса S&P 500 (x)...

После получения и сбора информации проводится анализ статистических данных. Считается, что этап обработки информации – самый важный. Действительно, это так: именно на этапе обработки статистических данных выявляют закономерности и делают выводы и прогнозы. Но не менее важным является этап сборки информации, этап получения .

Еще до начала исследования необходимо определиться с типами переменных, которые бывают качественные и количественные. Также переменные разделяются по типу шкалы измерений:

  • она может быть номинальной – является лишь условным обозначением для описания объектов или явлений. Номинальная шкала может быть только качественной.
  • при ординальной шкале измерений данные могут выстраиваться по возрастанию или убыванию, но определить количественные показатели этой шкалы невозможно.
  • И есть 2 шкалы чисто количественного типа:
    — интервальная
    — и рациональная.

Интервальная шкала указывает, насколько тот или иной показатель больше или меньше в сравнении с другим и дает возможность подобрать похожие по свойствам соотношения показателей. Но при этом она не может указать, во сколько раз тот или иной показатель больше или меньше другого, так как у нее нет единой точки отсчета.

А вот в рациональной шкале такая точка отсчета есть. При этом в рациональной шкале содержатся только положительные значения.

Статистические методы исследования

После определения переменной можно переходить к сбору и анализу данных. Условно можно выделить описательный этап анализа и собственно аналитический. Описательный этап включает представление собранных данных в удобном графическом виде – это графики, диаграммы, дашборды.

Для самого анализа данных используют статистические метода исследования. Выше мы подробно останавливались на типах переменных – различия в переменных важны для при выборе статистического метода исследования, так какждый из них требует свой тип переменных.
Статистический метод исследования – это метод исследования количественной стороны данных, объектов или явлений. На сегодня выделяют несколько методов:

  1. Статистическое наблюдение – это систематический сбор данных. Перед наблюдением необходимо определить те характеристики, которые будут исследоваться.
  2. После наблюдения данные можно обработать при помощи сводки, которая анализирует и описывает отдельные факты как часть общей совокупности. Или при помощи группировки, во время которой все данные разделяются по группам на основании каких-либо признаков.
  3. Можно определить абсолютную и относительную статистическую величины – можно сказать, что это первая форма представления статистических данных. Абсолютная величина придает данным количественные характеристики в индивидуальном порядке, в независимости от других данных. А относительные величины, как ясно из названия, описывают одни объекты или признаки относительно других.При этом на значение величин могут влиять различные факторы. В этом случае необходимо выяснить вариационный ряд этих величин (например, максимальное и минимальное значение при определенных условиях) и указать причины, от которых они зависят.
  4. На каком-то этапе данных становится слишком много и в этом случае можно применить метод выборки – использовать при анализе не все данные, а только их часть, отобранную по определенным правилам. Выборка может быть:
    случайной,
    стратифицированной (которая учитывает, например, процентное соотношение групп, находящихся внутри объема данных для исследования),
    кластерной (когда сложно получить полное описание всех групп, входящих в исследуемые данные, для анализа берут только несколько групп)
    и квотная (похожа на стратифицированную, но соотношение групп не равно изначально имеющемуся).
  5. Метод корреляционного и регрессионного анализа помогает выявить взаимосвязи данных и причины, по которым данные зависят друг от друга, определить силу этой зависимости.
  6. И наконец, метод динамических рядов позволяет отследить силу, интенсивность и частоту изменений объектов и явлений. Он позволяет оценить данные во времени и дает возможность прогнозирования явлений.

Конечно, для качественного статистического исследования необходимо обладать знаниями математической статистики. Крупные компании давно осознали пользу такого анализа – это же практически возможность не только понять почему компании так развивалась в прошлом, но и узнать, что ее ждет в будущем: например, зная пики продаж, можно правильно организовать закупку товаров, их хранение и логистику, скорректировать количество персонала и их рабочие графики.

Сегодня все этапы статистического анализа могут и должны выполнять машины – и на рынке уже есть решения для автоматизации

Статистические методы

Статисти́ческие ме́тоды - методы анализа статистических данных. Выделяют методы прикладной статистики , которые могут применяться во всех областях научных исследований и любых отраслях народного хозяйства, и другие статистические методы, применимость которых ограничена той или иной сферой. Имеются в виду такие методы, как статистический приемочный контроль, статистическое регулирование технологических процессов, надежность и испытания, планирование экспериментов.

Классификация статистических методов

Статистические методы анализа данных применяются практически во всех областях деятельности человека. Их используют всегда, когда необходимо получить и обосновать какие-либо суждения о группе (объектов или субъектов) с некоторой внутренней неоднородностью.

Целесообразно выделить три вида научной и прикладной деятельности в области статистических методов анализа данных (по степени специфичности методов, сопряженной с погруженностью в конкретные проблемы):

а) разработка и исследование методов общего назначения, без учета специфики области применения;

б) разработка и исследование статистических моделей реальных явлений и процессов в соответствии с потребностями той или иной области деятельности;

в) применение статистических методов и моделей для статистического анализа конкретных данных.

Прикладная статистика

Описание вида данных и механизма их порождения - начало любого статистического исследования. Для описания данных применяют как детерминированные, так и вероятностные методы. С помощью детерминированных методов можно проанализировать только те данные, которые имеются в распоряжении исследователя. Например, с их помощью получены таблицы, рассчитанные органами официальной государственной статистики на основе представленных предприятиями и организациями статистических отчетов. Перенести полученные результаты на более широкую совокупность, использовать их для предсказания и управления можно лишь на основе вероятностно-статистического моделирования. Поэтому в математическую статистику часто включают лишь методы, опирающиеся на теорию вероятностей.

Мы не считаем возможным противопоставлять детерминированные и вероятностно-статистические методы. Мы рассматриваем их как последовательные этапы статистического анализа. На первом этапе необходимо проанализировать имеющие данные, представить их в удобном для восприятия виде с помощью таблиц и диаграмм. Затем статистические данные целесообразно проанализировать на основе тех или иных вероятностно-статистических моделей. Отметим, что возможность более глубокого проникновения в суть реального явления или процесса обеспечивается разработкой адекватной математической модели.

В простейшей ситуации статистические данные - это значения некоторого признака, свойственного изучаемым объектам. Значения могут быть количественными или представлять собой указание на категорию, к которой можно отнести объект. Во втором случае говорят о качественном признаке.

При измерении по нескольким количественным или качественным признакам в качестве статистических данных об объекте получаем вектор. Его можно рассматривать как новый вид данных. В таком случае выборка состоит из набора векторов. Есть часть координат - числа, а часть - качественные (категоризованные) данные, то говорим о векторе разнотипных данных.

Одним элементом выборки, то есть одним измерением, может быть и функция в целом. Например, описывающая динамику показателя, то есть его изменение во времени, - электрокардиограмма больного или амплитуда биений вала двигателя. Или временной ряд, описывающий динамику показателей определенной фирмы. Тогда выборка состоит из набора функций.

Элементами выборки могут быть и иные математические объекты. Например, бинарные отношения. Так, при опросах экспертов часто используют упорядочения (ранжировки) объектов экспертизы - образцов продукции, инвестиционных проектов, вариантов управленческих решений. В зависимости от регламента экспертного исследования элементами выборки могут быть различные виды бинарных отношений (упорядочения, разбиения, толерантности), множества, нечеткие множества и т. д.

Итак, математическая природа элементов выборки в различных задачах прикладной статистики может быть самой разной. Однако можно выделить два класса статистических данных - числовые и нечисловые. Соответственно прикладная статистика разбивается на две части - числовую статистику и нечисловую статистику.

Числовые статистические данные - это числа, вектора, функции. Их можно складывать, умножать на коэффициенты. Поэтому в числовой статистике большое значение имеют разнообразные суммы. Математический аппарат анализа сумм случайных элементов выборки - это (классические) законы больших чисел и центральные предельные теоремы.

Нечисловые статистические данные - это категоризованные данные, вектора разнотипных признаков, бинарные отношения, множества, нечеткие множества и др. Их нельзя складывать и умножать на коэффициенты. Поэтому не имеет смысла говорить о суммах нечисловых статистических данных. Они являются элементами нечисловых математических пространств (множеств). Математический аппарат анализа нечисловых статистических данных основан на использовании расстояний между элементами (а также мер близости, показателей различия) в таких пространствах. С помощью расстояний определяются эмпирические и теоретические средние, доказываются законы больших чисел, строятся непараметрические оценки плотности распределения вероятностей, решаются задачи диагностики и кластерного анализа, и т. д. (см. ).

В прикладных исследованиях используют статистические данные различных видов. Это связано, в частности, со способами их получения. Например, если испытания некоторых технических устройств продолжаются до определенного момента времени, то получаем т. н. цензурированные данные, состоящие из набора чисел - продолжительности работы ряда устройств до отказа, и информации о том, что остальные устройства продолжали работать в момент окончания испытания. Цензурированные данные часто используются при оценке и контроле надежности технических устройств.

Обычно отдельно рассматривают статистические методы анализа данных первых трех типов. Это ограничение вызвано тем отмеченным выше обстоятельством, что математический аппарат для анализа данных нечисловой природы - существенно иной, чем для данных в виде чисел, векторов и функций.

Вероятностно-статистическое моделирование

При применении статистических методов в конкретных областях знаний и отраслях народного хозяйства получаем научно-практические дисциплины типа «статистические методы в промышленности», «статистические методы в медицине» и др. С этой точки зрения эконометрика - это «статистические методы в экономике». Эти дисциплины группы б) обычно опираются на вероятностно-статистические модели, построенные в соответствии с особенностями области применения. Весьма поучительно сопоставить вероятностно-статистические модели, применяемые в различных областях, обнаружить их близость и вместе с тем констатировать некоторые различия. Так, видна близость постановок задач и применяемых для их решения статистических методов в таких областях, как научные медицинские исследования, конкретные социологические исследования и маркетинговые исследования, или, короче, в медицине , социологии и маркетинге . Они часто объединяются вместе под названием «выборочные исследования».

Отличие выборочных исследований от экспертных проявляется, прежде всего, в числе обследованных объектов или субъектов - в выборочных исследованиях речь обычно идет о сотнях, а в экспертных - о десятках. Зато технологии экспертных исследований гораздо изощреннее. Еще более выражена специфика в демографических или логистических моделях, при обработке нарративной (текстовой, летописной) информации или при изучении взаимовлияния факторов.

Вопросы надежности и безопасности технических устройств и технологий, теории массового обслуживания подробно рассмотрены, в большом количестве научных работ.

Статистический анализ конкретных данных

Применение статистических методов и моделей для статистического анализа конкретных данных тесно привязано к проблемам соответствующей области. Результаты третьего из выделенных видов научной и прикладной деятельности находятся на стыке дисциплин. Их можно рассматривать как примеры практического применения статистических методов. Но не меньше оснований относить их к соответствующей области деятельности человека.

Например, результаты опроса потребителей растворимого кофе естественно отнести к маркетингу (что и делают, читая лекции по маркетинговым исследованиям). Исследование динамики роста цен с помощью индексов инфляции, рассчитанных по независимо собранной информации, представляет интерес прежде всего с точки зрения экономики и управления народным хозяйством (как на макроуровне, так и на уровне отдельных организаций).

Перспективы развития

Теория статистических методов нацелена на решение реальных задач. Поэтому в ней постоянно возникают новые постановки математических задач анализа статистических данных, развиваются и обосновываются новые методы. Обоснование часто проводится математическими средствами, то есть путем доказательства теорем. Большую роль играет методологическая составляющая - как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль современных информационных технологий, в частности, компьютерного эксперимента.

Актуальной является задача анализа истории статистических методов с целью выявления тенденций развития и применения их для прогнозирования.

Литература

2. Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем. - М.: Мир, 1975. - 500 с.

3. Крамер Г. Математические методы статистики. - М.: Мир, 1948 (1-е изд.), 1975 (2-е изд.). - 648 с.

4. Большев Л. Н., Смирнов Н. В. Таблицы математической статистики. - М.: Наука, 1965 (1-е изд.), 1968 (2-е изд.), 1983 (3-е изд.).

5. Смирнов Н. В., Дунин-Барковский И. В. Курс теории вероятностей и математической статистики для технических приложений. Изд. 3-е, стереотипное. - М.: Наука, 1969. - 512 с.

6. Норман Дрейпер, Гарри Смит Прикладной регрессионный анализ. Множественная регрессия = Applied Regression Analysis. - 3-е изд. - М.: «Диалектика» , 2007. - С. 912. - ISBN 0-471-17082-8

Смотри также

Wikimedia Foundation . 2010 .

  • Yat-Kha
  • Амальгама (значения)

Смотреть что такое "Статистические методы" в других словарях:

    СТАТИСТИЧЕСКИЕ МЕТОДЫ - СТАТИСТИЧЕСКИЕ МЕТОДЫ научные методы описания и изучения массовых явлений, допускающих количественное (численное) выражение. Слово “статистика” (от игал. stato государство) имеет общий корень со словом “государство”. Первоначально оно… … Философская энциклопедия

    СТАТИСТИЧЕСКИЕ МЕТОДЫ – - научные методы описания и изучения массовых явлений, допускающих количественное (численное) выражение. Слово «статистика» (от итал. stato – государство) имеет общий корень со словом «государство». Первоначально оно относилось к науке управления и … Философская энциклопедия

    Статистические методы - (в экологии и биоценологии) методы вариационной статистики, позволяющие исследовать целое (напр., фитоценоз, популяцию, продуктивность) по его частным совокупностям (напр., по данным, полученным на учетных площадках) и оценить степень точности… … Экологический словарь

    статистические методы - (в психологии) (от лат. status состояние) нек рые методы прикладной математической статистики, используемые в психологии в основном для обработки экспериментальных результатов. Основная цель применения С. м. повышение обоснованности выводов в… … Большая психологическая энциклопедия

    Статистические методы - 20.2. Статистические методы Конкретные статистические методы, используемые для организации, регулирования и проверки деятельности, включают, но не ограничиваются следующими: а) планированием экспериментов и факторный анализ; b) анализ дисперсии и … Словарь-справочник терминов нормативно-технической документации

    СТАТИСТИЧЕСКИЕ МЕТОДЫ - методы исследования количеств. стороны массовых обществ. явлений и процессов. С. м. дают возможность в цифровом выражении характеризовать происходящие изменения в обществ. процессах, изучать разл. формы социально экономич. закономерностей, смену… … Сельско-хозяйственный энциклопедический словарь

    СТАТИСТИЧЕСКИЕ МЕТОДЫ - некоторые методы прикладной математической статистики, используемые для обработки экспериментальных результатов. Ряд статистических методов был разработан специально для проверки качества психологических тестов, для применения в профессиональном… … Профессиональное образование. Словарь



Поделиться