Количественные оценки, например деловых и организаторских качеств работника, производятся, как правило, с помощью экспертных оценок. При этом для характеристики кандидата на должность сначала устанавливают (с учетом специфики производства и условий работы) 6-7 критериев. Например:
1. способность организовывать и планировать труд;
2. профессиональная компетентность;
3. сознание ответственности за выполняемую работу;
4. контактность и коммуникабельность;
5. способность к нововведениям;
6. трудолюбие и работоспособность.
По каждому из этих критериев на основе изучения деятельности кандидатов на должность дается соответствующая оценка по избранной, например, пятибалльной шкале (отлично - 5; хорошо - 4; удовлетворительно - 3; не -удовлетворительно - 2; плохо - 1).
Оценки по критериям обычно располагают по нарастающему количественному значению. Например, при оценке по критерию "способность организовывать и планировать труд":
"1" - явно неорганизованный работник и руководитель;
"2" - не умеет организовывать и планировать свой труд и труд подчиненных;
"3" - умеет организовать трудовой процесс, но не всегда удачно планирует работу;
"4" - умеет хорошо организовывать и планировать свой труд и труд подчиненных;
"5" - умеет создавать и поддерживать четкий порядок в работе на основе эффективного планирования.
По своей значимости в общей оценке кандидата на конкретную должность определенные качества всегда имеют различный удельный вес, что устанавливается экспертным путем. Например, по шести указанным выше критериям могут быть приняты определенные значения.
Для определения общей оценки деловых и организаторских качеств кандидата на управленческую должность составляется специальный оценочный лист.
Естественно, чем выше общая оценка по каждой группе качеств, тем более достоин кандидат заместить должность в аппарате управления. Наибольшая возможная оценка - 5, а самая низкая - 1.
Образование, стаж работы и возраст работника должны обязательно учитываться при оценке деловых качеств. Дело в том, что образование - одна из основных качественных характеристик при определении уровня квалификации работника, стаж работы - количественная мера опыта, а возраст находится во взаимосвязи со стажем работы.
Данные об образовании кандидата, его стаже и возрасте учитываются путем расчета коэффициента профессиональной перспективности по формуле:
К = Оу.обр. (1 + С/4 + В/18), где
Оу.обр. - оценка уровня образования, которая обычно принимается (составляет
0,15 для лиц, имеющих незаконченное среднее образование;
0,60 - для лиц со средним образованием;
0,75 - для лиц со среднетехническим и незаконченным высшим образованием;
1,00 - для лиц с высшим образованием по специальности;
С - стаж работы по специальности. В соответствии с рекомендациями НИИ труда он делится на 4 (в связи с тем, что, как установлено, стаж в 4 раза меньше влияет на результативность труда, чем образование);
В - возраст. В соответствии с рекомендациями НИИ труда он делится на 18 (установлено, что влияние возраста на результативность труда в 18 раз меньше, чем влияние образования). При этом за верхний предел возраста для мужчин принимается 55 лет, а для женщин - 50.
На этапе определения общей оценки кандидата на должность величина коэффициента профессиональной перспективности суммируется с общей оценкой по деловым и организаторским качествам. Совершенно очевидно, что предпочтение отдается тому кандидату, который в итоге получит наибольшую оценку, притом обязательно еще и с учетом таким же способом полученных оценок по группам личностных качеств.
Проверка практикой, бесспорно, имеет решающее значение для оценки любого управленческого работника. В связи с этим рекомендуется осторожно и терпеливо испытывать и распознавать среди них настоящих организаторов, сочетающих интерес к делу с умением наладить совместную работу коллектива людей. Для этого при работе с резервом кадров на выдвижение широко практикуется их привлечение к временному исполнению обязанностей руководителя в период его отсутствия, стажировка и другие формы и методы практической проверки. Однако и в таких случаях результаты работы требуют объективных оценок.
На ряде российских организаций накоплен положительный опыт оценки управленческого персонала. Сущность одного из наиболее апробированных и достаточно эффективных методов заключается в использовании квалификации, опыта и интуиции наиболее компетентных в своей области работы специалистов - экспертов. Важнейшими условиями применения этого метода является обеспечение анонимности выставляемых экспертами оценок и обоснованность подбора состава экспертных комиссий.
Если анонимность достигается через специальное анкетирование или тестирование, то обоснованность подбора состава экспертов состоит в их тщательной предварительной оценке, а также в методически грамотном и целенаправленном формировании количественного и качественного состава. Например, главные требования к эксперту - его компетентность в управлении производством, нравственность, глубокие знания и признанное умение решать специальные задачи в соответствии с определенными- функциями.
Одно из требований - хорошо разбираться в одной из смежных специальных областях деятельности, например, для технолога - в экономике, для экономиста - в технологии, линейного руководителя - в правовых вопросах и т. д. Традиционное требование к формированию группы экспертов состоит в их способности провести экспертизу с учетом разнообразных сторон деятельности оцениваемого работника.
Главная опасность при подборе состава экспертов состоит в завышении доли какой-либо подгруппы экспертов, заведомо близкой в своем мнении. Эта опасность заключается не только в односторонности выставляемой оценки, но и в том, что при обработке экспертных мнений все другие оценки потеряют свою значимость. По той же самой причине нежелательно включение в экспертную группу специалистов, авторитет которых резко отличается от среднего авторитета членов комиссии.
Используются группы экспертов двумя способами - индивидуально или группой. Индивидуальный, более распространенный и эффективный способ, заключается в том, что каждый эксперт дает оценку анонимно и независимо от других, а затем эти оценки обобщаются. Групповой способ основан на совместной работе экспертов и получении суммарной оценки от всей группы в целом. При таком способе согласование индивидуальных оценок сочетается с последовательным ознакомлением каждого эксперта с оценками остальных. Требование анонимности при таком способе соблюсти возможно, но при "бумажной технологии" уже появляются сложности.
Групповая экспертиза включает следующие обязательные этапы:
Разработка программы (выбор формы группового суждения с перечнем вариантов или оценок), рекомендаций, решений; выработка принципов и методов получения группового суждения;
Выбор техники опроса или способов выявления индивидуальных мнений;
Формирование экспертной группы;
Проведение опроса экспертов;
Обработка результатов (получение группового суждения);
Анализ результатов.
Результат работы экспертов отражается в документе, вариантами которого могут быть рекомендации, обобщающие оценки, решения. Самым гласным вариантом оформления экспертизы является решение. Самым распространенным - рекомендации, но с указанием определенных признаков будущего решения.
Подбор, согласование и утверждение экспертных комиссий обычно проводят начальник отдела кадров и руководитель организации (организации). Начальник отдела кадров знакомит экспертов с методикой оценки с помощью научного консультанта, который первый раз практически руководит всей работой. На уровне организации в состав экспертных комиссий (комиссия для оценки руководителей аппарата управления, комиссия для оценки линейных руководителей производственных подразделений, комиссия для оценки специалистов аппарата управления) включают обычно 3 - 5, но не более 7 человек. При этом в числе экспертов должны быть как оцениваемый, так и его руководитель.
Анкета оценки руководителя или специалиста, карточка эксперта на аттестуемого, бланк результатов опроса экспертов на аттестуемого, а также, бланк расчета итоговой оценки на аттестуемого - таковы обязательные документы почти любой методики независимо от способа расчетов (вручную или с использованием компьютера).
Основным инструментом аттестации является анкета, которая представляет собой специально разработанный вопросник, включающий перечень определенных качеств и варианты ответа. При этом перечень качеств, которыми должен обладать специалист, зависит от сферы его деятельности и занимаемой должности. Поэтому правильный подбор качеств, их перечень для каждой конкретной должности, а также оценки в баллах рекомендуется устанавливать конкретной экспертной комиссией в организации. Именно в этом - одно из важнейших условий объективной оценки работника.
После обсуждения результатов каждая экспертная комиссия утверждает не только перечень качеств для включения в анкету, но и определяет количественную оценку каждого качества в баллах. Например, в анкету рекомендованы десять качеств, и все они оценены по десятибалльной системе оценок (смотри Таблицу 1).
Таблица 1.
Расположены эти качества в анкете в ранжированный ряд - от более до менее значимого. В соответствии с этим и выставляется первая оценка аттестуемому. Она характеризует степень значимости качества. Вторая оценка - это оценка степени проявления этих же качеств аттестуемого по четырем вариантам ответа. Эксперт при этом должен установить, как часто определяемое качество проявляется у аттестуемого по следующей балльной шкале:
1. если всегда - 1,5 балла;
2. если в большинстве случаев - 1 балл;
3. если иногда - 0,5 балла;
4. если почти никогда - 0 баллов.
При первой оценке ставится знак "+" в графе против качества и его оценки в баллах. При второй оценке ставится знак "+" в графе, соответствующей мнению эксперта.
Обработка результатов оценки аттестуемого осуществляется путем заполнения специального бланка - "Бланк результатов опроса экспертов на аттестуемого". С этой целью знаки "+" из анкет, поставленные экспертами, переносят со знаком "V" в этот бланк. В другом бланке ("Бланк расчета средней оценки аттестуемого") по каждому качеству рассчитывается средний балл по формуле:
Где Зср - средний балл оценки качества по степени его функциональной значимости;
З10 ... 31 - оценка экспертом степени значимости качества по десятибалльной шкале;
N10 ... n1 - количество экспертов, которые присвоили качеству оценку по степени значимости (в баллах);
Одновременно в этом же бланке по каждому из качеств рассчитывается средний балл степени проявления этого качества у аттестуемого по формуле:
Где Пср - средняя оценка степени проявления качеств у аттестуемого;
П1,5 ... П0,5 - степень проявления качеств у аттестуемого по оценке экспертов;
N1,5 ... n0,5 - количество экспертов, отнесших качество к степени его проявления у аттестуемого к тому или иному баллу оценки;
N - общее количество экспертов.
Затем по каждому качеству определяется средневзвешенный балл по формуле:
К = Зср * Пср, где К - качество.
Расчет эталона производится следующим образом: сумма баллов по всем 10 качествам (10+9+8+7+6+5+4+3+2+1 = 57) умножается на 1,5 (коэффициент степени проявления качества, если оно проявляется всегда), или на 1,0 (если оно проявляется в большинстве случаев), или же на 0,5 (если качество присутствует иногда). В итоге получаем следующие результаты:
1) 57 х 1,5 = 85,5;
2) 57 х 1,0 = 57,0;
3) 57 X 0,5 = 28,5.
Таким образом, в первом случае, если оценка работника составляет более 85 баллов, формулируют вывод о его повышении или включении в состав резерва на выдвижение. Во втором случае, если оценка составит от 57 до 85 баллов, делают заключение о соответствии занимаемой должности. В третьем случае, если оценка составляет ниже 28 баллов, фиксируют вывод о том, что работник не соответствует занимаемой должности. При этом весьма ценно и то обстоятельство, что детальный анализ оценок экспертов по качествам может помочь определить для каждого работника конкретные направления совершенствования его деятельности.
Механизм потребительского выбора достаточно консервативен, поскольку базируется, как правило, на использовании только того, что уже хорошо себя зарекомендовало. В значительной степени он ориентирован на прошлое, чем на возможное будущее.
В условиях рынка основой оценки качества продукции должна стать объективная общественная полезность продукции, что будет отражать ее прогрессивность и соответствие чертам нового быта. Одним из методов, который может обеспечить именно такую оценку продукции, может стать экспертный метод.
Экспертный метод оценки качества продукции предусматривает выяснение мнения экспертов.
Эксперт – это квалифицированный специалист, который соответствует требованиям профессиональной и квалиметрической компетентности, деловитости и объективности, а также заинтересованный в работе экспертной комиссии.
Использование экспертных методов рационально при наличии одной из двух причин:
· задание не может быть выполнено никаким другим методом;
· другие методы выполнения задания или менее точные, или более трудоемкие.
Экспертные методы совместно с другими или самостоятельно могут быть использованы для:
· классификации продукции;
· определения номенклатуры показателей качества продукции;
· определения коэффициентов весомости отдельных показателей качества;
· выбора базовых образцов продукции и определения значений отдельных показателей качества этих образцов;
· определение органолептических показателей качества оцениваемой продукции;
· определение комплексных показателей качества продукции.
Привлечение к работе в экспертных комиссиях высококвалифицированных экспертов позволяет получить точную и воспроизводимую оценку качества товаров. Проведенные эксперименты подтверждают, что при правильной методике экспертной оценке ошибка результатов находится в пределах 5–10 %, и ее целиком можно сопоставить с результатами инструментальных методов.
Для оценки качества продукции экспертным методом создаются экспертные комиссии. Порядок создания, цели и задания такой комиссии определяются приказом или распоряжением руководителя министерства, ведомства, объединения, фирмы. Общий алгоритм операций создания и работы экспертной комиссии, которая использует методы группового опроса, приведен на рисунке 7.1.
Работа экспертной группы заканчивается статистической обработкой экспертных оценок, их анализом и принятием обоснованных решений.
Основные преимущества групповой экспертной оценки заключается в возможности разностороннего анализа проблем, связанных с определением отдельных характеристик товара. Взаимодействие между экспертами увеличивает объем суммарной информации по сравнению с информацией каждого члена группы. При групповой оценке меньше вероятность ошибки конечного результата работы. В большинстве случаев групповая оценка более надежная, чем оценка каждого эксперта в отдельности.
Рабочая группа готовит и проводит экспертную оценку качества продукции. Ее заданием является подготовка экспертов, помощь в проведении оценки качества, обработка, анализ, обобщение результатов и установление коллективного мнения экспертов. Она начинает свою деятельность с подбора экспертов и формирования экспертной группы.
Рис. 7.1. Общий алгоритм операций по созданию и работе экспертной комиссии
Экспертная комиссия состоит из двух групп – рабочей и экспертной.
В состав рабочей группы входят:
· организатор (он же председатель экспертной комиссии) осуществляет методическое руководство работой на всех этапах. Он должен быть квалифицированным специалистом в области методологии оценки качества продукции, знать основы ее производства и процессы, которые могут меть место в данной продукции, при ее производстве, транспортировании и хранении. Он создает рабочую группу; составляет программу работ; принимает участие в опросе экспертов; анализирует результаты каждой операции, а также окончательные итоги, формулирует выводы и предложения на основе полученных результатов проведенной дегустации;
· специалист – это высококвалифицированный работник фирмы, при которой формируется экспертная комиссия. Желательно, чтобы он имел универсальные знания о продукции, касающиеся как ее производства, так и особенностей использования. Задача специалиста – анализ информации, полученной от экспертов, для корректировки дальнейшей работы фирмы. программист. Если оценка качества продукции или обработка результатов производится с использованием компьютерной техники, то основной задачей этого специалиста является разработка программы для проведения такой работы и последующей обработки полученных результатов;
· технические работники разъясняют положенияанкеты, если они не достаточно понятны экспертам, проводят их опрос, получают от экспертов анкеты, могут уточнять результаты, но высказывать свое мнение в отношении оценки экспертов не должны.
Формирование экспертной группы. Организатор и специалист составляют список экспертов (учитывается служебное положение, время и характер работы, профессия). В состав группы должны войти специалисты разных направлений производства и оценки качества товара (проектирования, технологии производства, эстетики, исследования качества).
Экспертная группа может формироваться из работников одной или нескольких фирм, которые выпускают (реализуют)товары данной группы. При этом необходимо учитывать тенденции и взгляды на качество продукции, которые господствуют в данной фирме, служебное положение (субординацию) экспертов, создание и поддержание психологического климата в группе. Желательно отдавать предпочтение созданию экспертной группы на базе одной фирм с приглашением к работе нескольких специалистов других фирм.
Результат работы экспертной комиссии в значительной степени зависит от количества экспертов и их компетентности. Подбор экспертов – это чрезвычайно тяжелая задача. Она связана с тем, что:
· необходимо учитывать индивидуальные способности экспертов, а надежной методики определение этих способностей нет;
· недостаточно изучены психофизиологические особенности человека, от которых в значительной мере зависит работа экспертов;
· существует противоречие между желанием уменьшить затраты на экспертизу путем использования ограниченного количества экспертов для оценки качества широкой номенклатуры товаров и желанием увеличить точность и надежность экспертной оценки.
По мнению Г.Г. Азгальдова и Е.П. Райхмана, компетентность экспертов определяется 4-мя группами свойств (рис. 7.2).
Профессиональная подготовка предусматривает знания различных сторон проектирования и производства продукции, требований потребителей, условий и характера использования (эксплуатации).
Квалиметрическая подготовка обеспечивает четкое понимание экспертом принципов и методов оценки качества продукции, знание методов определения отдельных показателей качества и умение пользоваться ними в процессе практической работы (использование различных типов оценочных шкал, способность различать достаточное число градаций оцениваемой продукции).
Рис. 7.2. Показатели компетентности экспертов
Заинтересованность эксперта в работе экспертной комиссии зависит от многих факторов:
· целей экспертизы;
· характера выводов;
· индивидуальных особенностей эксперта,
· занятости на основной работе;
· возможности использования результатов экспертной оценки в собственной практической работе.
Деловитость эксперта включает подвижность и эластичность внимания (способность быстро переключать внимание с одного показателя на другой); собранность; оперативность; обоснованность выводов; контактность (умение работать с людьми в конфликтных ситуациях); мотивированность выставленной оценки.
Объективность эксперта заключается в том, что он делает выводи на основе действительного уровня качества оцениваемой продукции, а не руководствуется другими мнениями.
Методы оценки компетентности экспертов делят на 5 групп: эвристические, статистические, тестовые, документальные и комбинированные.
Эвристическая (от греч. heurisko – отыскиваю, открываю) оценка эксперта базируется на оценке окружающих людей или самооценке. Существуют такие виды эвристических оценок: самооценка, взаимооценка, оценка рабочей группы.
Самооценка – это метод, при котором оценку собственной компетентности дает сам эксперт. Установлено, что достоверность средней экспертной оценки тем выше, чем больше среднее значение самооценки членов экспертной группы. Между тем необходимо иметь ввиду, что результаты самооценки почти всегда субъективны, что является недостатком этого метода.
З целью повышения точности результатов самооценки ее проводят дифференцированно. Показатель самооценки определяют как функцию двух коэффициентов: информированности и знаний оцениваемой продукции и аргументированности своей оценки. Т.Г. Роднина и Г.О. Вукс предлагают определять информированность и знание экспертом оцениваемой продукции при помощи «Анкеты самооценки» (приложение А). В анкете эксперт отмечает регулярность знакомства с источниками информации, а также степень своего знакомства с оцениваемой продукцией. Самооценка рассчитывается по формуле:
К сам = В эсп I экс,
где К сам – коэффициент самооценки эксперта;
В экс – весомость показателей информированности и знаний;
I экс – оценка, которая зависит от степени информированности.
Пример расчета К сам приведен в приложении Б.
Взаимооценка – это эвристическая оценка эксперта, которая дается другими экспертами, она должна уменьшить субъективность самооценки каждого эксперта. Известно, что существует взаимосвязь между компетентностью эксперта и средней оценкой, которую он получил от своих коллег. Сущность этого вида оценки состоит в том, что каждый член экспертной группы дает оценку всем другим экспертам, а потом рассчитывается средняя оценка каждого эксперта.
Недостатки взаимооценки:
· эксперты могут недостаточно знать один другого;
· на результаты оценки могут влиять взаимные симпатии или антипатии;
· разные эксперты могут неоднозначно воспринимать понятие «компетентность эксперта»;
· использовать взаимооценку только в тех комиссиях, где эксперты хорошо знают друг друга;
· проводить анонимное анкетирование;
· объяснять, что результаты анкетирования будут использоваться только для корректировки оценок товара.
Оценка эксперта рабочей группой – это эвристическая оценка, которая должна дать количественную характеристику заинтересованности эксперта в экспертной оценке и его внимательности в процессе опроса. Оценка дается специалистами-аналитиками, которые проводят опрос экспертов после экспертной оценки продукции. При этом они оценивают отношение экспертов к экспертизе а также их активность при обсуждении результатов. Чаще всего для такую оценку рекомендуют использовать 10–балльную оценку.
Статистическая оценка . – это оценка, полученная после статистической обработки мнений экспертов об объекте оценки. Эти оценки используются с целью уменьшения ошибок, которые возникают при экспертных оценках. Необходимость статистической обработки результатов экспертизы обусловлена тем, что в отличии от измерений, которые проводятся при помощи технических средств и базируется на сравнении неизвестных величин с известными, при экспертных методах часто известная величина отсутствует. К тому же на точность экспертных оценок влияет много факторов объективного и субъективного характера, вследствие чего возникают систематические или случайные ошибки.
Систематическая ошибка – это ошибка, которая постоянно повторяется в процессе данного определения. Основная причина ее появления является недостаточная или неточная информация экспертов. Уменьшить ее можно путем ознакомления экспертов с необходимой информацией до начала работы экспертной комиссии. Систематическую ошибку можно определить по величине отклонения оценки каждого эксперта от среднего значения, полученной в экспертной комиссии.
Случайная ошибка зависит от психофизиологических особенностей эксперта (собранности, внимательности, уверенности в собственной правоте). Она уменьшается, если эксперт часто принимает участие в работе экспертных комиссий и имеет практический опыт.
Оценка объективности эксперта – это оценка способности эксперта к непреднамеренной оценке конкретного образца товара. Это очень важная характеристика компетентности эксперта, которая существенно влияет на точность результатов экспертной оценки.
Тестовые оценки позволяют при помощи тестирования определить психофизиологические особенности экспертов. Их используют для оценки объективности, квалиметрической и профессиональной подготовленности эксперта. Тестирование позволяет оценить личностные черты, чего нельзя сделать никакими другими методами. Недостатком данного метода можно считать невозможность сравнить данные, полученные методом тестирования, с данными, полученными при помощи других объективных методов.
При составлении тестов необходимо придерживаться таких требований:
· эксперт должен понимать постановку тестового задания и условия, которым отвечает его решение;
· вероятность случайного угадывания решения задания должна быть близка нулю;
· тестовое задание должно иметь точный ответ;
· необходимо обосновать приближение тестового задания и реальных задач, которые решает эксперт при оценке качества продукции.
Оценка квалилиметрической подготовки эксперта – это оценка теоретических знаний методов оценки показателей качества продукции и умение их использовать в практической работе. Эта оценка может проводиться путем устного или письменного контроля знаний с использованием тестов.
Несколько сложнее проверить такие знания, как умение использовать различные типы оценочных шкал, определять субъективную вероятность, распознавать достаточное количество градаций показателей качества.
Документальная оценка – это оценка эксперта на основе документов, которые подтверждают его соответствие установленным требованиям. Например, компетентность эксперта может быть подтверждена общими сведениями, которые приводятся в анкете: опыт – копией трудовой книжки; профессиональная подготовка – дипломом профессионального образования; специальная подготовка – аттестатом или свидетельством установленного образца о специальной подготовке; повышение квалификации – соответствующим свидетельством.
Документальная оценка может быть только дополнением к другим методам оценки компетентности эксперта и самостоятельного значения не имеет. Это обусловлено тем, что часть информации, которая есть в документах, дублирует другие оценки.
Комбинированная оценка предполагает использование различных методов оценки компетентности экспертов. Так как различные методы этой оценки имеют свои преимущества и недостатки, то их совместное использование может позволить усилить преимущества и смягчить недостатки отдельных методов.
Контрольные вопросы и задания
1. В чем суть потребительных методов сенсорного анализа?
2. Какие условия необходимо создавать при создании дегустационных комиссий для потребительской оценки?
3. Какие правила необходимо соблюдать при составлении анкеты для потребительской оценки?
4. В чем суть парного и треугольного методов исследования?
5. В чем суть аналитических методов сенсорного анализа?
6. С какой целью чаще всего используют метод оазведения?
7. В чем суть бальной оценки качества товаров?
8. Какие требования необходимо соблюдать при разработке бальной системы оценки качества товара?
9. С какой целью устанавливают коэффициенты значимости показателей качества?
10. В чем суть экспертного метода оценки качества товаров?
11. Назовите основные этапы и операции, имеющие место при проведении экспертной оценки.
12. Какие существуют методы оценки компетентности экспертов?
13. Охарактеризуйте основные методы оценки компетентности экспертов (эвристический, тестовый, документальный).
Механизм потребительского выбора достаточно консервативен, поскольку базируется, как правило, на использовании только того, что уже хорошо себя зарекомендовало. В значительной степени он ориентирован на прошлое, чем на возможное будущее.
В условиях рынка основой оценки качества продукции должна стать объективная общественная полезность продукции, что будет отражать ее прогрессивность и соответствие чертам нового быта. Одним из методов, который может обеспечить именно такую оценку продукции, может стать экспертный метод.
Экспертный метод оценки качества продукции предусматривает выяснение мнения экспертов.
Эксперт – это квалифицированный специалист, который соответствует требованиям профессиональной и квалиметрической компетентности, деловитости и объективности, а также заинтересованный в работе экспертной комиссии.
Использование экспертных методов рационально при наличии одной из двух причин:
задание не может быть выполнено никаким другим методом;
другие методы выполнения задания или менее точные, или более трудоемкие.
Экспертные методы совместно с другими или самостоятельно могут быть использованы для:
классификации продукции;
определения номенклатуры показателей качества продукции;
определения коэффициентов весомости отдельных показателей качества;
выбора базовых образцов продукции и определения значений отдельных показателей качества этих образцов;
определение органолептических показателей качества оцениваемой продукции;
определение комплексных показателей качества продукции.
Привлечение к работе в экспертных комиссиях высококвалифицированных экспертов позволяет получить точную и воспроизводимую оценку качества товаров. Проведенные эксперименты подтверждают, что при правильной методике экспертной оценке ошибка результатов находится в пределах 5–10 %, и ее целиком можно сопоставить с результатами инструментальных методов.
Для оценки качества продукции экспертным методом создаются экспертные комиссии. Порядок создания, цели и задания такой комиссии определяются приказом или распоряжением руководителя министерства, ведомства, объединения, фирмы. Общий алгоритм операций создания и работы экспертной комиссии, которая использует методы группового опроса, приведен на рисунке 7.1.
Работа экспертной группы заканчивается статистической обработкой экспертных оценок, их анализом и принятием обоснованных решений.
Основные преимущества групповой экспертной оценки заключается в возможности разностороннего анализа проблем, связанных с определением отдельных характеристик товара. Взаимодействие между экспертами увеличивает объем суммарной информации по сравнению с информацией каждого члена группы. При групповой оценке меньше вероятность ошибки конечного результата работы. В большинстве случаев групповая оценка более надежная, чем оценка каждого эксперта в отдельности.
Рабочая группа готовит и проводит экспертную оценку качества продукции. Ее заданием является подготовка экспертов, помощь в проведении оценки качества, обработка, анализ, обобщение результатов и установление коллективного мнения экспертов. Она начинает свою деятельность с подбора экспертов и формирования экспертной группы.
Экспертные оценки и способы измерений.
Оценка эксперта – количественное и/или качественное измерение соответствующего показателя.
Методы получения количественных экспертных оценок
Непосредственная количественная оценка
Эксперт указывает конкретное числовое значение или диапазон искомого параметра.
Метод средней точки.
Применяется при большом количестве альтернативных вариантов.
Сначала выбираются наиболее (А) и наименее (Я) предпочтительные альтернативы. Далее – промежуточный вариант – М, оценка которого делит отрезок А – Я пополам.
Методы получения качественных экспертных оценок
Экспертная классификация (определение принадлежности к группе, сорту, категории – сорт чая)
Ранжирование альтернатив – упорядочение сравниваемых альтернатив по степени предпочтительности определённого признака.
Метод экспертных кривых применяется для получении прогнозов на основе анализа динамики показателей, характеризующих объект эксперимента (график, экстраполяция). Для предотвращения ошибок при экстраполяции на основе обобщенного мнения экспертов на графике определяются точки, в которых следует ожидать изменения тенденции развития показателя.
Инструментами вышеперечисленных методов являются качественные и количественные шкалы.
19. Способы оценки качеств экспертов и формирование экспертных комиссий.
Метод суда.
Процедура аналогична судебному заседанию. Часть экспертов – обвиняют, часть – защищают, часть – присяжные, выносящие окончательный вердикт. Экспертные оценки – субъективны, поэтому ключевой вопрос – подбор экспертов.
Оценка качеств эксперта .
Эксперт – специалист, профессионал, оценки и суждения которого лицо, принимающее решение, считает полезным учитывать в процессе принятия решения.
Формирование состава экспертной комиссии эависит от:
Конкретной ситуации принятия решения;
Возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;
Возможностей специалистов принять участие в работе экспертной комиссии.
Не существует общепринятой единой методики оценки качеств эксперта.
Можно опираться на:
Профессиональные знания;
Опыт и эффективность деятельности в составе экспертных комиссий.
Способы оценки качеств эксперта:
Априорные – не используют информацию о результатах участия эксперта в предыдущих экспертизах (самооценка, взаимная оценка, метод списка экспертов, документационный (анкетный) метод).
Апостериорные – используют информацию о результатах участия эксперта в предыдущих экспертизах (метод парных сравнений объектов, наиболее предпочтительных для данного эксперта, метод отклонения от результирующей групповой оценки).
Тестовые – подразумевают проведение специального испытания.
Тест должен быть специально разработан под конкретные объекты экспертной оценки
Истинные значения оцениваемых параметров (правильные ответы) не должны быть известны эксперту
Должна быть разработана шкала для определения точности оценок, даваемых экспертом
Вероятность случайного угадывания правильной оценки должна быть очень мала.
Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Проводят ряд аналогичных тестов и оценивают полученные результаты. Стабильность оценок говорит о профессиональной компетенции эксперта.
Страница 1 из 2
Качество есть качество" . Качество в отличие от количества не измеряют, а оценивают. Существуют две формы оценки качества: лингвистическая и количественная. В первом случае качество определяют словами: например, "качество высокое", "среднее", "низкое" и т.д. Во втором случае качество оценивают по некоторой условной шкале числом к (0 < к < м, где м - высший балл в числовой оценке качества). Например, 5 как в российской или 100 как в английской школах.
Для оценки качества привлекаются эксперты. Мы к такой оценке качества уже прибегали, когда пытались характеризовать параметры пожарного ведра (см. рис. 3.31 и 3.32). Экспертной оценке качества могут быть подвергнуты товары и услуги, проекты и законы, знания и квалификация, выступления фигуристов, гимнастов или вокалистов и многое другое. Как ни ругают качественные, а не количественные оценки в некоторых видах спорта, вспоминая при этом скандалы на соревнованиях, экспертные оценки жюри остаются единственным мерилом выступления многих спортсменов. Не говоря уже о людях искусства и о различных творческих конкурсах...
В повседневной жизни при принятии решения можно исходить из лингвистической оценки качества: мы, например, покупаем хороший чай или газонокосилку высокого качества и т. д. Однако есть такие задачи, в решении которых лучше руководствоваться количественной оценкой качества. Кроме того, обычно лингвистические оценки строятся на основе экспертных количественных оценок. Так, качество выпускника английского университета и достоинство диплома, который он получает, определяется по следующей шкале, представленной в табл. 4.11.
Таблица 4.11. Шкала оценки качества диплома
Независимо от объекта, качество которого подлежит экспертной оценке, методика ее получения в основе своей одинакова.
На рис. 4.29 показана оценка качеств некоторой рукописи книги по Mathcad, сделанная по пятибалльной шкале разными рецензентами (таблица Excel, внедренная в Mathcad-документ), проиллюстрированная двумя диаграммами, глядя на которые можно сделать лишь один вывод о том, что качества отдельных семи сторон рукописи более соответствуют друг другу, чем качества отдельных пяти рецензентов.
Но оценку качества можно делать не только качественно (прошу прощения за тавтологию), но и количественно, цифрами. Для этого рассмотрим задачу оценки деловых качеств руководителя (менеджера). Для оценки потребуются модель качества менеджера, эксперты и математическая обработка результатов работы экспертов.
Модель качества специалиста может быть представлена в виде некоторого набора важнейших качественных параметров (качеств), характеризующих его профессиональный уровень, личностные, деловые качества и предопределяющих успешную работу в рассматриваемой сфере деятельности.
Допустим, что этот набор включает следующие качества:
Уровень и качество образования, опыт практической работы;
Эрудицию, знания и умения в своей и смежных сферах деятельности;
Обучаемость и способность обучать;
Культурный уровень, моральные стандарты;
Физическое и психологическое здоровье, возраст;
Характер, отношение к окружающим;
Умение руководить;
Амбициозность, стремление к лидерству; - способность к риску;
Динамизм, способность оценивать и принимать изменения внутренней и внешней среды.
Рис. 4.29. Графическое сопоставление качеств рукописи и рецензентов
Пред. -