Главная стр 1стр 2стр 3
скачать
Оценка эффективности (совершенства)
1.Определения касаются основных понятий: свойства, качества, эф­фек­тивность, совершенство, частные и обобщённые показатели, крите­рии.

  1. Свойство, как отмечалось ранее (л.5) это унарное отношение на множестве объектов, устанавливающее отличие между объектами.

  2. Качество это степень соответствия продукта (в том числе и ПО) требованиям к тем функциям, которые данный продукт должны выпол­нять. Качество должно быть измеримым, то есть должна быть установлена шкала уровней качества.

Примечание: функция продукта не может являться каким-либо из частных показателей качества, однако само количество функций, выполняемые объектом может быть одним из част­ных показателей качества.

  1. Понятие эффективности и совершенства близки по содержа­нию, ко­торое в них обычно вкладывается. Однако некоторые различия имеются:

3а) Эффективность - понятие, связанное с качеством выполне­ния тем или иным объектом своих функции. Показатели качества (ча­ст­ные показатели эффективности) обычно задаются неравенствами xн < x или x < xв, где xн , xв нижняя и верхняя критериальные границы рассматривае­мой величины. Эффективность связана с эффектом (действием).

3б) Совершенство, как понятие также связано с качеством, но не столько с действием (эффектом), сколько с состоянием (совершенное оборудование жилого помещения, учреждения, совершенная форма и ком­поновка блоков ЭВМ и т.п.). Можно в отдельных случаях, напри­мер, оборудование служебного помещения связать с производитель­ностью и употребить тогда понятие “эффективность”. Но чаще всего подобные употребления будут выглядеть мало уместными.



  1. Частные и обобщенные показатели эффективности (совершен­ства) – это характеристики – измеримые величины рас­сматриваемых свойств. Обычно тот или иной продукт нельзя оценить на основе характе­ристики одного свойства и тогда его качество можно оценить некоторой сводной (обобщенной) величиной - Обобщенным Показателем Эффек­тивности (ОПЭ) или другое наименование, - Целевой Функцией (ЦФ). Последнее название связано с целью, кото­рая ставится при проектировании характеристик качества системы, объекта и т.д.

В сущности, центральной задачей системного проектирования и явля­ется формирование ОПЭ (ЦФ), опираясь на требования техниче­ского зада­ния и характеристики качества аналогичных продуктов, объектов и систем.

2. Порядок формирования ОПЭ включает:

  1. Выбор и представление общей схемы системы (программного ком­плекса) на уровне основных подсистем (блоков).

  2. Формирование группы экспертов (не менее 5-6 экспертов-см[2]).

  3. Описание характеристик системы и отдельных устройств.

  4. Предварительное ранжирование характеристик системы.

  5. Определение компетентности экспертов.

  6. Повторное ранжирование характеристик с учетом компетентно­сти экспертов.

  7. Определение показателя согласия экспертов.

  8. Определение коэффициентов значимости частных показате­лей.

  9. Выбор шкал измерений и нормирование частных показателей.

Примечание: В дальнейшем из всех возможных шкал: наименования, бальной, интервальной и отношений, рассматривается только бальная.

Это связано с тем, что чаще всего уровень многих характеристик сложных систем можно оп­ределить лишь в бальной шкале (см. в этой связи [2] с.12-16). Одновременно следует иметь в виду, что все частные показатели, изме­ряемые в интервальной или в шкале отношений нецелесообразно оценивать в бальной шкале (это без основания “загрубляет” измерение). В необходимых случаях приведение к единой шкале осуществляется нормировкой показа­телей (отображением на отрезок [0,1]).



  1. Формирование шкалы балльных оценок.

  2. Выбор и формирование обобщенного показателя эффективно­сти (со­вершенства).

  3. Определение индивидуальных и групповых вкладов частных показа­телей.

В этом пункте целесообразно дать анализ полученного обобщен­ного показателя эффективности (совершенства).

3.Выбор и представление общей схемы в качестве исследуемых объектов могут быть использованы схемы информационных потоков, информационных систем, компью­тера, а так же инициативные предложения.

При проектировании программ целесообразно провести струк­туру всего комплекса ПО, в который предлагается включить разраба­тываемую программу. Здесь же описывается роль программы и ре­шаемые ею задачи в комплексе ПО.



4.Формирование группы экспертов осуществляется из числа специалистов, которые обладают про­фес­сиональными знаниями в рассматриваемой области проектирова­ния. Группа экспертов должна включать не менее 5 и не более 10 лиц.

Обычно проектант нуждается лишь в заключениях экспертов и не должен оказывать никакого влияния на их оценки. Роль проектанта со­стоит в технической организации экспертизы и в обработке полу­ченных результатов.



5.Описание характеристик (частных показателей) системы отбирается не менее 10-15 показателей, которые эксперты счи­тают важней­шими при определении качества проектируемого объ­екта. Удобно офор­мить данный отбор в виде таблицы, аналогично приводимой ниже.

Таблица 6.1

пока­зате­лей



Наимено­вания частных пока­зателей - xi

Наименова­ние характери­зуемого объекта

Шифры, марки и т.п.

Пас­портные данные в физических единицах

1

2

3

4

5

1

.

.



.

.

i



.

.

.



n

x1

xi


xn













Примечание: Графа 1 n = 10 15 показателей

Графа 2 например:

x1-информационная ёмкость экрана;

.

.



.

xi-тактовая частота.

Графа 3 по тем же показателям:

x1-дисплей

.

.

.



xi-компьютер

Графа.4:

х1- CD

.

.



.

xi-Pentium

Графа.5:

х1- 640х200=1,28*105пикселей; I=2,56*105байт (смотри [М3]).

.

.

.



xi-50 МГц.

6.Предварительное ранжирование частных показателей. имеет цели: получить данные для расчёта коэффициентов значимости показате­лей и оценок компетентности экспертов. При этом каждый эксперт инди­видуально осуществляет расстановку пока­зателей по рангам с первого, представляющегося наиболее важным, до n-ого, который, по мнению экс­перта наименее значим. Если же не­сколько показателей, по мнению j-ого эксперта имеет одинаковое влияние (вес), то последовательные их места суммируются и вычисля­ется среднее значение, которое и присваивается в качестве ранга дан­ным одинаковым показателям.

Пример 6.1: Пусть некие четыре показателя из n показателей имеют, по мнению j-ого экс­перта, равные веса и должны занимать места i+1, i+2, i+3, i+4. Тогда ранги каждого из этих пока­зателей будут
c= c= c= c== i+2,5

Все данные экспертов и последующие расчетные оценки целесообразно свести в таблицу, подобную таб. 6.2



Таблица 6.2

эксперты

1



j



m

z

σ2

β

z*







показатели

1

























.

.










.

.

.

.

.

.

.

.

.

.










.

.

.

.

.

.

.

.

.

.










.

.

.

.

.

.

.

.

.

























.

.










.

.

.

.

.

.

.

.

.

.










.

.

.

.

.

.

.

.

.

.










.

.

.

.

.

.

.

.

n
























Здесь: с- ранг i-ого показателя, назначенный j-ым экспертом;



zi=

(6.1)

среднее значение места i-ого показателя по данным всех m экс­пертов;

=

(6.2)

среднее квадратичное отклонение i-ого показателя места от его среднего значения zi.

Далее осуществляется выставление предварительных рангов по всем i-тым показателям по схеме:



  1. если некоторое значение zi является наименьшим из всех осталь­ных:

z1, … , zi-1, zi+1, … , zn

то ему назначается предварительный ранг ri = 1 и заносят в графу х таб­лицы 6.2.



  1. выбирается следующий наименьший по величине ранг zk (ki) , ему назначается предварительный ранг 2 и заносят в ту же графу той же таблицы;

3
(6.3)

) если некоторое подмножество средних значений показателей места zu и zv (u ≠ v) отличаются не более чем на ∆z ,



то всем им назначаются одинаковые предварительные ранги, как среднее по числу их возможных порядковых мест ( см. пример 6.1); правильность назначения рангов проверяется экспертом по их общей сумме , которая должна быть равна





Расчет этой оценки в отчетах по лабораторным работам приводить не следует; формула (6.3) исходит из статистических оценок характеристик четвертого момента нормального распределения и заданный точности результатов до второго знака после запятой (см [2] и [1д, с.311]

4) следующей важной характеристикой является-среднеквадратичное отклонение, позволяющее сформировать доверительный интервал



(6.4)





7 Определение компетентности экспертов может быть выполнена рядом способов , в частности :

а) по взаимному оцениванию (см. дополнительно [2]):

а1. Составляются списки экспертов в количестве экземпляров по числу m экспертов;

а2. Каждый эксперт индивидуально проставляет ранги своим коллегам и дает также ранговую самооценку;

а

(6.5)

3
. Проектант ( заказчик, организатор и пр.) получает m оценок и рассчитывает коэффициент компетентности по формуле

где rj значение ранга j эксперта по оценкам мест bj экспертов:







здесь bj место, назначенное h-ым экспертом j-му эксперту, включая и самого себя , то есть при h=j



в) по коэффициентам ранговой корреляции

в1.Выстраивается ряд рангов:

в2. Под значениями рангов ряда β (см. таб.6.2) записывается ряд βj   назначения рангов j экспертом.

в


(6.6)

3.Коэффициент ранговой корреляции расчитывается по формуле Спирмена:

где и



4. Коэффициент компетентности



(6.7)

8.Повторное ранжирование показателей с учетом компетентности экспертов осуществляется на основе таб. 6.2 , приведенной в п.6, а соответствующие оценки определяются по формулам:



(6.8)





Далее формируется графа β*- окончательных рангов. Для экспертов вновь проверкой служит сумма рангов в графе β* и , если она равна 0,5n(n+1),то окончательные ранги определены правильно и можно переходить к определению показателя согласия экспертов, что и позволит заключить состоялась или нет экспертиза. При этом используются доверительные интервалы, которые дают представление о степени точности и надежности оценки установленных рангов рассматриваемых величин.

Схема формирования окончательных рангов включает:

1.Определение коэффициента Стьюдента (см., в частности, [2], таб 5 , с.76), где выбираемый уровень доверия по вероятности., а аналог числа опытных оценок ( в нашем случае число экспертов за вычетом 1)

2. Определение доверительного интервала Δ по соотношению

,

(6.9)

откуда средняя длина интервала



(6.10)

где =min {,}, определяемых соответственно по формулам (6.3) и (6.8). При   выбор безразличен и в качестве может быть принята любая из этих величин.

3.Определение окончательных рангов путем последовательного покрытия множества или ( в зависимости от значения ) интервалом длинной . Обычно удобно начинать с

Є




Для всех покрытых интервалом длиной , устанавливаются одинаковые ранги. При этом, если начиная с некоторого при последующим покрытии войдут в новый интервал , то места в новом интервале будут равны рангам прежнего интервала, а их прежние ранги исключены из состава рангов . Здесь некоторый поднабор из набора V, а величины поднабора , удовлетворяющие условию .

9.Определение коэффициента значимости ( весов) показателей осуществляется путем их расчета по формуле





(6.11)

где –окончательный ранг i-го показателя с учетом компетентности экспертов ( см. столбец таб. 6.2)

В зависимости от значений весовых коэффициентов,- чем выше , тем,- важнее,- производиться отбор параметров, которые войдут в обобщенный показатель эффективности (ОПЭ).

Обычно выбирают 3-10 важнейших показателей качества системы. Ниже приводится пример, иллюстрирующий и в отдельных случаях детализирующий, методику выбора ведущих показателей системы.

Пример 6.2 Положим , что получены результаты экспертизы (m=6 экспертам) степени влияния параметров (n=10) на ход некоторого процесса или состояние некоторого объекта; каждый эксперт ранжировал множество параметров по принципу: 1-ое место наиболее «значимому» параметру, а последнее наименее влияющему ( допускаются и равные места, тогда всем им, присваивается ранг, равный среднему суммы мест, которые они могли бы занять ). Эти данные приведены в таб. 6.2.1: и эксперты

Таблица 6.2.1










Эксперты













1

2

3

4

5

6

1

6

7

8

7

8

5

6,83

1,37

7

7

7




2

2

1

3

1

2

4

2,17

1,37

2

2

2




3

8

10

7

8

7

10

8,33

1,87

8,5

9

8




4

5

4

5

6

6

3

4,83

1,37

5

5,5

5




5

1

2

1

3

1

4

2

1,60

2

2

2




6

6

9

9

10

10

7

8,5

2,7

8,5

9

9,5




7

9

8

10

9

9

9

9

0,4

10

9

9,5




8

2

3

2

2

3

1

2,17

0,57

0,75

2

2




9

7

6

6

5

5

6

5,83

0,57

6

5,5

6




10

4

5

4

4

4

2

3,83

0,97

4

4

4




Схема определения рангов параметров включает предварительную и окончательную их оценки:

По формуле (6.4)



А. Предварительная оценка рангов:

1. Определение статистических характеристик



    1. статистическое среднее по формуле (6.1);

    2. дисперсия по формуле (6.2)

    3. полученные результаты приведены в столбцах таб.6.2.1

  1. Оценка предварительных рангов ri учитывая значения и степень различия между и по формуле (6.3);

2.1)начинать целесообразно с ;

2.2) по формуле (6.3) имеем

2.3) заметим, что абсолютные разности= отсюда каждый из средних значений , и может занимать 1,2 и 3 места и ранги

2.4) ранг следующего наименьшего значения , учитывая, что ‌ ‌ = ‌ 2,17  3,83 ‌ = 1,66>0б21 и ‌ ‌ =1>0,21 и ни с каким другим местом может быть объединен, имеет индивидуальное значение 4 ( места 1,2 и 3, как видим заняты); аналогично для и с разностями >0,21 ; также имеем

2.5)вновь <0.21 и , а имеет ранг (8 и9 заняты);

2.6) все Є внесены в графу таб.6.2.1



В Окончательная оценка рангов:

1*. Определение компетентности экспертов:

1*.1) Методы оценки компетентности достаточно разнообразны ( см., в частности , [2]); здесь рассмотрим


скачать

следующая >>
Смотрите также:
Оценка эффективности (совершенства) Определения
622.41kb.
Оценка эффективности
122.95kb.
Оценка эффективности
113.8kb.
Оценка эффективности рекламной кампании
286.62kb.
Теоретические и методические основы оценки эффективности инновационного проекта
25.81kb.
Исследование эффективности поиска в Интернете сведений по тематике : методы представления информации изображений
173.5kb.
Е. И. Юркова, К. Г. Мусина, Г. А. Ляпцев Оценка экономической эффективности инвестиций
442.33kb.
Курсовая работа «Исследование эффективности поиска сведений в Интернете»
89.39kb.
Оценка экономической эффективности информационной технологии
149.85kb.
Экономическая эффективность внедрения новой техники
82.16kb.
Клинико-психологическая оценка эффективности здоровьеформирующей программы в общеобразовательной школе
145.77kb.
Общая характеристика рекламы и её предназначение
11.91kb.