II.2. Цель, вопрос, оценка
Goal, Question, Metric

Если Вы думаете, что понимаете квантовую механику, значит, Вы не понимаете квантовую механику.

Ричард Фейнман, Нобелевский лауреат, физик-ядерщик

II.2.1. GQM и его уровни.
GQM conception and it’s levels

S.M.A.R.T. – изначально методика для менеджеров, которые не должны и не могут разбираться в сложных технических аспектах любого современного продукта.

Когда же мы говорим о разработке какого-то программного обеспечения, каких-то изделий, то желательно использовать более сложные и конкретные методики, интегрирующие в себе не только целеполагание, но и способы проверки степени достижения поставленной цели в каждый момент времени. К счастью, в восьмидесятые годы в NASA была разработана прекрасная методика, позволяющая гибко объединять вопросы и KPI в самом процессе целеполагания, а затем и оценивания итогового проекта.

Речь идет о созданной Виктором Басили (Victor Basili) методике отказоустойчивого проектирования под названием GQM – Goal, Question, Metric (цель, вопрос, оценка). Данная методика имеет три уровня – страты существования.

1. Концептуальный – целевой (goal) уровень.

На этом уровне формируется цель, представляющая собой вещественный объект или абстрактную сущность (object or entity в оригинале), при этом в качестве данного объекта или сущности могут рассматриваться:

o продукты (products): программный код, физическое изделие, теоретическая концепция и т. д.;

o процессы (processes): тестирования, верификации и валидации программного кода; дизайна изделий; налаживания сбыта и проч.;

o ресурсы (resources): материальные, финансовые, информационные, трудовые и проч.

2. Операционный уровень – уровень вопросов (questions).

На данном уровне появляются вопросы, которые должны быть заданы, чтобы четко определить цель.

Примеры удачных вопросов для различных видов целей.

o Является ли производительность данного (конкретного) процесса достаточно удовлетворительной с точки зрения команды?

o Ухудшается ли точность станка со временем?

o Будет ли лучше безопасность рестайлинга автомобиля?

3. Квантитативный уровень – уровень метрик (metrics). Здесь определяются метрики – способы определения количественных оценок на каждый заданный вопрос. Метрики делятся на два типа – объективные и субъективные.

Примеры объективных метрик:

• количество линий кода;

• процент отказов;

• максимальная длина пути на одной заправке.

Примеры субъективных метрик:

• удовлетворенность клиентов по 10-балльной шкале;

• аккуратность вождения по 5-балльной шкале;

• относительное улучшение самочувствия после лечения.

Важно!

Уровни GQM определяются последовательно – сверху вниз, от целей к вопросам, а затем к определяющим их метрикам.

При этом цели должны соответствовать от двух до пяти вопросов, для каждого из которых целесообразно определять от двух до пяти метрик.

II.2.2. Структура цели GQM.
GQM goal structure

Определяемая в GQM цель представляет собой векторную сущность, состоящую из пяти элементов.

• Object: объект целеполагания. То, что создается (изучается), – продукт или процесс. Например, программный код или автомобиль.

• Purpose: назначение исследования. Для чего проводится GQM-анализ – для целей лучшего понимания свойств объекта, для его сравнения с аналогами, для определения его эффективности и проч.

• Quality Focus: акцент исследования. Какое конкретно свойство (совокупность свойств) объекта должно рассматриваться – например цена, надежность и проч.

• Viewpoint: аспект рассмотрения. С чьей точки зрения должны быть получены ответы на вопросы исследования, кто интерпретирует результаты исследования, например менеджер, команда или клиенты.

• Environment: внешняя среда, контекст рассмотрения. В каких условиях рассматривается объект целеполагания, какие внешние факторы являются существенными для процесса его исследования: например рынок России или развертывание производства в старых цехах.

II.2.3. Инь и Ян
Yin Yang

В свое время я задался вопросом: как объединить изящество S.M.A.R.T. и дотошность GQM?

К моей гордости, это получилось, и результатом явилась комбинированная методология целеполагания S.M.A.R.T.E.S.T. GQM.

В ней элементы целеполагания ее основных частей имеют пересечения, позволяющее итеративно прийти к оптимальной структуре цели и методов ее проверки. Встречайте!

Таблица взаимосвязей целеполагания S.M.A.R.T.E.S.T. и G.Q.M.

II.2.4. GQM S.M.A.R.T.E.S.T.
Template Шаблон GQM S.M.A.R.T.E.S.T.

Для заполнения комбинированной цели необходимо заполнение матричного шаблона в соответствии с определенной ниже таблицей взаимосвязей:

Заполнение данного шаблона дает Вам исчерпывающее представление о реализуемом проекте и одновременно достаточную гибкость и свободу при изменении требований.

Попробуйте!

Chapter III. Evaluations and Estimations
Глава III. Измерения и оценки

Мы очень много говорили в предыдущей главе о важности оценок. Но:

• как эти оценки конструировать?

• какие они бывают?

• что они вообще значат?

Об этом мы и поговорим сейчас.

III.0. Scales and estimations
Шкалы и единицы оценивания

Главное, что я усвоил в жизни: никогда не стоит оценивать самого себя. Скорее всего, Вы будете заблуждаться…

Йоханн Ламонт, шотландский физик и астроном

Для осуществления любых измерений используются так называемые измерительные шкалы, далее будем называть их просто шкалами.

Как и всякая модель целевого объекта, шкалы должны корректно отражать его изучаемые характеристики и, следовательно, иметь те же свойства.

III.0.1. The lesser evil
Меньшее зло

Любое измерение, в частности не только из-за конечной точности, но даже согласно принципу неопределенности Гейзенберга, приводит к потере информации и даже искажению измеряемого объекта. В частности поэтому сам процесс измерения делят на разрушающие методы измерения и неразрушающие.

Разрушающими именуются методы измерения, при применении которых происходит существенное изменение структуры объекта, его функционала и/или значений измеряемых характеристик.

Примеры разрушающих измерений – краш-тесты автомобилей, биопсии кист и опыты над мышами.

Неразрушающими, в свою очередь, называются такие методы измерения, которые не приводят к существенным изменениям в объекте – скажем, данные изменения должны не превышать погрешность самого измерения.

К неразрушающим измерениям относятся измерения линейкой, осциллографом или УЗИ-аппаратом.

Какие их этих измерений являются лучшими? Сложно сказать, но, отказавшись от биопсии, погибли многие, кто руководствовался лишь УЗИ. А виртуальная симуляция повреждений далеко не то же самое, что может произойти с автомобилем. Особенно в страховом случае «тотал».

III.0.2. Error source
Источник ошибок

Ошибок измерений в каждом случае встречается огромное количество. Они определяются используемым инструментарием измерения, условиями окружающей среды, длительностью эксперимента, опытностью наблюдателя.

Допустим, при измерении показателей достаточно распространенного датчика – акселерометра, предназначенного для измерения ускорений; только основных видов ошибок, не связанных с инструментом или наблюдателем, насчитывается порядка семи.

III.0.3. Data types
Типы данных измерительных шкал

Различают четыре основных типа измерительных шкал.

1. Шкала наименований (номинальная).

2. Шкала порядка (ранговая).

3. Интервальная шкала.

4. Шкала отношений.

Данный список составлен не произвольно, а по мере увеличения мощности шкал: более мощные шкалы обладают всеми возможностями шкал менее мощных. Так, при увеличении мощности:

• качественные измерения сменяются количественными;

• возрастают возможности оценки свойств объектов, их различий и отношений;

• увеличиваются возможности применения арифметических операций, статистических мер и критериев;

• расширяются пределы инвариантности измерений.

Тем не менее далеко не всегда шкалы большей мощности предпочтительнее.

Так, количество верно выполненных заданий (что соответствует шкале отношений) в тесте на интеллект гораздо выгоднее представить в стандартизированных баллах IQ (шкале интервалов).

Точно так же интенсивность разнообразных поведенческих реакций лучше оценивать не в баллах (ранговой шкале), а в типе темперамента (шкале наименований).

Таким образом, на выбор типа измерительной шкалы могут оказывать влияние многие факторы – как достоинства самой шкалы, так и специфика самого объекта измерений.

III.1. Quality and quantity
Качество и количество

Идеал – когда количество сбалансировано с качеством.

Амит Рэй, индийский писатель и гуру

III.1.1. In between Сходства и различия

В силу того что символы, присваиваемые объектам в соответствии с порядковыми и номинальными шкалами, не обладают числовыми свойствами, даже если записываются с помощью цифр, эти два типа шкал получили общее название качественных, в отличие от количественных шкал интервалов и отношений.

Шкалы интервалов и отношений имеют общее свойство, отличающее их от качественных: они предполагают не только определенный порядок между объектами или их классами, но и наличие некоторой единицы измерения, позволяющей определять, насколько значение признака у одного объекта больше или меньше, чем у другого. При этом символы, приписываемые объектам в соответствии с количественными измерительными шкалами, могут быть только числами.

Необходимо заметить, что количественные шкалы делятся на дискретные и непрерывные:

• дискретные измеряются в результате счета: число детей в школе, количество решенных задач, порядковый номер изделия;

• непрерывные при этом предполагают, что измеряемое устройство изменяется непрерывно, как температура на ртутных градусниках, сила натяжения динамометра или давление в колесе автомобиля.