Адекватность информации
может выражаться в трех формах: семантической, синтаксической, прагматической.
Качество информации определяется такими показателями, как:
Репрезентативность информации
связана с правильностью ее отбора и формирования в целях адекватного отражения свойств объекта.
Важнейшее значение здесь имеют:
Нарушение репрезентативности информации приводит нередко к существенным ее погрешностям.
Содержательность информации отражает семантическую емкость, равную отношению количества семантической информации в сообщении к объему обрабатываемых данных.
С увеличением содержательности информации растет семантическая пропускная способность информационной системы, так как для получения одних и тех же сведений требуется преобразовать меньший объем данных.
Наряду с коэффициентом содержательности С, отражающим семантический аспект, можно использовать и коэффициент информативности, характеризующийся отношением
Достаточность (полнота) информации
означает, что она содержит минимальный, но достаточный для принятия правильного решения состав (набор показателей). Понятие полноты информации связано с ее смысловым содержанием (семантикой) и праг-матикой. Как неполная, т.е. недостаточная для принятия правильного решения, так и избыточная информация снижает эффективность принимаемых пользователем решений.
Доступность информации
восприятию пользователя обеспечивается выполнением соответствующих процедур ее получения и преобразования. Например, в информационной системе информация преобразовывается к доступной и удобной для восприятия пользователя форме. Это достигается, в частности, и путем согласования ее семантической формы с тезаурусом пользователя.
Актуальность информации определяется степенью сохранения ценности информации для управления в момент ее использования и зависит от динамики изменения ее характеристик и от интервала времени, прошедшего с момента возникновения данной информации.
Своевременность информации означает ее поступление не позже заранее назначенного момента времени, согласованного с временем решения поставленной задачи.
Точность информации определяется степенью близости получаемой информации к реальному состоянию объекта, процесса, явления и т.п. Для информации, отображаемой цифровым кодом, известны четыре классификационных понятия точности:
Достоверность информации
определяется ее свойством отражать реально существующие объекты с необходимой точностью. Измеряется достоверность информации доверительной вероятностью необходимой точности, т.е. вероятностью того, что отображаемое информацией значение параметра отличается от истинного значения этого параметра в пределах необходимой точности.
Устойчивость информации отражает ее способность реагировать на изменения исходных данных без нарушения необходимой точности. Устойчивость информации, как и репрезентативность, обусловлена выбранной методикой ее отбора и формирования.
В заключение следует отметить, что такие параметры качества информации, как репрезентативность, содержательность, достаточность, доступность, устойчивость, целиком определяются на методическом уровне разработки информационных систем .
Параметры актуальности, своевременности, точности и достоверности обусловливаются в большей степени также на методическом уровне, однако на их величину существенно влияет и характер функционирования системы, в первую очередь ее надежность .
При этом параметры актуальности и точности жестко связаны соответственно с параметрами своевременности и достоверности .
Информация – сведения об объектах и явлениях окружающей среды, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний.
Данные – признаки или записанные наблюдения, которые по каким-то причинам не используются, а только хранятся.
Показатели качества информации: достаточность, реальность, возможность, удобство для восприятия, ценность к текущему времени.
2. Системы счисления вычислительной техники.
Изучение систем счисления, которые используются в компьютерах, важно для понимания того, каким образом производится обработка числовых данных в ЭВМ.
Система счисления - способ записи чисел с помощью заданного набора специальных символов (цифр) и сопоставления этим записям реальных значений. Все системы счисления можно разделить на непозиционные и позиционные . В непозиционных системах счисления, которые появились значительно раньше позиционных, смысл каждого символа не зависит от того места, на котором он стоит. Примером такой системы счисления является римская, в которой для записи чисел используются буквы латинского алфавита. При этом буква I всегда означает единицу, буква - V пять, X - десять, L - пятьдесят, C - сто, D - пятьсот, M - тысячу и т.д. Например, число 264 записывается в виде CCLXIV. Недостатком непозиционных систем является отсутствие формальных правил записи чисел и, соответственно, арифметических действий с многозначными числами.
В вычислительной технике применяются позиционные системы счисления. Позиционных систем счисления существует множество и отличаются они друг от друга алфавитом - множеством используемых цифр. Размер алфавита (число цифр в нем) называется основанием системы счисления. Последовательная запись символов алфавита (цифр) изображает число. Позиция символа в изображении числа называется разрядом . Разряду с номером 0 соответствует младший разряд целой части числа. Каждому символу соответствует определенное число, которое меньше основания системы счисления. В зависимости от позиции (разряда) числа значение символа умножается на степень основания, показатель которой равен номеру разряда.
Таким образом, целое положительное число А в позиционной системе счисления можно представить выражением:
где p - основание системы счисления, целое положительное число; a - cимвол (цифра); n - номер старшего разряда числа.
Обозначения цифр берутся из алфавита, который содержит p символов. Каждой цифре соответствует определенный количественный эквивалент. Обозначение ak следует понимать как цифру в k-м разряде. Всегда выполняется неравенство: ak Примером системы счисления является всем нам хорошо известная десятичная
система счисления. Любое число в ней записывается с помощью цифр: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9. Важно, что значение каждой цифры зависит от того места, на котором она стоит в этой записи. Например, 1575: цифра 5 в записи числа встречается дважды: цифра 5 в последнем разряде - число единиц, а цифра 5, находящаяся в записи числа левее, - число сотен. Т.к. значение каждой цифры (ее "вес") определяется той позицией, которую цифра занимает в записи числа, то система счисления называется позиционной
. В десятичной системе счисления значение единицы каждого разряда в 10 раз больше единицы соседнего с ним правого разряда. Само число 10 называется основанием
системы счисления, а цифры, используемые в десятичной системе - базисными числами
этой системы. В компьютере для представления информации используются десятичная, двоичная и шестнадцатеричная
системы счисления. Количество цифр, которое требуется для изображения числа в позиционной системе счисления, равно основанию системы счисления р. Например, для записи чисел в двоичной системе счисления требуется две цифры, в десятичной - десять, а в шестнадцатеричной - шестнадцать. Двоичная система
счисления имеет набор цифр {0, 1}, р=2. Двоичная система счисления имеет особую значимость в информатике: внутреннее представление любой информации в компьютере является двоичным, т.е. описывается набором символов только из двух знаков 0 и 1. Представление информации, хранящейся в памяти компьютера, в ее истинном двоичном виде весьма громоздко из-за большого количества цифр. Поэтому при записи такой информации на бумаге или выводе ее на экран принято использовать восьмеричную
или шестнадцатеричную
системы счисления. В современных компьютерах чаще используется шестнадцатеричная
система счисления. Пример: Для перевода целых чисел из десятичной системы счисления в систему счисления с основанием р
: Последовательно делить заданное число и получаемые целые части на новое основание счисления (р) до тех пор, пока целая часть не станет меньше нового основания счисления. Полученные остатки от деления, представленные цифрами из нового счисления, записать в виде числа, начиная с последней целой части. Чтобы перевести целую часть числа из десятичной системы счисления в систему с основанием р, необходимо разделить ее на р, остаток даст младший разряд числа. Полученное частное вновь делят на р - остаток даст следующий разряд числа и т.д. Пример
: Перевести десятичное число 25 в двоичную систему счисления: 25: 2 = 12 (остаток 1); 12: 2 = 6 (остаток 0), 6: 2 = 3 (остаток 0), 3: 2 = 1 (остаток 1), 1: 2 = 0 (остаток 1). Таким образом, 25(10) = 11001(2) . Перевод чисел из десятичной системы счисления в шестнадцатеричную производится аналогично. Преобразования чисел из двоичной в восьмеричную и шестнадцатеричную системы и наоборот просты потому, что числа 8 и 16 являются целыми степенями числа 2. Например: 12345667(8) = 001 010 011 100 101 110 110 111(2) = 1 010 011 100 101 110 110 111(2); 1100111(2) = 001 100 111(2) = 147(8) 3. Организация ЭВМ по Фон Нейману. Поколения ЭВМ. Классификация современных компьютеров.
Поколения ЭВМ:
лись после 1945 г. Классификация современных компьютеров:
По условиям эксплуатации:
· офисные (универсальные); · специальные. Офисные
предназначены для решения широкого класса задач при нормальных условиях эксплуатации. Cпециальные
компьютеры служат для решения более узкого класса задач или даже одной задачи, требующей многократного решения, и функционируют в особых условиях эксплуатации. Машинные ресурсы специальных компьютеров часто ограничены. Однако их узкая ориентация позволяет реализовать заданный класс задач наиболее эффективно. По производительности и характеру использования:
· микрокомпьютеры, в том числе - персональные компьютеры; · миникомпьютеры; · мэйнфреймы (универсальные компьютеры); · суперкомпьютеры. Микрокомпьютеры
- это компьютеры, в которых центральный процессор выполнен в виде микропроцессора. Разновидность микрокомпьютера - микроконтроллер.
Это основанное на микропроцессоре специализированное устройство, встраиваемое в систему управления или технологическую линию. Персональные
компьютеры (ПК) - это микрокомпьютеры универсального назначения, рассчитанные на одного пользователя и управляемые одним человеком. В класс персональных компьютеров входят различные машины - от дешёвых домашних и игровых с небольшой оперативной памятью, с памятью программы на кассетной ленте и обычным телевизором в качестве дисплея (80-е годы), до сверхсложных машин с мощным процессором, винчестерским накопителем ёмкостью в десятки Гигабайт, с цветными графическими устройствами высокого разрешения, средствами мультимедиа и другими дополнительными устройствами. Миникомпьютерами
и суперминикомпьютерами
называются машины, конструктивно выполненные в одной стойке, т.е. занимающие объём порядка половины кубометра. Сейчас компьютеры этого класса вымирают, уступая место микрокомпьютерам. Мэйнфреймы
предназначены для решения широкого класса научно-технических задач и являются сложными и дорогими машинами. Их целесообразно применять в больших системах при наличии не менее 200 - 300 рабочих мест. Централизованная обработка данных на мэйнфрейме обходится примерно в 5 - 6 раз дешевле, чем распределённая обработка при клиент-серверном подходе. Известный мэйнфрейм S/390 фирмы IBM обычно оснащается не менее чем тремя процессорами. Максимальный объём оперативного хранения достигает более 300 Терабайт. Десятки мэйнфреймов могут работать совместно под управлением одной операционной системы над выполнением единой задачи. Суперкомпьютеры
- это очень мощные компьютеры с производительностью свыше 100 мегафлопов (1 мегафлоп - миллион операций с плавающей точкой в секунду). Они называются сверхбыстродействующими. Эти машины представляют собой многопроцессорные и (или) многомашинные комплексы, работающие на общую память и общее поле внешних устройств. Различают суперкомпьютеры среднего класса, класса выше среднего и переднего края. В этих машинах параллельно, то есть одновременно, выполняется множество похожих операций (это называется мультипроцессорной обработкой). Таким образом, сверхвысокое быстродействие обеспечивается не для всех задач, а только для задач, поддающихся распараллеливанию. 4. Базовая комплектация персонального компьютера. Виды мониторов и принципы их работы:
Базовая комплектация:
· системный блок; · монитор – вывод на экран графической и текстовой информации; · клавиатура; Виды мониторов:
ЭЛТ-мониторы и плоские панели. ЭЛТ-мониторы
: в основе всех подобных мониторов лежит электронно-лучевая трубка (ЭЛТ - кинескоп). Для создания изображения в ЭЛТ-мониторе используется электронная пушка, откуда под действием сильного электростатического поля исходит поток электронов. Сквозь металлическую маску или решетку они попадают на внутреннюю поверхность стеклянного экрана монитора, которая покрыта разноцветными люминофорными точками. Люминофор начинает светиться под воздействием ускоренных электронов, которые создаются тремя электронными пушками. Каждая из трех пушек соответствует одному из основных цветов и посылает пучок электронов на различные люминофорные частицы, чье свечение основными цветами с различной интенсивностью комбинируется и в результате формируется изображение с требуемым цветом. Плоские панели
делятся на: · ЖК-дисплей:
он состоит из ЖК-матрицы (стеклянной пластины, между слоями которой располагаются жидкие кристаллы) и источников света для подсветки. Каждый пиксель ЖК-матрицы состоит из слоя молекул между двумя прозрачными электродами и двух поляризационных фильтров, плоскости поляризации которых перпендикулярны. 5. Внутреннее устройство системного блока.
Материнская плата
– основной компонент компьютера. На ней находится центральный процессор, совершающий основные операции при работе компьютера и управляющий всеми устройствами, включая оперативную память, где хранятся данные и программы для процессора и других устройств. В частности, имеются специальные разъемы для установки плат расширения, которые могут быть: звуковой платой, внутренним модемом, видеоплатой для вывода данных на монитор и другие. Блок питания
предназначен для снабжения электропитанием всех устройств, находящихся внутри системного блока через провода, которые выходят из блока питания. Накопители на дисках:
жесткий диск
(емкость, скорость передачи данных, размер), накопитель на жестких дисках сохраняет информацию для того, чтобы можно было продолжить с ней работу после выключения электропитания.; гибкий магнитный диск;
оптические диски
(CD-ROM, CD-R,CD-RW,DVD-ROM,DVD-R,DVD-RW, Blue Ray DVD, HD DVD); видеокарта
- качество изображения; звуковая карта
– обработка звука. Устройство считывания гибких дисков
позволяет работать с дискетами, записывая или считывая с них программы и данные. Дискеты в основном используются для переноса информации от одного компьютера на другой или для хранения данных и используются в устаревших компьютерах. 6. Системы, расположенные на материнской плате. Основные характеристики микропроцессора.
Любая материнская плата состоит
из следующих логических групп устройств: Набор портов и разъемов
для подключения различных устройств компьютера. Информационной магистралью, связывающей их воедино, является Шина
. Системная шина состоит из адресной шины, шины данных, шины команд Именно с ее помощью передаются сигналы между устройствами компьютера, а также доставляется информация к Центральному Процессору
. Сюда также входит некоторый базовый набор микросхем
- "чипсет",
с помощью которого системная плата производит контроль над всем, что происходит в системном блоке. Также сюда входит микросхема под названием BIOS,
которая является некоторым координационным центром материнской платы. Встроенные (интегрированные) дополнительные устройства компьютера. Существуют на материнских платах такие переключатели
как "джамперы
", с помощью которых регулируются параметры работы системной платы, с их помощью можно также "обнулять" содержимое микросхемы BIOS. Также существуют некоторые разъемы питания, к которым в свою очередь подключается кулер
и индикаторы
, расположенные на системном блоке. На материнской плате расположено множество различных деталей, все они выполняют определенную важную роль, но большая часть функций ложится на плечи нескольких микросхем, которые в комплексе называют простым словом - "чипсет".
Именно от чипсета зависит, какой тип памяти и процессора будет поддерживать материнская плата, а также будет зависеть и скорость передачи данных по шине к устройствам компьютера. Как известно, основная функция системной платы заключается в "наведении мостов" между устройствами компьютера, поэтому главные составляющие любого чипсета также можно назвать "мостами". В чипсете имеется два "моста" и каждый из них является отдельным чипом-микросхемой и имеет четкую задачу: "северный" мост соединяет между собой процессор, оперативную память, отвечает за работу с внутренней шиной; "южный" мост управляет всеми подключенными периферийными устройствами компьютера, а также внутренними контроллерами (звук, сеть, порты и т.д.). Процессор
- это выращенный по определенной технологии кристалл кремния, который содержит в себе множество отдельных элементов - транзисторов, соединенных металлическими контактами. С их помощью процессор работает с данными, занимается вычислениями, производя конкретные математические операции с числами, из которых и состоит любая поступающая в компьютер информация. В принципе центральный процессор в устройстве компьютера не единственный, собственный процессор имеет видеоплата, звуковая карта, а также множество различных внешних устройств таких, например, как принтер или сканер. Эти микросхемы работают совместно с Центральным Процессором, но в отличие от него отвечают чисто за определенную функцию компьютера, например за обработку звука или за создание изображения на экране монитора. На любом кристалле процессора располагаются: Ядро процессора
- это основное вычислительное устройство компьютера. Именно здесь обрабатываются все данные, поступающие в процессор. Сопроцессор
- дополнительный блок, входящий в устройство компьютера, который предназначен для особо сложных математических вычислений. Он активно применяется при работе с графическими или мультимедийными программами. Кэш-память
- буферная память - это некоторый накопитель для данных. В современных процессорах часто применяется 2 типа кэш-памяти:
первого уровня
- небольшая, объемом всего несколько десятков килобайт, но зато сверхбыстрая память второго уровня
- чуть помедленнее, зато объемом - от 128 килобайт до 2 мегабайт. Три основных модификации процессора:
"Офисная"
- используется для работы с компьютерными играми и мультимедийными программами. "Домашняя"
- универсальные процессоры для домашних персональных компьютеров. "Игровая"
- особо мощные процессоры, входящие в устройство компьютера, которые используются для таких серьезных задач, как обработка видео или работа с трехмерной графикой, а также и для компьютерных игр. Характеристики процессора:
Тактовая частота -
это количество элементарных операций или тактов, которые процессор выполняет в течение одной секунды. Количество процессоров (ядер) На сегодняшний день двухядерные процессоры Core2 Two Duo, входящие в устройство компьютера, уже заполонили особую часть рынка и не за горами на смену им эпоха четырехядерных процессоров Core Two Quad. Через каждый год количество ядер в процессорах постоянно удваивается. Разрядность процессора
- это максимальное количество бит информации, которое процессор способен обрабатывать и передавать одновременно. Тактовая частота
- скорость, с которой процессор черпает информацию. А разрядность характеризует объем информации, которая входит в его виртуальную память в один присест. До определенного времени все процессоры в устройстве компьютера были 32-разрядными
. С течением времени разрядность информационной магистрали шины, по которой в процессор поступает информация от иных устройств компьютера, изменилась. Она стала 64-битной. Частота шины –
у шины, как и у процессора, есть своя так называемая пропускная способность, называемая частотой. Чем выше этот показатель, тем лучше. Размер кэш-памяти:
кэш-память в процессоре как правило бывает двух видов. Самая быстрая - это кэш-память первого уровня, которая в свою очередь обладает не большим объемом памяти в 16, 32 кб. Второй вид - это кэш-память второго уровня, которая как правило менее быстрая, но зато более объемная, объем ее достигает 2 Мб. При этом надо отметить, что каждое ядро многоядерного процессора имеет собственную кэш-память определенного объема. 7. Классификация вычислительных сетей по различным признакам. Эталонная модель OSI.
Компьютерная сеть
– это совокупность компьютеров и различных устройств, обеспечивающих информационный обмен между компьютерами в сети без использования каких-либо промежуточных носителей информации. Общая классификация:
Все многообразие компьютерных сетей можно классифицировать по группе признаков: 1. Территориальная распространенность; 2. Ведомственная принадлежность; 3. Скорость передачи информации; 4. Тип среды передачи; По территориальной распространенности
сети могут быть локальными, глобальными, и региональными. -Локальные
– это сети, перекрывающие территорию в пределах нескольких километров (ЛВС – LAN – высокая скорость передачи данных); -региональные
– расположенные на территории города или области (РВС –MAN – обслуживание мегаполисов и т.д.), -глобальные
на территории государства или группы государств, например, всемирная сеть Internet, ГВС – WAN – низкая скорость передачи данных) По принадлежности
различают ведомственные и государственные сети. -Ведомственные
принадлежат одной организации и располагаются на ее территории. -Государственные
сети – сети, используемые в государственных структурах. 2017
FD.ru
Данные давно уже принято считать важным активом предприятия, к ним нередко
применяют такие эпитеты как «новая нефть» или «золотоносная жила». Причем это
очень быстро растущий актив. Объем только структурированных данных ежегодно
увеличивается на 40%. Если же рассматривать все данные, включая
неструктурированные (данные социальных сетей, интернет-источников, а также
данные сгенерированные автоматически), то их ежегодный рост оценивается
примерно в 80%. Но всегда ли этот актив эффективно используется? Какую цену предприятия
платят за ошибки в данных? Как корректно оценить качество данных и выстроить
эффективную систему управления качеством данных? Существуют ли удачные примеры
реализации такой системы в российской практике? Немного статистики
В 2015 году компания Experian, провела масштабное исследование, охватившее
1239 предприятий США, Франции, Австралии, Германии, Испании и
Нидерландов.Исследование показало, что более 97% организаций страдают от частых
ошибок в контактных клиентских данных. 83% признают, что недополучают доходы
из-за низкого качества и неполноты данных, и, если качество данных было
на высшем уровне, бизнес смог бы увеличить доход в среднем на 15%. О невысоком уровне зрелости процессов управления данными свидетельствует и
тот факт, что только 35% компаний управляют данными централизованно, а более
половины (57%) выявляют ошибки в данных пост-фактум, после того как об этом
сообщили сотрудники или клиенты. И хотя большинство организаций используют
какое-либо технологическое решение для контроля, подготовки и очистки, почти
треть компаний (29%) до сих пор проверяют и очищают свои данные «вручную». 77%
CIO справедливо рассматривают данные в качестве стратегического актива, который
не до конца используется в организации. Аналитики Гартнер установили, что плохое качество данных является основной
причиной провала 40% бизнес-инициатив. Качество данных также влияет на
операционную эффективность, способность управлять рисками и гибко реагировать
на внешние факторы, ошибки в данных снижают производительность труда в среднем
на 20%. Более того, по мере перехода к автоматизированным процессам именно качество
данных становится фактором, лимитирующим качество всего процесса. Показано, что
ошибки в данных на 10% снижают эффективность ИТ. Как трактовать и измерить качество данных?
Качество данных – это свойство данных удовлетворять предъявляемым к ним
требованиям. Причем в соответствии с базовыми принципами качества данных
(определяется стандартами серии ISO/TS 8000, ГОСТ Р 56214–2014/ISO/TS
8000-1:2011) понятие качества данных затрагивает только те данные, которые
участвуют в принятии какого-либо управленческого решения. Качественные данные
предотвращают повторение дефектов и сокращают избыточные расходы. Традиционные определения качества данных фокусируется на каких свойствах
данных как: Стандарт ISO/IEC25012:2008 существенно расширил перечень характеристик
качества данных, включив в него характеристики, зависящие от компьютерной
системы (эффективность, доступность, переносимость, восстанавливаемость,
конфиденциальность и др.). Десять из пятнадцати характеристик качества данных
являются системно зависимыми, что подчеркивает важность выбора правильного
инструмента для управления качеством данных. Для объективной оценки качества данных используются метрики. Это могут быть
как непосредственно измеряемые по определенным правилам базовые показатели, так
и более сложные комбинированные метрики, рассчитываемые на основании
средневзвешенных значений базовых показателей. Примерами таких метрик могут являться показатели доступности данных,
показатели корректности данных, показатели стоимости обеспечения качества,
показатели стоимости исправления ошибок. Для применения метрик должны существовать правила проверки, формализующие
порядок измерения и расчета показателей. Но одних метрик и правил недостаточно,
для получения ощутимого эффекта, влияющего на финансовые показатели
организации, необходим системный подход к управлению качеством данных. Системное управление качеством данных
Управление качеством данных опирается на три элемента: организационная
структура, процессы и инструменты управления качеством данных. Организационная структура обеспечивает распределение ролей и ответственных
за процессы работы с данными. Крупные компании все чаще говорят о выделении
роли информационного директора CDO (Chief Data Officer) и организации
подчиненной ему службы CDO. Информационный директор управляет распределенной
структурой данных на предприятии, служба CDO обеспечивает оперативный оборот
данных, ведет мониторинг любых действий с данными, а также контролирует
использование информационных активов компании. Процессы управления качеством данных (в соответствии с ГОСТ Р 56215-2014 и
ISO/TS 8000-150:2011) делят на три группы: Процессы выполнения операций над данными включают управление структурой
данных в рамках организации в том числе с учетом применения данных в
распределенных системах, разработку и конструирование схемы данных, выполнение
операций над данными (создание, поиск, удаление, обновление). Процессы непрерывного контроля качества нацелены на идентификацию ошибок
данных и включают планирование качества, определение метрик качества и правил
проверки, регламентацию процессов оценки данных по заданным критериям. Процессы повышения качества данных должны обеспечить исправление ошибок в
данных и устранение причин их возникновения. И наконец, третий элемент – это инструменты управления качеством данных. На
рынке представлен широкий арсенал инструментальных систем для работы с данными.
Это и продукты класса Data Quality, системы управления мастер-данными,
специализированные решения для работы с клиентской аналитикой, многочисленные
интеграционные платформы с богатым арсеналом ETL-инструментов, отраслевые
решения. Контроль качества данных традиционно выполняется после извлечения данных из
источника перед размещением их в хранилище данных в ходе так называемого
ETL-процесса . Этот процесс,
как правило, предполагает, как выполнение ряда системных проверок данных
(контроль целостности, непротиворечивости, корректности заполнения атрибутов),
так и выполнения дополнительных бизнес-проверок (контроль сходимости остатков и
оборотов, соответствие лицевых счетов балансовым и т.п.). В ходе ETL-процесса
могут выполняться также операции по обогащению и классификации данных, что
увеличивает ценность данных для последующего анализа. Результаты выполнения
ETL-процедур протоколируются, проблемы с данными анализируются и исправляются.
Использование специализированных решений класса Data Quality упрощает настройку
процедур контроля, облегчает контроль за результатами процесса. Как правило,
такие решения предоставляют специальные графические средства, которые отражают
такие характеристики качества данных, как полнота, согласованность, связность,
точность, целостность и отсутствие дубликатов. Такие решения поставляют как
зарубежные, так и отечественные ИТ-компании. В отличие от западных поставщиков,
российские вендоры все чаще предлагают более бюджетные решения для управления
качеством данных. Так компания Intersoft Lab разработала специальный модуль
оценки качества данных в составе платформы хранилищ данных
« ». Модуль
обеспечивает сбор информации о показателях качества данных, накапливаемых в ХД,
а также информации о фактах устранения дефектов в данных. Пользователям
предлагаются инструменты для анализа показателей качества данных в различных
аналитических разрезах, в том числе анализ динамики изменения качества данных,
а также анализа трудозатрат на устранение дефектов в данных ранжированных по
типам ошибок, филиалам, исполнителям, периодам и другим аналитическим
разрезам. Пример из отечественной практики управления качеством данных
На сегодняшний день большинство проектов, в которых затрагиваются вопросы
контроля качества данных, связаны с
(ХД) или с внедрением аналитических приложений, в том числе
приложений для управления рисками, взаимоотношениями с клиентами, получения
отчетности. Наиболее показательным в этом смысле является пример финансовой
отрасли, в которой исключительно высоки требования к качеству клиентской
аналитики и требования к качеству отчетности, предоставляемой регулятору. Более того, ЦБР законодательно определил требования к качеству данных
информационных систем, применяемых для расчёта величины кредитного риска на
основе внутренних рейтингов. Заместитель председателя Правления ПАО «Банк «Санкт-Петербург» Павел
Филимоненок поделился опытом решения проблемы качества данных в Банке
«Санкт-Петербург» в комментарии, опубликованном на сайте Ассоциации Российских
Банков: «Мы прекрасно понимали, что стоимость обеспечения качества всегда ниже
стоимости исправления ошибок. Мероприятия по обеспечению качества данных были
инициированы в рамках проекта построения корпоративного ХД и завершились
созданием пока еще редкой в российской практике службы качества данных. Сегодня
эта служба успешно функционирует в составе департамента информационных
технологий. Отлажены регламентные процедуры отслеживания и исправления ошибок.
Обеспечен полный и регулярный контроль данных во всех ИС, поставляющих данные в
ХД. Эксперимент по развертыванию службы качества данных завершился успешно во
многом благодаря организационно-технологической помощи поставщика ХД - компании
Intersoft Lab, обеспечившей технологическую поддержку процессов проверки и
обогащения данных. Что мы получили в итоге? Существенно снизилось количество
ошибок в данных. Показательно, что в одном только кредитном портфеле количество
видов ошибок снизилось в 15 раз. Полностью исключены серьезные ошибки, влияющие
на финансовые показатели. Возросло доверие пользователей к данным ХД, а вместе
с ним и качество управленческих решений. Т.е. выстроена эффективная система
управления качеством данных, работающая в интересах всех подразделений.» Таким образом, внедрение
на предприятии увеличивает ценность корпоративных данных, как
актива, пригодного для поддержки достижения бизнес-целей. Оценка количества информации очень не простая вещь, так как она зависит от многих факторов, зачастую трудно формализуемых. Одни и те же сведения для разных людей могут нести совершенно разное количество информации. То, что одному давно известно, для другого может быть совершенно новым. Простая концентрация внимания позволяет получать больше информации. Существуют разные аспекты оценки количества информации . Возможна оценка информации по смысловому содержанию (ценности). При этом, естественно, надо определить критерий ценности. Например, для измерения смыслового содержания информации можно использовать тезаурусную меру
, отражающую способность получателя информации воспринимать поступающее сообщение . Тогда количество получаемой информации есть некоторая функция J=f(S * ,S п), где S * - смысловое содержание информации в сообщении, S п - тезаурус пользователя, измеряемый количеством информации им воспринимаемой. Если информация используется для управления решением некоторой задачи, то ценность информации можно оценить по разности эффекта, например экономического, без учета и с учетом информации в поступившем сообщении. Впервые основательно исследовали вопросы оценки количества информации Р.Хартли и К.Э.Шеннон. Допустим, что в школе восемь классов (1, 2, …, 8) и нам надо узнать, в каком учится Саша Иванов, задавая вопросы о номере класса и получая ответы типа «да» или «нет». Нетрудно показать, что минимальное число вопросов равно трем. Например, сначала можно спросить: номер класс больше 4? При ответе «нет», надо спросить: номер класса больше 2? После ответа достаточно задать еще один вопрос и задача будет решена. Можно предложить оценить объем информации о номере класса, в котором учится Саша Иванов, по минимальному числу заданных вопросов. В данном случае получим значение 3. Подобную идею использовал американский инженер Р. Хартли, который в 1928 году предложил оценивать количество информации по формуле где J – количество информации в одном из N равновероятных сообщений. Нетрудно заметить, что при подстановке в формулу Хартли N=8 (N - число классов) мы получим значение 3. Фактически в данном случае количество информации равно числу бит, необходимых для кодирования двоичным числом максимального номера класса (т.е. значения N). При работе с информационными системами часто получаемая информация измеряется по объему памяти ЭВМ, необходимой для ее хранения. В этом случае находит применение формула Хартли. Более общую и строгую теорию количественной оценки информации дал американский ученый Клод Элвуд Шеннон в 1948 г. Он предложил оценивать количество информации числовой характеристикой, отражающей ту ступень неопределенности (неполноту знаний), которая исчезает после получения сообщения. Меру неопределенности, которая снижается при передаче информации, Шеннон предложил называть энтропией
(этот термин первоначально появился в термодинамике; в статистической физике энтропия рассматривается в качестве меры вероятности пребывания системы в данном состоянии). Очевидно, количество информации зависит от вероятности получения сообщения о том или ином событии. Так, если бы мы знали возраст Саши Иванова, то вполне возможно потребовалось бы меньше вопросов для определения класса. Если в результате получения сообщения достигается полная ясность об объекте, то энтропия становится равной нулю. Допустим, передается сообщение со сведениями о некоторой системе Х
. Пусть неопределенность знаний получателя о системе Х
(до получения сообщения) определяется энтропией Н(Х
). После получения сообщения энтропия стала Н * (Х
). Количество полученной при этом информации J(X
) = H(X
) – Н * (Х
). Если же после получения сообщения достигнута полная ясность о системе Х
, то Н*(Х
) = 0 и, соответственно, J(X
) = H(X
). Передачу дискретных сообщений всегда можно свести к передаче соответствующих чисел. Даже если информация отражает качественно разные состояния (явления), то, пронумеровав их, можно передачу сообщений свести к передаче соответствующих чисел. Так, при передаче текста можно пронумеровать буквы алфавита и передавать числа. Любая информация, находящаяся в памяти компьютера, также представляет собой набор двоичных чисел. При выводе формул для оценки количества информации и меры неопределенности Шеннон исходил из следующих соображений. Пусть источник дискретных сообщений выдает последовательность элементарных сообщений-чисел {х 1 , х 2 , … ,х m }, каждое из которых соответствует одному из возможных состояний системы Х
. Тогда совокупность этих элементарных сообщений можно назвать алфавитом, а число m – объемом алфавита. При передаче текста элементарное сообщение – это буква обычного алфавита; при передаче команд - алфавитом будет перечень возможных команд; при передаче сообщения о состоянии системы – перечень возможных состояний системы и т.п. Допустим, что при получении символа х i однозначно определяется состояние источника сообщения (системы Х) в момент передачи. Чем меньше вероятность P i состояния x i , тем больше информации мы получим при приеме символа x i (S P i = 1, P i £ 1). Если ранее уже было известно состояние источника, то получение символа x i не дает никакой дополнительной информации (т.е. полученная информация равна нулю). Иными словами, количество информации, которую несет символ x i должно быть функцией от априорной (уже имеющейся до передачи) информации о вероятности P i того, что источник в момент его передачи находился в состоянии х i . Изменение энтропии при получении символа х i К. Шеннон предложил вычислять по формуле J(х i) = - К 0 ×log а P i , где коэффициент К 0 и основание логарифма (а) определяют единицу измерения количества информации. Чтобы энтропия была положительной, перед формулой проставлен знак «-» (логарифм отрицателен для чисел <1). В общем случае символы имеют разную вероятность. Тогда теория вероятностей предлагает для оценок использовать усредненное значение, которое определяется как сумма произведений значений отдельных параметров на их вероятность. Поэтому итоговая формула К. Шеннона для энтропии источника сообщений имеет вид H(Х) = - К 0 åP i log а P i . Если принять все состояния системы Х равновероятными (т.е. Р i = 1/m), то энтропия m H(Х) = - К 0 å[(1/m)∙log а 1/m] = К 0 log а m. Нетрудно показать, что в формуле Шеннона всегда величина Н(Х) £ log а m. Она равна log a m только в том случае, когда все вероятности P i одинаковы (т.е. P i =1/m). С точки зрения теории вероятностей последнее утверждение объясняется тем, что знание вероятностей дает нам некоторые дополнительные априорные знания об информации, получаемой с символом. Незнание вероятностей заставляет нас предположить, что все символы равновероятны, т.е. максимальная энтропия (максимальное незнание) имеет место при P i =1/m. Формулы для оценки количества информации и энтропии вводились аксиоматически в предположении следующих допущений: 1) энтропия Н непрерывна относительно своих аргументов; 2) при P i = 1 значение J(х i) = 0; 3) если все события равновероятны, то энтропия максимальна и определяется по формуле H макс = log n, где n – число возможных исходов (событий); 4) если выбор распадается на два последовательных этапа, то исходное значение энтропии H будет взвешенной суммой отдельных значений. Это означает, что при последовательной передаче символов х i и х k количество информации, вносимое этой парой символов, равно сумме количеств информации, вносимой х i и добавляемой х k . Примем за единицу количество информации, содержащееся в сообщении о том, что произошло одно из двух равновероятных независимых событий. Тогда, очевидно, P i = ½ (i=1, 2) и достаточно одного сообщения, чтобы иметь полную информацию о состоянии объекта. Причем при поступлении сообщения x i энтропия станет равной нулю, т.е. количество поступившей информации J(x i) = H(X). Будем считать, что при представленных выше условиях поступившее сообщение приносит единицу информации. Тогда J(x i) = H(X) = - К 0 ∙(½× log a ½ + ½× log a ½)= К 0 ∙log а 2 = 1. Вышеприведенное равенство выполняется при а=2 и К 0 =1. Если же система будет иметь m равновероятных состояний, то получим J(X) = log 2 m = Н макс. Последний частный результат есть не что иное, как формула Р. Хартли. Формула J=log 2 m фактически позволяет оценить максимально возможное количество информации, полученной при передаче одного символа (одного сообщения). Если известна энтропия H max и от источника сообщений получено N символов, то максимально возможное количество информации, переданное с сообщениями, равно N×H max . При передаче цифровой информации в качестве единицы измерения энтропии используют двоичную единицу – бит
. Пусть с помощь двоичного кода передаются буквы алфавита, содержащего n = 32 символов, и при приеме сообщения мы однозначно определяем букву. Если вероятности появления символов одинаковы, то максимум энтропии при передаче-приеме одного символа H max = log 2 32 = 5 (бит). Эта средняя информация на символ получена в предположении «абсолютно хаотического текста», когда порядок следования букв при передаче независим. Допустим, в алфавите из А символов пересылаются сообщения в виде слов длиной L (обычно данные пересылаются с помощью равномерных цифровых кодов, т.е. кодов одинаковой длины). При этом возможно N = A L разных слов. Тогда при передаче одного слова получатель будет иметь информацию в объеме J = log 2 N = L log 2 A (бит). Если вероятности появления двоичных символов различны, то среднее изменение энтропии при получении одного символа: H ср = -(P 1 log P 1 + P 2 log P 2 + … + P m log P m) = -å P i log а P i . При этом энтропия на один символ H ср £ H max . Разность (H max – H ср) называют избыточной информацией, а величину R = 1–H ср /H max -коэффициентомизбыточности
. Фактически избыточность показывает, на сколько удлиняется сообщение из символов данного алфавита по сравнению с минимально возможной длиной. Например, для нормальной русской речи H ср = 1,5 бит. Следовательно, источник сообщений на основе русского алфавита имеет коэффициент избыточности R ≈1–1,5/5 = 0,7. Заметим, что в общем случае для обеспечения достоверной передачи данных по каналам связи избыточность необходима, так как в процессе передачи сообщения могут искажаться. Наличие избыточности позволяет даже при наличии искажений понимать смысл сообщения. В жизни очень часто последующая информация зависит от предыдущей, т.е. существует определенная вероятность появления символа x k после символа x i . Тогда при получении очередной буквы некоторого текста возможно предугадать последующие. Рассмотрим определение энтропии в случае, если символы имеют не только разные вероятности P(x i), но и зависят один от другого. Обозначим P(x k /x i) условную вероятность появления символа x k , если предшествующим был х i . Тогда количество информации, получаемой с символом х i , определится как условная энтропия J(x k /x i) = -S. В общем случае символы имеют разную вероятность. Тогда, среднее количество информации или энтропия источника с взаимозависимыми и неравновероятными символами, равно H(X) = -S P(x i) ×S. Наконец, для равновероятных, но взаимозависимых символов получим H(Х) = - 1 / m S ×S. Энтропия источника и объем информации, получаемой с одним символом, достигает максимума, если символы независимы и равновероятны. При передаче данных на канал связи воздействуют помехи. Под их воздействием символ x i может измениться на ложный символ x j . Обозначим вероятность такой замены через P(x i / x j), а энтропию ложных символов – H(X/X*). Тогда количество получаемой информации с учетом ошибок передачи определяется формулой J(X/X*) =H(X) – H(X/X*). Значение H(X/X*) определяется по аналогии с источником сообщений, выдающего взаимозависимые и неравновероятные символы. При сильных помехах вероятность ошибки, определяемая переходными вероятностями P(x i / x j), может достигать значений Р ош = 0,5 , что равнозначно обрыву канала. Выше рассматривались формулы вычисления количества информации для случая, когда идет передача сообщений в дискретной форме. Существуют особые формулы для источников непрерывных сообщений, которые характеризуются тем, что в каждый момент времени t сообщение x(t) может принимать бесконечное множество значений с бесконечно малой вероятностью каждого из них. Надо сказать, что количественная оценка информации до сих пор до конца не решенная проблема, хотя уже имеющиеся способы широко применяются для оценки пропускной способности сетей передачи данных, вычислительных сетей, оценке помехозащищенности сетей связи, расчете характеристик баз данных и методов кодирования, и т.д. Для того чтобы в дальнейшем достаточно эффективно работать с информацией (использовать ее), нужно на начальном этапе понять достаточно простые вещи: полезна для вас изложенная информация или нет, можно ли ей доверять, требуется ли дополнительная информация и т.п. Так вот, процесс и есть не что иное, как оценка поступившей к вам информации. Критерии оценки информации - (важность, точность, значимость) По каждому эпизоду (текстовому блоку, сообщению и т.п.) необходимо принять решение о нужности, хранении и дальнейшем использовании. Собирать всю окружающую информацию, прямо скажем, весьма затруднительно: для этого требуются колоссальные ресурсы. Сам процесс выбраковки должен иметь четкие критерии. Для принятия решения о нужности информации осуществляется первичная ее оценка. Критерии первичной оценки должны быть немного загрублены для исключения потери важной информации, но незначительно, иначе поток превратится в неконтролируемый. Минимальный набор критериев для первичной оценки - это один признак - релевантность данной информации нашим . Иначе говоря, если информация хоть как-то касается нашей темы ил потенциально может помочь в работе над нашим проектом, значит, она представляет для нас интерес. Значит, мы ее оставляем у себя и пускаем в дальнейшую работу. Результатом такой оценки информации должен стать вывод о ее релевантности нашей проблеме. Ранее мы обсудили свойства информации, которые по своей сути и есть критерии ее оценки: Это академический подход. На практике обычно поступают следующим образом. Изначально поступившую информацию оценивают с точки зрения релевантности. Если информация релевантна - вопрос в ее достоверности. Затем - в ее актуальности. А после этого при необходимости осуществляется оценка по иным критериям. Часто для ускорения процесса оценки используют упрощенный набор критериев. Кроме того, в зависимости от задачи меняется важность того или иного свойства информации вплоть до полного отказа от какого то свойства. Также практикуется объединение нескольких свойств в один синтетический параметр. Например, объективность и достоверность, или полнота и ценность. Либо для оценки используют одно свойство. Так можно поступать при первичном сборе информации по ранее неизвестой проблеме. Собирается все - главное, чтобы информация как-то помогала в понимании проблемы. Критерии упрощенной оценки информации ДОСТОВЕРНОСТЬ информации - насколько представленное описание соответствует действительности. Можно ли верить информации или требуется дополнительное исследование, или нельзя доверять в принципе. ЗНАЧИМОСТЬ информации: Принятие решения о релевантности информации некой проблеме осуществляется по нескольким признакам. Первый признак - это наличие явного указания на сферу интересов. Такое указание выявляется через наличие ключевых слов (названий, имен, дат, специфических терминов и т.п.). Второй признак более сложен, это наличие косвенного, смыслового указания. Здесь прямо назвать признаки не получится - в каждой ситуации они свои. Второй критерий - это достоверность. Она проверяется по следующим параметрам: Как видно, важнейшее место здесь занимает знание об источнике информации. Поэтому важно вести работу по изучению источников, постоянному сбору информации о них. С кем аффилированы, насколько объективно освещают проблемы, с кем сотрудничают, чьи интересы лоббируют и т.д. Для выявления дезинформации необходимо: Также необходимо брать во , что информация искажается и ненамеренно. Это происходит по следующим причинам: При намеренной дезинформации используют следующие приемы: В процессе работы с информацией (на любом этапе) возможно возникновение ситуации, когда для понимания происходящего не хватает данных. В этом случае можно воспользоваться приемом восстановления информации. Суть его в том, что любому событию что-то предшествует, какая-то подготовка, какие-то события и везде остается след. Какие-то процессы сопутствуют основному событию, что-то становится следствием этого события. Нужно уметь восстанавливать последовательность событий и выявлять места, где может остаться информация о событии. Но начинать нужно с обработки уже имеющейся информации. И в этом плане очень важным является процесс аттестации источника информации.
Управление данными как активом предприятия: качество данных и бизнес-результат
объективность - субъективность
достоверность - недостоверность
Полнота - неполнота
Актуальность - неактуальность
Ценность - бесполезность
Понятность - непонятность
РЕЛЕВАНТНОСТЬ информации - наличие связи с проблемой (соответствие нашим интересам) и способность информации внести вклад в процесс понимания проблемы. Иными словами, необходимо сопоставить данную информацию с вашими информационными потребностями и ответить на вопрос: сможет ли помочь она вам чем-то сейчас или в ближайшем будущем? Если да - переходите к следующему этапу, если нет - в корзину (если только она вам не пригодится в другом деле).
- понимание самой информации,
- полнота освещения предмета интереса,
- своевременность информации и ее достаточность для принятия решения.
- наличие подтверждения из других источников;
- стыкование с другой информацией;
- знание источника и его ;
- авторитет или длительная положительная история работы с источником;
- свойства канала передачи информации.
- четко разделять факты и мнения о них;
- понимать, может ли источник иметь доступ к присланной информации;
- учитывать отношение источника к описанным объектам или событиям;
- учитывать личностные характеристики источника (автора) - заинтересованность, фантазийность, зависимость, самомнение;
- помнить, что легче всего воспринимается желаемая информация.
- передача части сообщения;
- пересказ услышанного своими словами и внесение в содержание своего отношения, своего мнения;
- сообщения, циркулирующие по горизонтальным и неформальным каналам, менее подвержены искажениям, а информация, предоставляемая «наверх», - более, поскольку у лица, передающего данные, есть желане угодить, получить вознаграждение, избежать наказания.
- сокрытие фактов;
- тенденциозный подбор (изложение) фактов;
- нарушение логических или временных связей;
- подача достоверной информации в такой форме или контексте, чтобы она воспринималась как дезинформация;
- краткое изложение важной информации на фоне ярких, отвлекающих внимание данных;
- использование в изложении многозначных слов, которые можно толковать по-разному;
- замалчивание ключевых деталей.
