Агрегирование данных состоит в формировании промежуточных итогов , а также создании сводных и консолидированных таблиц .)
Агрегирование данных выполняется в тех таблицах, в которых имеются поля с повторяющимися по смыслу значениями. Наиболее типичными задачами подобного типа являются задачи получения различного вида статистических итогов. Поясним подробнее назначение каждой из отмеченных процедур.
· Промежуточные итоги . Эта опция позволят сформировать промежуточные итоговые результаты определенного вида (сумма, среднее значение, максимум, минимум, количество значащих записей и т.д.) для выделенного ряда данных (группы записей). При формировании промежуточных итогов требуется предварительно произвести сортировку таблицы по полям группировки записей. К полученным промежуточным итогам можно также добавить новые итоги с сохранением предыдущих итогов.
· Сводные таблицы. Этот инструмент табличного процессора обеспечивает формирование сводной (агрегированной) информации и представление табличных данных в структурированном виде (в определенной внешней форме с упорядочением местоположения фрагментов), а также построение связанной со сводной таблицей сводной диаграммы. Распределение информации в сводной таблице можно задать, указывая какие поля и элементы должны в ней содержаться. Поле - это некоторая общая категория (поименованный столбец), а элемент - это отдельное значение, содержащееся внутри некоторой категории значений. Источником данных для сводной таблицы может быть электронная таблица, данные из внешних баз и т.д. Помимо «базовых» полей из источников данных, сводная таблица допускает формирование вычисляемых полей в области данных, а также вычисляемых элементов для полей группировки. Элементы полей группирования далее могут объединяться в группы, для которых можно указать тип итоговой функции.
Примечание.
Сводная таблица - это средство только для отображения информации и данные, расположенные в теле сводной таблицы, нельзя изменить. Чтобы малейшие изменения данных в источниках информации оперативно отражались в сводной таблице как в ее ячейках, напрямую связанных с источниками данных, так и ячейках, отображающих итоговые расчеты, необходимо установить автоматический режим обновления сводной таблицы.
· Консолидация данных . Это особый способ вычисления итогов для диапазона ячеек. Консолидируемые данные могут находится на одном и том же или нескольких листах рабочей книги, а также на листах нескольких разных рабочих книг. При консолидации доступны все типичные функции статистических итогов (сумма, среднее значение, максимум, минимум и т.п.). Результат консолидации записывается на лист рабочей книги, причем на одном и том же листе могут быть записаны несколько результатов консолидации с одними и теми же исходными диапазонами ячеек с данными, но с разными итоговыми функциями. Однако, если исходные диапазоны ячеек отличаются, результаты консолидации должны располагаться на разных листах. Различают следующие виды консолидации:
· Консолидация по расположению ячеек - состав и порядок следования консолидируемых данных во всех диапазонах постоянный, т.е. данных исходных областей находятся в одном и том же месте и размещены в одном и том же порядке. Этот способ используется для консолидации данных нескольких рабочих листов, созданных на основе одного шаблона.
· Консолидация по категориям - когда данные исходных областей не упорядочены, но имеют одни и те же заголовки столбцов и строк. Этот способ применяется при консолидации данных рабочих листов, имеющих разную структуру, но одинаковые заголовки.
· Консолидация с помощью трехмерных ссылок - исходные области располагаются на любом листе, в любой книге, на других открытых листах или книгах, а также зачастую на листах других табличных процессоров. Этот способ является наиболее предпочтительным, т.к. он снимает ограничения на расположение данных в исходных областях.
Примечание.
После создания консолидированной итоговой таблицы можно добавлять, удалять или изменять исходные области данных . Кроме этого, можно создать связи итоговой таблицы с исходными данными, с тем, чтобы данные области назначения итоговой таблицы автоматически обновлялись при изменении данных в исходных областях.
Что такое агрегации и какие их виды существуют? Какова их роль в анатомии человека, информационных технологиях и социологии? Полезны ли они или нет? Об этом мы и поговорим в рамках данной статьи.
Для начала давайте ознакомимся с тем, что же собой представляет термин «агрегации». Это слово используется для обозначения процесса объединения разных элементов в одну общую систему. Это настолько общее понятие, что оно может использоваться во всех сферах, где можно наблюдать подобное. Можно даже назвать агрегацией собрание пары людей, что занимают определённое пространство. В это верится с трудом, но если ознакомиться с трудами, скажем, Эрика Берна, это не покажется выдумкой автора. Более того, агрегации - это базовое понятие в целом ряде систем классификации человеческих сообществ, что используются в психологии и социологии. В качестве альтернативы часто используют ещё такое словосочетание, как «социальная группа», которое является несколько более узнаваемым. Но это относится только к социологии и психологии. В других дисциплинах и сферах использования часто применяются иные альтернативные названия.
В последнее время часто высказывается предположение о том, что за двадцать первый век человеком было сгенерировано больше информации, чем за всю его предыдущую историю. К примеру, в Harvard Business Review провели исследование, согласно которому даже за последние несколько лет было создано такое количество данных, что они превышают всё, ранее сформулированное и представленное к нашему сведению. При этом наметилась тенденция, когда очень большие массивы качественного и интересного контента создают не профессиональные авторы, а обычные люди с помощью социальных сетей и блогов. Но такая агрегация данных имеет и негативные последствия. В первую очередь необходимо упомянуть о проблеме информационной перегрузки. Так обозначается ситуация, когда человеком получается так много данных, что становится сложно их всех воспринимать. Есть определённые проблемы и с распределением свободного времени. Так, специалисты ранее упомянутой Harvard Business Review утверждают, что сейчас человек около 1/5 своего времени тратит на поиск в Сети, из которого почти половина идёт на то, что уже было просмотрено. Из этого можно сделать заключение, что у нас есть определённые проблемы в плане как получения новых данных, так и хранения уже имеющихся.
Человеку чрезвычайно сложно жить без общества.
В той или иной мере с другими людьми контактировать приходится практически каждому. Этому способствует и агрегация интересов, и создание комфортной среды. Интересна в этом плане роль социальных сетей (особенно в плане получения информации). Так, компания ComScore провела исследование, в результате которого установила, что каждый десятый посетитель новостных сайтов перед тем как зайти на них, посетил "Фейсбук". Таким образом, можно уверенно говорить о том, что сайты подобного типа постепенно увеличивают свою роль в плане поиска и ознакомления с информацией. А сколько же данных передаётся между людьми во время простого общения? Увы, человеку это даже не по силам подсчитать. Но провести подобную агрегацию смог бы искусственный интеллект.
В общем случае агрегации - это полезный инструментарий, который помогает ориентироваться во всё возрастающем потоке информации, которая обрушивается на человека. Почему агрегация приобретает популярность? Дело в том, что почти поголовно людям нравится читать не некую абстрактную информацию, а то, что им по вкусу. И желательно тратить при этом времени по минимуму. И здесь агрегации - это настоящее откровение и спасение. Ведь они позволяют экономить время, деньги, образуют единую точку входа, разбивают информацию на категории и архивируют, а также повышают релевантность результатов поиска. И это всё является важной составляющей глобальной сети, известной также как Интернет. Агрегации позволяют избегать работы на микроуровнях (исключение - анатомия человека) и работать уже с объединёнными группами объектов.
Своё начало агрегации данного типа берут, пожалуй, со времён закладок, которые появились в первых браузерах ещё в 1993 году, и поисковых систем, которые в первоначальном виде представляли собой каталоги заранее отобранных кем-то ссылок. Постепенно это всё развивалось.
И когда сформировалась идея Web 2.0 и генерации пользователем контента, то возникли сервисы На момент их организации они были флагманами подобного движения. Многие из решений, которые возникли в то время, работают и сейчас. Сейчас подобные сервисы предлагают свои услуги в ранжировании и подборе контента. Как правило, это относится к новостным агрегатам. Но подобные механизмы используют и многие иные сервисы, вроде досок картинок, и много других. Даже упомянутые ранее социальные сети, когда предлагают новых людей для знакомства, действуют подобным образом, подбирая по интересам. Закономерное продолжение в виде идеи Web 3.0 представляет собой персонализацию информации и разработку различных способов её доставки к конечному потребителю. И благодаря росту размера информационного потока нагрузка на пользователя будет расти, а вместе с этим и улучшится качество фильтрации контента.
Продолжаем разговор об информационных технологиях. В данном случае подразумевается объединение нескольких каналов передачи данных, которые находятся параллельно в рамках сети Ethernet, в один логический. Это позволяет повысить надёжность передачи данных и увеличить пропускную способность. Хотя и существуют различные реализации со своими специфическими моментами, но в общем всё выглядит именно так. Агрегация каналов является важным моментом в создании надёжных сетей. В случае повреждения одного провода информация будет передаваться по другим.
Второе название этого процесса в данном случае - делегирование. Используется оно в объектно-ориентированном программировании. Подразумевают под этим методику создания нового класса путём включения уже существующих. Агрегирование ещё также называют отношением принадлежности. Когда создан новый класс, вложенные объекты обычно объявляют закрытыми. И для программистов, которые работают с ними, они стают недоступными. С одной стороны, это неудобно. Но с другой - создатель класса может менять объекты, и при этом не будет нарушена работа уже существующего клиентского кода. К тому же это всё позволяет делать взаимодействие более динамичным и гибким в определённых границах.
Но не едиными информационными потоками живёт это понятие. Существует ещё и агрегация тромбоцитов. Что это такое? Так называется процесс слипания (склеивания) тромбоцитов под влиянием специфических стимуляторов между собой. Это всё, что собой представляет агрегация тромбоцитов? Что это такое на микроуровне? Способствуют этому специальные индукторы: серотонин, адреналин, тромбоксан А2, АДФ, нестабильные простагландины и тромбоцитоактивирующий фактор. Когда же и как всё будет происходить, определяют гликопротеины мембран тромбоцитов IIb/IIIa, когда они взаимодействуют между собой вместе с фибриногеном. Может ли быть такое, что будет нарушена агрегация тромбоцитов? Что это такое в перспективе? В подобном случае у человека наблюдается кровоточивость. При более детальном обследовании ему ставят диагноз болезни, в основе которой лежит недостаточность (как правило, врождённая) гликопротеинов или фибриногена.
Эта тема в биологии рассматривается немного отдельно от случая с тромбоцитами. Но в общем агрегация и здесь собой представляет слипание клеток. Подобное явление может наблюдаться только в многоклеточных образованиях. Сам данный процесс представляет собой «сортировку», во время которой однотипные слипаются, тогда как разнотипные остаются работать разобщенно. Агрегация клеток наблюдается и в искусственных, и в естественных условиях. То, с какой интенсивностью протекает данный процесс, зависит от ионного состава среды и температуры. Само это явление может быть и позитивным, и негативным. Хорошим примером второго случая является агрегация эритроцитов. Под этим понимают образование агломерации кровяных тел разной плотности и величины при нарушении микроциркуляции. А это уже вызывает негативные последствия. Самыми значимыми является ухудшение крови. Это можно наблюдать в тех случаях, когда человек заболевает малярией, пневмонией или же у него наблюдается шоковое состояние.
Сбора, обработки и представления информации в окончательном виде. Агрегирование данных в основном выполняется для формирования отчетов, выработки политики, управления здравоохранением, научных исследований, статистического анализа и изучения здоровья населения..."
Источник:
"ИНФОРМАТИЗАЦИЯ ЗДОРОВЬЯ. ТРЕБОВАНИЯ К АРХИТЕКТУРЕ ЭЛЕКТРОННОГО УЧЕТА ЗДОРОВЬЯ. ГОСТ Р ИСО/ТС 18308-2008"
(утв. Приказом Ростехрегулирования от 11.03.2008 N 44-ст)
Официальная терминология . Академик.ру . 2012 .
агрегирование данных - Процесс сбора, обработки и представления информации в окончательном виде. Агрегирование данных в основном выполняется для формирования отчетов, выработки политики, управления здравоохранением, научных исследований, статистического анализа и… …
агрегирование данных - (data aggregation): Процесс сбора, обработки и представления информации в окончательном виде. Агрегирование данных в основном выполняется для формирования отчетов, выработки политики, управления здравоохранением, научных исследований,… …
агрегирование - 3.2 агрегирование (aggregation): Процесс или результат объединения конструкций языка моделирования и других компонентов модели в единое целое. Примечание Конструкции языка моделирования и другие компоненты модели могут быть агрегированы в более… … Словарь-справочник терминов нормативно-технической документации
агрегирование - Объединение, суммирование экономических показателей по какому либо признаку для получения обобщенных совокупных показателей. При агрегировании необходим учет структуры объединяемых элементов, в ряде случаев требуется анализ возможности и… … Справочник технического переводчика
Агрегирование - объединение, укрупнение показателей по какому либо признаку для получения обобщенных, совокупных показателей — агрегатов. С математической точки зрения А. рассматривается как преобразование модели в модель … Экономико-математический словарь
агрегирование информации - Преобразование детализированной информации в пакеты (агрегаты) данных, что позволяет анализировать экономику в терминах небольшого числа соответствующих агрегированных переменных, которые включают капитал, труд, товары (промежуточные и конечные) … Справочник технического переводчика
агрегирование каналов - Метод повышения пропускной способности за счет объединения нескольких параллельных каналов в один высокоскоростной поток данных. [Л.М. Невдяев. Телекоммуникационные технологии. Англо русский толковый словарь справочник. Под редакцией Ю.М.… … Справочник технического переводчика - соединение отдельных единиц или данных в единый показатель. Например, все цены индивидуальных товаров и услуг образуют один общий уровень цен или все единицы продукции агрегируются в реальный чистый национальный продукт … Большой экономический словарь
Процедура Агрегировать данные позволяет преобразовать группы наблюдений в наблюдения, содержащие агрегированную информацию по соответствующей группе, и создавать новый - агрегированный - файл данных или создавать новые переменные в активном наборе данных, содержащие агрегированную информацию. Наблюдения агрегируются на основе значений нуля или большего числа группирующих переменных. Если группирующие переменные не заданы, то весь набор данных представляет собой единую группу для агрегирования.
Группирующие переменные. Наблюдения разбиваются на группы, на основании значений этих переменных. Каждая уникальная комбинация значений группирующих переменных определяет группу. Если создается новый, агрегированный файл данных, все группирующие переменные сохраняются в новом файле под своими прежними именами и с информацией из словаря данных. Группирующая переменная, если задана, может быть числовой или текстовой.
Агрегируемые переменные. Для создания новых переменных используются исходные переменные с функциями агрегирования. За именем агрегированной переменной идет необязательная метка переменной, имя агрегирующей функции и имя исходной переменной в скобках.
Можно изменять имена агрегируемых переменных, заданные по умолчанию, добавлять описательные метки переменных, а также изменять функции, используемые для расчета агрегированных значений. Можно также создать переменную, содержащую число наблюдений, попавших в каждую группу при агрегировании.
Как агрегировать файл данных
Данные > Агрегировать...
Дополнительно вы можете заменить имена агрегируемых переменных по умолчанию на новые имена переменных, задать описательные метки переменных и создать переменную, которая будет содержать количества наблюдений в каждой группе.
Сохранение агрегированных результатов
Вы можете добавить агрегированные переменные в активный набор данных или создать новый, агрегированный файл данных.
Параметры сортировки для больших файлов данных
Для очень больших файлов данных более эффективным может быть агрегирование предварительно отсортированных данных.
Данные уже отсортированы по группирующим переменным. Если данные уже отсортированы по значениям группирующих переменных, то этот параметр позволяет процедуре выполняться быстрее и использовать меньше памяти. Пользуйтесь этим параметром с осторожностью.
Отсортировать данные перед агрегированием. В очень редких случаях с большими файлами данных вам, возможно, потребуется отсортировать файл данных по значениям группирующих переменных до агрегирования. Использовать этот параметр не рекомендуется, пока у вас не возникнут проблемы с памятью или быстродействием.
8.6. Агрегирование данных
На базе значений одной или нескольких группирующих переменных (переменных разбиения) можно объединить наблюдения в группы (агрегировать) и создать новый файл данных, содержащий по одному наблюдению для каждой группы разбиения. Для этого SPSS предоставляет большое количество функций агрегирования.
В сельскохозяйственном исследовании рассматривалось содержание свиней в двух различных типах свинарников. При этом в каждом из двух свинарников осуществлялся мониторинг поведения восьми свиней в течение двадцатидневного периода. На протяжении этого периода фиксировалась длительность определенных действий животных (то есть сколько времени свиньи рылись, ели, чесали голову и туловище). Данные хранятся в файле schwein.sav, содержащем следующие переменные:
|
Имя переменной |
Пояснение |
|
Тип свинарника (1 или 2) |
|
|
Порядковый номер свиньи (от 1 до 8) |
|
|
Номер дня (от 1 до 20) |
|
|
Длительность рытья (в секундах) |
|
|
Длительность кормежки (в секундах) |
|
|
Длительность чесания (в секундах) |
Следует выяснить, значительно ли различается по длительности эти три действия в свинарниках обоих типов, для чего необходимо применить соответствующий статистический текст, например, тест Стьюдента (см. главу 13).
В каждой из двух выборок для каждого из трех действий имеется по 8 + 20=160 измерений. Однако выполнение статистического тест на основе этих данных будет не совсем корректно, так как они относятся к восьми особям, для каждой из которых было проведено по двадцать измерений.
Поэтому мы просуммируем длительности для каждой отдельной свиньи и для каждого отдельного действия. Затем полученные наборы сумм мы сравним при помощи теста Стьюдента. Это типичный пример агрегирования данных.
Загрузите файл schwein.sav.
Выберите в меню команды Data (Данные) Aggregate... (Агрегировать)
Откроется диалоговое окно Aggregate Data (Агрегировать данные).
В качестве переменных разбиения перенесите переменные stall и nr в поле Break Variable(s), а в качестве переменных агрегирования (Aggregate Variable(s)) выберите wuehlen, fressen и massage. Диалоговое окно приобретет вид, показанный на рис. 8.8.
Будут показаны три новые переменные wuehle_l, fresse_l и massag_l, имена которых состоят из первых шести букв имен соответствующих переменных агрегирования и комбинации символов _1. По умолчанию в качестве функции агрегирования принято среднее значение. Мы должны выбрать вместо него сумму.
Для этого щелкните на первой переменной, а затем на кнопке Funktion... (Функция). Откроется диалоговое окно Aggregate Data: Aggregate Function (Агрегировать данные: Функция агрегирования) (см. рис. 8.9).
Можно выбрать одну из шестнадцати функций агрегирования, имена которых не требуют особых пояснений.
Выберите пункт Sum of values (Сумма значений) и щелчком на кнопке Continue вернитесь в первое диалоговое окно.
Выполните те же действия для двух других переменных агрегирования. Агрегированные данные будут сохранены в новом файле.
Щелкните на кнопке File... и выберите для нового файла имя pigaggr.sav.
Рис. 8.8: Диалоговое окно Aggregate Data
Рис. 8.9: Диалоговое окно Aggregate Data: Aggregate Function
После щелчка на кнопке Отбудет создан новый файл, содержащий 2 х 8=16 наблюдений и переменные stall, nr, wuehle_l, fresse_l и massag_l.
Загрузите этот файл и просмотрите его содержимое в редакторе данных.
Как описано в разделе 13.1, проведите тест Стьюдента для независимых выборок с группирующей переменной stall и тестируемыми переменными fresse_l, massag_l и wuehle_l. Вы получите следующий результат:
Group Statistics (Статистика группы)
|
Mean (Среднее значение) |
Std. Deviation (Стандартное отклонение) |
Std. Error Mean (Стандартная ошибка среднего значения) |
||
|
339,0125 231,6750 |
98,2384 109,5381 |
|||
|
1996,587 1964.600 |
326,3919 642,5314 |
115,3970 227,1692 |
Independent Samples Test (Тест для независимых выборок)
| Levne"s Test forEquality of Variancies (Tecт Левена на равенство дисперсий) |
Т-Test for Equality of Means (Тест Стьюдента на равенство средних) |
|||||||
| Значи-мость |
(дву сторон-няя) |
Разность средних |
Стан-дартная ошибка разницы |
95% доверительный интервал разности Нижняя и Верхняя |
||||
| Equal variances assumed (Дис-персии равны) Equal variances not assumed (Дис-персии не равны) |
107 ,3375 107 ,3375 |
Статьи по теме:
Что такое кэшированные данные и кэширование?
Удобство использования на высоком уровне
Подробная расшифровка некоторых характеристик акустики
Как найти потерянный, украденный ноутбук
Как снять с флешки защиту от записи
Новое:
Популярное:
| ||||||
