Недавно пришлось столкнуться с необходимостью программной фильтрации данных АЦП. Гугление и курение (различной документации) привело меня к двум технологиям: Фильтр низких частот (ФНЧ) и Медианный фильтр. Про ФНЧ есть весьма подробная статья в сообществе Easyelectronics , поэтому далее речь пойдёт про медианный фильтр.
Дисклеймер (отмазка): Эта статья по большей частью является практически дословным переводом статьи с сайта embeddedgurus . Однако, переводчик (я) тоже использовал приведенные алгоритмы в работе, нашёл их полезными, и, возможно, представляющими интерес для этого сообщества.
Итак, любой линейный фильтр создан, чтобы пропускать сигналы в заданной полосе частот, и максимально ослаблять все остальные. Подобные фильтры незаменимы, если требуется устранить влияние всевозможных шумов. Однако, в реальном мире встраиваемых систем, разработчик может столкнуться с фактом, что эти классические фильтры практически бесполезны против кратковременных мощных выбросов.
Этот тип шума обычно возникает от какого-либо случайного события, такого, как электростатический разряд, сработавший рядом с прибором брелок сигнализации и прочее. При этом входной сигнал может принять заведомо невозможное значение. Например, с АЦП поступили данные: 385, 389, 388, 388, 912, 388, 387. Очевидно, что значение 912 тут ложное, и должно быть отброшено. При использовании классического фильтра, почти наверняка это большое число повлияет на выходное значение очень сильно. Очевидным решением тут будет применение медианного фильтра.
В соответствии со своим названием, медианный фильтр пропускает среднее значение из множества значений. Обычно размер этой группы нечётный, чтобы избежать двусмысленности при выборе среднего значения. Основная идея-имеется некий буфер с несколькими значениями, из которых выбирается медиана.
Отличия медианы от среднего арифметического
Предположим, что в одной комнате оказалось 19 бедняков и один миллиардер. Каждый кладёт на стол деньги - бедняки из кармана, а миллиардер - из чемодана. По $5 кладёт каждый бедняк, а миллиардер - $1 млрд (109). В сумме получается $1 000 000 095. Если мы разделим деньги равными долями на 20 человек, то получим $50 000 004,75. Это будет среднее арифметическое значение суммы наличных, которая была у всех 20 человек в этой комнате.
Медиана в этом случае будет равна $5 (полусумма десятого и одиннадцатого, срединных значений ранжированного ряда). Можно интерпретировать это следующим образом. Разделив нашу компанию на две равные группы по 10 человек, мы можем утверждать, что в первой группе каждый положил на стол не больше $5, во второй же не меньше $5. В общем случае можно сказать, что медиана это то, сколько принёс с собой средний человек. Наоборот, среднее арифметическое - неподходящая характеристика, так как оно значительно превышает сумму наличных, имеющуюся у среднего человека.
ru.wikipedia.org/wiki/Медиана_ (статистика)
По размеру этого множества разделим фильтры на два типа:
Размерность = 3
Размерность > 3
Uint16_t middle_of_3(uint16_t a, uint16_t b, uint16_t c) { uint16_t middle; if ((a <= b) && (a <= c)) { middle = (b <= c) ? b: c; } else if ((b <= a) && (b <= c)) { middle = (a <= c) ? a: c; } else { middle = (a <= b) ? a: b; } return middle; }
#define STOPPER 0 /* Smaller than any datum */
#define MEDIAN_FILTER_SIZE (13)
uint16_t median_filter(uint16_t datum)
{
struct pair
{
struct pair *point; /* Pointers forming list linked in sorted order */
uint16_t value; /* Values to sort */
};
static struct pair buffer = {0}; /* Buffer of nwidth pairs */
static struct pair *datpoint = buffer; /* Pointer into circular buffer of data */
static struct pair small = {NULL, STOPPER}; /* Chain stopper */
static struct pair big = {&small, 0}; /* Pointer to head (largest) of linked list.*/
struct pair *successor; /* Pointer to successor of replaced data item */
struct pair *scan; /* Pointer used to scan down the sorted list */
struct pair *scanold; /* Previous value of scan */
struct pair *median; /* Pointer to median */
uint16_t i;
if (datum == STOPPER)
{
datum = STOPPER + 1; /* No stoppers allowed. */
}
if ((++datpoint - buffer) >= MEDIAN_FILTER_SIZE)
{
datpoint = buffer; /* Increment and wrap data in pointer.*/
}
datpoint->value = datum; /* Copy in new datum */
successor = datpoint->point; /* Save pointer to old value"s successor */
median = &big; /* Median initially to first in chain */
scanold = NULL; /* Scanold initially null. */
scan = &big; /* Points to pointer to first (largest) datum in chain */
/* Handle chain-out of first item in chain as special case */
if (scan->point == datpoint)
{
scan->point = successor;
}
scanold = scan; /* Save this pointer and */
scan = scan->point ; /* step down chain */
/* Loop through the chain, normal loop exit via break. */
for (i = 0 ; i < MEDIAN_FILTER_SIZE; ++i)
{
/* Handle odd-numbered item in chain */
if (scan->point == datpoint)
{
scan->point = successor; /* Chain out the old datum.*/
}
if (scan->value < datum) /* If datum is larger than scanned value,*/
{
datpoint->point = scanold->point; /* Chain it in here. */
scanold->point = datpoint; /* Mark it chained in. */
datum = STOPPER;
};
/* Step median pointer down chain after doing odd-numbered element */
median = median->point; /* Step median pointer. */
if (scan == &small)
{
break; /* Break at end of chain */
}
scanold = scan; /* Save this pointer and */
scan = scan->point; /* step down chain */
/* Handle even-numbered item in chain. */
if (scan->point == datpoint)
{
scan->point = successor;
}
if (scan->value < datum)
{
datpoint->point = scanold->point;
scanold->point = datpoint;
datum = STOPPER;
}
if (scan == &small)
{
break;
}
scanold = scan;
scan = scan->point;
}
return median->value;
}
Чтобы воспользоваться этим кодом, просто вызываем функцию каждый раз, когда появляется новое значение. Она вернёт медианное из последних MEDIAN_FILTER_SIZE измерений.
Этот подход требует довольно много RAM, т.к. приходится хранить и значения, и указатели. Однако он довольно быстрый (58мкс на 40МГц PIC18).
Медианные фильтры достаточно часто применяются на практике, как средство предварительной обработки цифровых данных. Специфической особенностью и основным достоинством таких фильтров является слабая реакция на отсчеты, резко выделяющиеся на фоне соседних, что позволяет применять медианную фильтрацию для устранения аномальных значений в массивах данных. Характерной особенностью медианного фильтра является его нелинейность. Во многих случаях применение медианного фильтра оказывается более эффективным по сравнению с линейными фильтрами, поскольку процедуры линейной обработки данных являются оптимальными при гауссовом распределении помех, что не всегда характерно для реальных сигналов. В случаях, когда перепады значений сигналов велики по сравнению с дисперсией гауссовского шума, медианный фильтр дает меньшее значение среднеквадратической ошибки выходного сигнала в отношении к входному, незашумленному сигналу при сравнении с оптимальными линейными фильтрами.
Медианный фильтр представляет собой оконный фильтр, последовательно скользящий по массиву сигнала, и возвращающий на каждом шаге один из элементов, попавших в окно (апертуру) фильтра. Выходной сигнал y k скользящего медианного фильтра шириной n для текущего отсчета k формируется из входного временного ряда …, x k -1 , x k , x k +1 ,… в соответствии с формулой:
y k = Me(x k-(n-1)/2 ,…, x k ,…,x k+(n-1)/2 ) ,
где Me(x 1 ,…,x n ) = x ((n+1)/2) – элементы вариационного ряда, т.е. ранжированные в порядке возрастания значений x 1 = min (x 1 ,…, x n ) ≤ x (2) ≤ x (3) ≤ … ≤ x n = max (x 1 ,…, x n ) . Ширина медианного фильтра выбирается с учетом того, что он способен подавить импульс шириной (n-1)/2 отсчетов, при условии, что n – нечетное число.
Таким образом, медианная фильтрация реализуется в виде процедуры локальной обработки отсчетов в скользящем окне, которое включает определенное число отсчетов сигнала. Для каждого положения окна выделенные в нем отсчеты ранжируются по возрастанию или убыванию значений. Средний по своему положению отсчет в ранжированном списке называется медианой рассматриваемой группы отсчетов, если число отсчетов нечетно. Этим отсчетом заменяется центральный отсчет в окне для обрабатываемого сигнала. При четном количестве отсчетов медиана устанавливается, как среднее арифметическое двух средних отсчетов. В качестве начальных и конечных условий фильтрации обычно принимается текущее значение сигнала, либо медиана находится только для тех точек, которые вписываются в пределы апертуры.
Благодаря свои характеристикам, медианные фильтры при оптимально выбранной апертуре могут сохранять без искажений резкие границы объектов, подавляя некоррелированные и слабо коррелированные помехи и малоразмерные детали. Ваналогичных условиях алгоритмы линейной фильтрации неизбежно «смазывают» резкие границы и контуры объектов.
Достоинства медианных фильтров.
Простая структура фильтра, как для аппаратной, так и для программной реализации.
Фильтр не изменяет ступенчатые и пилообразные функции.
Фильтр хорошо подавляет одиночные импульсные помехи и случайные шумовые выбросы отсчетов.
Недостатки медианных фильтров.
Медианная фильтрация нелинейна, так как медиана суммы двух произвольных последовательностей не равна сумме их медиан, что в ряде случаев может усложнять математический анализ сигналов.
Фильтр вызывает уплощение вершин треугольных функций.
Подавление белого и гауссового шума менее эффективно, чем у линейных фильтров. Слабая эффективность наблюдается также при фильтрации флюктуационного шума.
При увеличении размеров окна фильтра происходит размытие крутых изменений сигнала и скачков.
Недостатки метода можно уменьшить, если применять медианную фильтрацию с адаптивным изменением размера окна фильтра в зависимости от динамики сигнала и характера шумов (адаптивная медианная фильтрация). В качестве критерия размера окна можно использовать, например, величину отклонения значений соседних отсчетов относительно центрального ранжированного отсчета /1i/. При уменьшении этой величины ниже определенного порога размер окна увеличивается.
Шумы в изображениях. Никакая система регистрации не обеспечивает идеального качества изображений исследуемых объектов. Изображения в процессе формирования их системами (фотографическими, голографическими, телевизионными) обычно подвергаются воздействию различных случайных помех или шумов. Фундаментальной проблемой в области обработки изображений является эффективное удаление шума при сохранении важных для последующего распознавания деталей изображения. Сложность решения данной задачи существенно зависит от характера шумов. В отличие от детерминированных искажений, которые описываются функциональными преобразованиями исходного изображения, для описания случайных воздействий используют модели аддитивного, импульсного и мультипликативного шумов.
Наиболее распространенным видом помех является случайный аддитивный шум, статистически независимый от сигнала. Модель аддитивного шума используется тогда, когда сигнал на выходе системы или на каком-либо этапе преобразования может рассматриваться как сумма полезного сигнала и некоторого случайного сигнала. Модель аддитивного шума хорошо описывает действие зернистости фотопленки, флуктуационный шум в радиотехнических системах, шум квантования в аналого-цифровых преобразователях и т.п.
Аддитивный гауссов шум характеризуется добавлением к каждому пикселю изображения значений с нормальным распределением и с нулевым средним значением. Такой шум обычно появляется на этапе формирования цифровых изображений. Основную информацию в изображениях несут контуры объектов. Классические линейные фильтры способны эффективно удалить статистический шум, но степень размытости мелких деталей на изображении может превысить допустимые значения. Для решения этой проблемы используются нелинейные методы, например алгоритмы на основе анизотропной диффузии Перрона и Малика, билатеральные и трилатеральные фильтры. Суть таких методов заключается в использовании локальных оценок, адекватных определению контура на изображении, и сглаживания таких участков в наименьшей степени.
Импульсный шум характеризуется заменой части пикселей на изображении значениями фиксированной или случайной величины. На изображении такие помехи выглядят изолированными контрастными точками. Импульсный шум характерен для устройств ввода изображений с телевизионной камеры, систем передачи изображений по радиоканалам, а также для цифровых систем передачи и хранения изображений. Для удаления импульсного шума используется специальный класс нелинейных фильтров, построенных на основе ранговой статистики. Общей идеей таких фильтров является детектирование позиции импульса и замена его оценочным значением, при сохранении остальных пикселей изображения неизменными.
Двумерные фильтры. Медианная фильтрация изображений наиболее эффективна, если шум на изображении имеет импульсный характер и представляет собой ограниченный набор пиковых значений на фоне нулей. В результате применения медианного фильтра наклонные участки и резкие перепады значений яркости на изображениях не изменяются. Это очень полезное свойство именно для изображений, на которых контуры несут основную информацию.
При медианной фильтрации зашумленных изображений степень сглаживания контуров объектов напрямую зависит от размеров апертуры фильтра и формы маски. Примеры формы масок с минимальной апертурой приведены на рис. 16.2.1. При малых размерах апертуры лучше сохраняются контрастные детали изображения, но в меньшей степени подавляется импульсные шумы. При больших размерах апертуры наблюдается обратная картина. Оптимальный выбор формы сглаживающей апертуры зависит от специфики решаемой задачи и формы объектов. Особое значение это имеет для задачи сохранения перепадов (резких границ яркости) в изображениях.
Под изображением перепада понимаем изображение, в котором точки по одну сторону от некоторой линии имеют одинаковое значение а , а все точки по другую сторону от этой линии - значение b , b a . Если апертура фильтра симметрична относительно начала координат, то медианный фильтр сохраняет любое изображение перепада. Это выполняются для всех апертур с нечетным количеством отсчетов, т.е. кроме апертур (квадратные рамки, кольца), которые не содержат начала координат. Тем не менее квадратные рамки и кольца будут лишь незначительно изменять перепад.
w(n) = . (16.2.1)
В этом случае значения x i соответствует отображению слева-направо и сверху-вниз окна 3×3 в одномерный вектор, как показано на рис. 16.2.2.
Элементы данного вектора, как и для одномерного медианного фильтра, также могут быть упорядочены в ряд по возрастанию или убыванию своих значений:
r(n) = , (16.2.2)
определено значение медианы y(n) = med(r(n)), и центральный отсчет маски заменен значением медианы. Если по типу маски центральный отсчет не входит в число ряда 16.2.1, то медианное значение находится в виде среднего значения двух центральных отсчетов ряда 16.2.2.
Приведенные выражения не объясняют способа нахождения выходного сигнала вблизи конечных и пограничных точек в конечных последовательностях и изображениях. Один из простых приемов состоит в том, что нужно находить медиану только тех точек внутри изображения, которые попадают в пределы апертуры. Поэтому для точек, расположенных рядом с границами, медианы будут определены, исходя из меньшего числа точек.
На рис. 16.2.3 приведен пример очистки зашумленного изображения медианным фильтром Черненко /2i/. Зашумление изображения по площади составляло 15%, для очистки фильтр применен последовательно 3 раза.
Адаптивные двумерные фильтры. Противоречие по зависимости степени подавления шумов и искажения сигнала от апертуры фильтра в некоторой степени сглаживается при применении фильтров с динамическим размером маски, с адаптацией размеров апертуры под характер изображения. В адаптивных фильтрах большие апертуры используются в монотонных областях обрабатываемого сигнала (лучшее подавление шумов), а малые – вблизи неоднородностей, сохраняя их особенности, при этом размер скользящего окна фильтра устанавливается в зависимости от распределения яркости пикселей в маске фильтра. В их основе лежит, как правило, анализ яркости окрестностей центральной точки маски фильтра.
Простейшие алгоритмы динамического изменения апертуры фильтра, симметричного по обеих осям, обычно работают по заданному на основании эмпирических данных пороговому коэффициенту яркости S порог = . В каждом текущем положении маски на изображении итерационный процесс начинается с апертуры минимального размера. Величины отклонения яркости соседних пикселей A(r, n), попавших в окно размером (n x n), относительно яркости центрального отсчета A(r) вычисляются по формуле:
S n (r) = |A(r,n)/A(r) – 1|. (16.2.3)
Критерий, согласно которому производится увеличение размера маски с центральным отсчетом r и выполняется следующая итерация, имеет вид:
max < S порог. (16.2.4)
Максимальный размер маски (количество итераций), как правило, ограничивается. Для неквадратных масок, имеющих размеры (n x m), итерации могут вычисляться с раздельным увеличением параметров n и m, а также с изменением формы масок в процессе итераций.
Фильтры на основе ранговой статистики . В последние два десятилетия в цифровой обработке изображений активно развиваются нелинейные алгоритмы на основе ранговой статистики для восстановления изображений, поврежденных различными моделями шумов. Подобные алгоритмы позволяют избежать дополнительного искажения изображения при удалении шума, а также значительно улучшить результаты работы фильтров на изображениях с высокой степенью зашумленности.
Сущность ранговой статистики обычно заключается в том, что ряд 16.2.1 не включает центральный отсчет маски фильтра, и по ряду 16.2.2 производится вычисление значения m(n). При N=3 по рис. 16.2.2:
m(n) = (x 4 (n)+x 5 (n))/2. (16.2.5)
Вычисление выходного значения фильтра, которым заменяется центральный отсчет, выполняется по формуле:
y(n) = x(n) + (1-) m(n). (16.2.6)
Значение коэффициента доверия связывается определенной зависимостью со статистикой отсчетов в окне фильтра (например, полной дисперсией отсчетов, дисперсией разностей x(n)-x i (n) или m(n)-x i (n), дисперсией положительных и отрицательных разностей x(n)-x i (n) или m(n)-x i (n), и т.п.). По существу, значение коэффициента должно задавать степень поврежденности центрального отсчета и, соответственно, степень заимствования для его исправления значения из отсчетов m(n). Выбор статистической функции и характер зависимости от нее коэффициента может быть достаточно многообразным и зависит как от размеров апертуры фильтра, так и от характера изображений и шумов.
Введение
Медианный фильтр - один из видов цифровых фильтров, широко используемый в цифровой обработке сигналов и изображений для уменьшения уровня шума.
Реализуется с помощью окна, состоящего из нечётного количества отсчётов. Значения отсчётов внутри окна сортируются по порядку; и среднее значение, то есть значение находящееся в середине упорядоченного списка, принимается выходным значением. На следующем шаге окно передвигается на один отсчёт вперёд и вычисления повторяются. Крайние значения массива мыслим продублированными столько раз, чтобы можно было применить окно к первому и к последнему значению.
Медианная фильтрация - обычная процедура обработки изображений. Она особенно часто используется для уменьшения шума в изображении.
Постановка задачи
Дана матрица NxN. Необходимо реализовать параллельный алгоритм медианной фильтрации этой матрицы.
Метод решения
(Примечание: для простоты был реализован фильтр 3x3)
Последовательный алгоритм:
Фильтрация проводится построчно – для первого элемента строки заполняется массив окрестности (с учетом того, что искусственно добавляются три значения-соседи слева), этот массив сортируется быстрой сортировкой, затем среднее значение записывается в выходную матрицу. Для каждого следующего элемента строки массив окрестности не заполняется заново – в него лишь добавляются новые три элемента, замещая старые три. Для того, чтобы это было возможно сделать за один проход (по массиву окрестности и новым трем элементам) введен специальный массив с «количеством жизней» элемента. Жизней может быть 1, 2 и 3. Добавляемые 3 элемента предварительно сортируются и добавление производится слиянием: во время него элементы с 1й жизнью затираются, элементы, имевшие 2 и 3 жизни получают 1 и 2 соответственно, а добавляемые элементы становятся обладателями 3х жизней. Средний элемент записывается в выходной массив. Обработка последнего элемента производится повторением итерации предпоследнего шага. На практике данный метод по сравнению с полной выборкой окрестности и ее сортировкой показывает превосходство по скорости в 3 раза.
Параллельный алгоритм:
(Примечание: размерность матрицы была ограничена значениями кратными двойке)
Т.к. в данной задаче наблюдается независимость по данным, параллелизм производится на основе деления матрицы на части (по несколько строк, а именно N/p, где p –количество процессов). Если учесть что в персональных компьютерах обычно 1, 2, 4 или 8 ядер у процессора, то деление будет производиться без остатка. После деления матрицы на части по высоте – они обрабатываются последовательным алгоритмом, но необходимо учесть, то при этом невозможно обработать граничные строки (за исключением первой и последней в матрице) – после завершения параллельных вычислений, части собираются обратно в одну матрицу, а оставшиеся строки необходимо отфильтровать отдельно.
Анализ эффективности
Время фильтрации 1го элемента строки:
(2*9+9*ln(9)*2+1)*t , где t - время выполнения одной операции.
Фильтрация последующих элементов строки:
Итого на требующееся на фильтрацию строки время:
((2*9+9*ln(9)*2)+1+(N-1)*(9+3+18+1))*t ≈(21N+37)*t
Время на фильтрацию всей матрицы:
Tp = (α+ω/β*N^2/p)+(21N+37)*t*(N/p+2*(p-1))
T1 = (21N+37)*t*N
Ускорение: Sp = (T1)/(Tp) = ((21N+37)*t*N)/((21N+37)*t*(N/p+2*(p-1))+α+ω/β*N^2/p) = βp/ (β+ω/21) ,при N→∞
Эффективность: Ep = (Sp)/p = β/(β+ω/21) ,при N→∞
Демонстрация
|
Ширина матрицы |
Время выполнения (сек) |
|||||||
Сравнение теоретических оценок ускорения с практическими:
|
Ширина матрицы |
||||||
Характеристики машины: Intеl Core i7 920 @ 2.80GHz 2.00ГБ ОЗУ
латентность: a = 0,00005 cек
пропускная способность: b = 25,6 ГБ/с
время выполнения стандартной операции: t = 0,000000004912 сек
размер элемента набора: w = 4
Работу выполнили студенты группы 8411: Муравьев Владимир и Соловьев Павел
Digital signals processing
Кому неведомо всегдашнее несоответствие между тем, что человек ищет, и что находит?
Николло Макиавелли. Итальянский политик, историк. 1469-1527 г.
Когда имеешь дело с ориентировкой на середину – будь вдвойне осторожен. Социализм тоже претендовал на средний рай для всех, а на выходе получил убогую казарму.
Эрнст Трубов. Уральский геофизик. ХХ в.
Введение.
1. Медианная фильтрация одномерных сигналов. Принцип фильтрации. Одномерные фильтры. Подавление статистических шумов. Импульсные и точечные шумы. Перепад плюс шум. Ковариационные функции. Преобразование статистики шумов. Частотные свойства фильтра. Разновидности медианных фильтров. Достоинства медианных фильтров. Недостатки медианных фильтров.
2. Медианная фильтрация изображений. Шумы в изображениях. Двумерные фильтры. Адаптивные двумерные фильтры. Фильтры на основе ранговой статистики.
Медианные фильтры достаточно часто применяются на практике как средство предварительной обработки цифровых данных. Специфической особенностью фильтров явно выраженная избирательность по отношению к элементам массива, представляющим собой немонотонную составляющую последовательности чисел в пределах окна (апертуры) фильтра, и резко выделяющихся на фоне соседних отсчетов. В то же время на монотонную составляющую последовательности медианный фильтр не действует, оставляя её без изменений. Благодаря этой особенности, медианные фильтры при оптимально выбранной апертуре могут, например, сохранять без искажений резкие границы объектов, эффективно подавляя некоррелированные или слабо коррелированные помехи и малоразмерные детали. Это свойство позволяет применять медианную фильтрацию для устранения аномальных значений в массивах данных, уменьшения выбросов и импульсных помех. Характерной особенностью медианного фильтра является его нелинейность. Во многих случаях применение медианного фильтра оказывается более эффективным по сравнению с линейными фильтрами, поскольку процедуры линейной обработки являются оптимальными при равномерном или гауссовом распределении помех, что в реальных сигналах может быть далеко не так. В случаях, когда перепады значений сигналов велики по сравнению с дисперсией аддитивного белого шума, медианный фильтр дает меньшее значение среднеквадратической ошибки по сравнению с оптимальными линейными фильтрами. Особенно эффективным медианный фильтр оказывается при очистке сигналов от импульсных шумов при обработке изображений, акустических сигналов, передаче кодовых сигналов и т.п. Однако детальные исследования свойств медианных фильтров как средства фильтрации сигналов различного типа являются довольно редкими.
Принцип фильтрации. Медианы давно использовались и изучались в статистике как альтернатива средним арифметическим значениям отсчетов в оценке выборочных средних значений. Медианой числовой последовательности х 1 , х 2 , … , х n при нечетном n является средний по значению член ряда, получающегося при упорядочивании этой последовательности по возрастанию (или убыванию). Для четных n медиану обычно определяют как среднее арифметическое двух средних отсчетов упорядоченной последовательности.
Медианный фильтр представляет собой оконный фильтр, последовательно скользящий по массиву сигнала, и возвращающий на каждом шаге один из элементов, попавших в окно (апертуру) фильтра. Выходной сигнал y k скользящего медианного фильтра шириной 2n+1 для текущего отсчета k формируется из входного временного ряда …, x k -1 , x k , x k +1 ,… в соответствии с формулой:
y k = med(x k - n , x k - n +1 ,…, x k -1 , x k , x k +1 ,…, x k + n -1 , x k + n), (16.1.1)
где med(x 1 , …, x m , …, x 2n+1) = x n+1 , x m – элементы вариационного ряда, т.е. ранжированные в порядке возрастания значений x m: x 1 = min(x 1 , x 2 ,…, x 2n+1) ≤ x (2) ≤ x (3) ≤ … ≤ x 2n+1 = max(x 1 , x 2 ,…, x 2n+1).
Таким образом, медианная фильтрация осуществляет замену значений отсчетов в центре апертуры медианным значением исходных отсчетов внутри апертуры фильтра. На практике апертура фильтра для упрощения алгоритмов обработки данных, как правило, устанавливается с нечетным числом отсчетов, что и будет приниматься при рассмотрении в дальнейшем без дополнительных пояснений.
Одномерные фильтры. Медианная фильтрация реализуется в виде процедуры локальной обработки отсчетов в скользящем окне, которое включает определенное число отсчетов сигнала. Для каждого положения окна выделенные в нем отсчеты ранжируются по возрастанию или убыванию значений. Средний по своему положению отчет в ранжированном списке называется медианой рассматриваемой группы отсчетов. Этим отсчетом заменяется центральный отсчет в окне для обрабатываемого сигнала. В силу этого медианный фильтр относится к числу нелинейных фильтров, заменяющим медианным значением аномальные точки и выбросы независимо от их амплитудных значений, и является устойчивым по определению, способным аннулировать даже бесконечно большие отсчеты.
Алгоритм медианной фильтрации обладает явно выраженной избирательностью к элементам массива с немонотонной составляющей последовательности чисел в пределах апертуры и наиболее эффективно исключает из сигналов одиночные выбросы, отрицательные и положительные, попадающие на края ранжированного списка. С учетом ранжирования в списке медианные фильтры хорошо подавляют шумы и помехи, протяженность которых составляет менее половины окна. Стабильной точкой является последовательность (в одномерном случае) или массив (в двумерном случае), которые не изменяются при медианной фильтрации. В одномерном случае стабильными точками медианных фильтров являются "локально-монотонные" последовательности, которые медианный фильтр оставляет без изменений. Исключение составляют некоторые периодические двоичные последовательности.
Благодаря этой особенности, медианные фильтры при оптимально выбранной апертуре могут сохранять без искажений резкие границы объектов, подавляя некоррелированные и слабо коррелированные помехи и малоразмерные детали. При аналогичных условиях алгоритмы линейной фильтрации неизбежно «смазывает» резкие границы и контуры объектов. На рис. 16.1.1 приведен пример обработки сигнала с импульсными шумами медианным и треугольным фильтрами с одинаковыми размерами окна N=3. Преимущество медианного фильтра очевидно.
В качестве начальных и конечных условий фильтрации обычно принимаются концевые значения сигналов, либо медиана находится только для тех точек, которые вписываются в пределы апертуры.
Подавление статистических шумов медианными фильтрами в связи с их нелинейностью обычно рассматривается только на качественном уровне. Нельзя также четко разграничить влияние медианных фильтров на сигнал и шум.
Если значения элементов последовательности чисел {x i } в апертуре фильтра являются независимыми одинаково распределенными (НОР) случайными величинами со средним значением m
то математическое ожидание M{z} = 0 и, следовательно, M{x}=m.
Пусть F(x) и f(x)=F"(x) обозначают функции распределения и плотности вероятностей величин х. Согласно теории вероятностей, распределение у = med(х 1 , ... , х n) для больших n является приблизительно нормальным N(m t , n), где m t - теоретическая медиана, определяемая из условия F(m t) = 0.5, при этом дисперсия распределения:
n 2 = 1/(n 4f 2 (m t)). (16.1.2)
Приведенные результаты справедливы как для одномерной, так и для двумерной фильтрации, если n выбирать равным числу точек в апертуре фильтра. Если f(x) симметрична относительно m, то распределение медиан также будет симметрично относительно m и, таким образом, справедлива формула:
M{med(х 1 , ... , х n)} = M{x i } = m.
Если случайные величины х являются НОР и равномерно распределены на отрезке , то можно найти точное значение дисперсии медианы по формуле:
n 2 = 1/(4(n+2)) = 3 x /(n+2).
Если случайные величины х являются независимыми, одинаково распределенными с нормальным распределением N(m, ), то m t = m. Модифицированная формула дисперсии медианы для малых нечетных значений n:
g 2 /(2n-2+). (16.1.2")
Значение дисперсии шумов для случайных величин в скользящем n-окне арифметического усреднения (фильтр МНК первого порядка) имеет значение 2 /n. Это означает, что для нормального белого шума при равных значениях n окон медианного фильтра и фильтра скользящего усреднения, дисперсия шумов на выходе медианного фильтра приблизительно на 57% больше, чем у фильтра скользящего среднего. Чтобы медианный фильтр давал ту же дисперсию, что и скользящее усреднение, его апертура должна быть на 57% больше. При этом следует иметь в виду, что искажение полезных сигналов, особенно при наличии в них скачков и крутых перепадов, даже при большей апертуре медианного фильтра может оказаться меньше, чем у фильтров скользящего среднего.
Положение изменяется, если плотность распределения случайных величин существенно отличается от нормального и имеет длинные хвосты, которые и ликвидируются медианным фильтром, что обеспечивает оптимальную и наиболее правдоподобную оценку текущих значений сигнала по минимуму среднеквадратического приближения. Так, при экспоненциальном (по модулю) распределении плотности шумов
f(x) = (
/
exp(-
|x-m|
/)
дисперсия шумов после медианного фильтра на 50% меньше, чем после фильтра скользящего среднего.
Предельным случаем таких распределений является импульсный шум, случайный по амплитудам и месту появления, который и подавляется медианными фильтрами с наибольшей эффективностью.
Импульсные
и точечные шумы
.
При
регистрации, обработке и обмене данными
в современных измерительно-вычислительных
и информационных системах потоки
сигналов кроме полезного сигнала s(t- 0)
и флуктуационных шумов q(t) содержат,
как правило, импульсные потоки
g(t)=
(t- k) различной
интенсивности с регулярной или хаотической
структурой
x(t) = s(t- 0) + g(t) + q(t). (16.1.3)
Под импульсным шумом понимается искажение сигналов большими импульсными выбросами произвольной полярности и малой длительности. Причиной появления импульсных потоков могут быть как внешние импульсные электромагнитные помехи, так и наводки, сбои и помехи в работе самих систем. Совокупность статистически распределенного шума и потока квазидетерминированных импульсов представляет собой комбинированную помеху. Радикальный метод борьбы с комбинированной помехой - применение помехоустойчивых кодов. Однако это приводит к снижению скорости и усложнению систем приемо-передачи данных. Простым, но достаточно эффективным альтернативным методом очистки сигналов в таких условиях является двухэтапный алгоритм обработки сигналов x(t), где на первом этапе производится устранение из потока x(t) шумовых импульсов, а на втором – очистка сигнала частотными фильтрами от статистических шумов.Для сигналов, искаженных действием импульсных шумов, отсутствует строгая в математическом смысле постановка и решение задачи фильтрации. Известны лишь эвристические алгоритмы, наиболее приемлемым из которых является алгоритм медианной фильтрации.
Допустим, что шум q(t) представляет собой статистический процесс с нулевым математическим ожиданием, полезный сигнал s(t- 0) имеет неизвестное временное положение 0 , а поток шумовых импульсов g(t) имеет вид:
g(t)
=
k
a k
g(t- k),
(16.1.4)
где a k - амплитуда импульсов в потоке, k - неизвестное временное положение импульсов, k =1 с вероятностью p k и k =0 с вероятностью 1-p k . Такое задание импульсной помехи соответствует потоку Бернулли /44/.
При применении к потоку x(t) скользящей медианной фильтрации с окном N отсчетов (N – нечетное) медианный фильтр полностью устраняет одиночные импульсы, удаленные друг от друга минимум на половину апертуры фильтра, и подавляет импульсные помехи, если количество импульсов в пределах апертуры не превосходит (N-1)/2. В этом случае, при p k = p для всех импульсов помехи, вероятность подавления помех может быть определена по выражению /3i/:
R(p)
=
p m (1-p) N - p .
(16.1.5)
Если вероятность ошибки не очень велика, то медианная фильтрация даже с достаточно малой апертурой значительно уменьшит число ошибок. Эффективность исключения шумовых импульсов повышается с увеличением апертуры фильтра, но одновременно может увеличиваться и искажение полезного сигнала.
Перепад плюс шум. Рассмотрим фильтрацию перепадов при наличии аддитивного белого шума, т. е. фильтрацию последовательностей, или изображений, с
На рис. 16.1.4 показана последовательность значений математического ожидания медиан и скользящего среднего вблизи перепада высотой h = 5 при n = 3. Значения скользящего среднего следуют по наклонной линии, что свидетельствует о смазывании перепада. Поведение математического ожидания значений медианы также свидетельствует о некотором смазывании, хотя в гораздо меньше, чем для скользящего среднего.
Если воспользоваться мерой среднеквадратичной ошибки (СКО), усредненной по N точкам вблизи перепада, и вычислить значения СКО в зависимости от значений h, то нетрудно зафиксировать, что при малых значениях h<2 СКО для скользящего среднего немного меньше, чем для медианы, но при h>3 СКО медианы значительно меньше, чем СКО среднего. Этот результат показывает, что скользящая медиана значительно лучше, чем скользящее среднее, для перепадов большой высоты. Похожие результаты можно получить и для апертуры n=5, и для двумерной фильтрации с апертурами 3x3 и 5x5. Таким образом, математические ожидания медианы для малых h близки к математическим ожиданиям для соответствующих средних, но для больших h они асимптотически ограничены. Объясняется это тем, что при больших h (скажем, h>4) переменные х со средним значением 0 (для данного примера) будут резко отделены от переменных х со средним h.
Использованная мера точности может характеризовать только резкость поперек перепада и ничего не говорит о гладкости фильтрованного изображения вдоль перепада. Скользящее усреднение дает сигналы, гладкие вдоль перепада, тогда как при обработке с помощью медианным фильтром протяженные перепады оказываются слегка изрезанными.
Ковариационные функции при белом шуме на входе. Нормализованные функции автокорреляции выходных сигналов медианных и усредняющих фильтров подобны друг другу. Сходство функций корреляции до некоторой степени объясняется относительно высокой корреляцией между медианой и средним, которая достигает 0.8 при больших n.
Приближенная формула функции автоковариации для последовательности, подвергнутой медианной фильтрации определяется выражением:
K()
= 2 /(n+(/2)-1))
(1-|j|/n)
arcsin((j+)).
(16.1.6)
Скользящая медиана почти не сглаживает процессы, ведущие себя на больших интервалах, как функции вида x i = (-1) i y. В самом деле, форма входной последовательности x i = (-1) i y, будет оставлена медианным фильтром без изменений, хотя для некоторых значений n она сдвинется на один шаг. Скользящее усреднение оказывает большое сглаживающее действие на подобный процесс, так как регулярные флуктуации значений х полностью уничтожаются. В целом можно ожидать, что приближенные формулы ковариационных функций скользящих медиан будут полезны только для последовательностей, на которые медианные фильтры действуют так же, как и скользящее усреднение. В случае с сильно осциллирующими последовательностями и последовательностями перепадов большой пользы от них ждать не следует.
Преобразование статистики шумов. Медианная фильтрация является нелинейной операцией над входным процессом, которая наряду с исключением импульсных помех изменяет и распределение статистических шумов q(t), что может быть нежелательным для построения последующих фильтров. Аналитический расчет преобразования статистики шумов затруднителен из-за слабой разработанности соответствующего математического аппарата.
Рис. 16.1.5. Гистограммы шумовых сигналов.
На рис. 16.1.5 приведены примеры медианной фильтрации модельных шумовых сигналов с гауссовым и равномерным распределением при различной ширине окна фильтра. Как следует из этих графиков, при фильтрации происходит преимущественное подавление шумовых сигналов с большими отклонениями отсчетов от среднего значения с уменьшением стандарта (СКО - среднеквадратического отклонения) распределения. Уменьшение стандарта тем больше, чем больше окно фильтра. Этим же определяется и преобразование формы распределения выходного равномерного шума (а равно и других распределений шумов) к гауссовой по мере увеличения размера окна фильтра.
Уменьшение количества больших шумовых отклонений от среднего значения шума приводит также к изменению спектра шума и к определенному подавлению его высокочастотных составляющих, которых больше в "хвостах" шумовых распределений. Это можно видеть на рис. 16.1.7 на спектрах плотности мощности входного и выходного сигналов.
Частотные свойства фильтра . Для описания линейных фильтров используют импульсную реакцию на единичный импульс, на ступенчатую функцию, и частотные передаточные функции в главном частотном диапазоне. Так как медианный фильтр ликвидирует единичные импульсы и сохраняет перепады, то можно говорить, что импульсная реакция фильтра равна нулю, а отклик на ступенчатую функцию равен 1. Что касается частотной характеристики фильтра, то, в силу нелинейности фильтра, ее нельзя представить какой-либо детерминированной функцией апертуры и частоты. В какой-то мере можно говорить о реакции фильтра на косинусоидальные функции, которая также существенно различается для низких и высоких частот главного частотного диапазона и фазы гармоник в апертуре фильтра, что можно видеть на рис. 16.1.9.
Рис.
16.1.9.
Как показывает моделирование, для низких частот, когда период гармоники много больше окна апертуры фильтров, скользящая медиана и скользящее среднее имеют сходные характеристики, коэффициент передачи К п однотональных сигналов равен 1. По мере роста частоты гармоники и в зависимости от фазы сигнала в апертуре фильтра начинается искажение сигнала на экстремальных значениях (занижение экстремальных значений), и значение К п начинает уменьшаться. Когда значение апертуры медианного фильтра становится соизмеримым с периодом сигнала, в спектре выходного сигнала появляются "ложные" гармоники, вызванные интерференцией частоты входного сигнала с частотой его дискретизации (нижние графики на рисунке 16.1.9).
Рис. 16.1.10. Медианная фильтрация многотональных сигналов
Для многотональных входных сигналов начинается также интерференция частот гармоник между собой, что приводит к появлению многочисленных ложных высокочастотных гармоник (верхние графики на рис. 16.1.10), а при наличии во входном сигнале высокочастотных гармоник искажаются также и коэффициенты передачи низкочастотных гармоник (нижние графики на рисунке), т.е. частотные отклики для одиночных гармонических функций не соответствуют передаточным характеристикам для произвольных сигналов, являющихся суммой косинусоидальных функций, т.к. передаточные функции становятся резко нерегулярными в силу интерференции разных частот.Картина частотной интерференции зависит также от фазы гармоник, что усиливает нерегулярность конечных результатов и наглядно видна на рис. 16.1.11 при различных случайных реализациях фазы гармоник. При увеличении размеров апертуры фильтров нерегулярность передачи фильтров увеличивается.
Рис. 16.1.11.
Разновидности медианных фильтров.Взвешенно-медианные фильтры применяют, если желательно придать больший вес центральным точкам. Это достигается путем повторения k i раз каждого набора отсчетов в апертуре фильтра. Так, например, при n=3 и k -1 =k 1 =2, k 0 =3 вычисление взвешенной медианы входного числового ряда производится по формуле:
y i = med (x i - 1 , x i - 1 , x 0 , x 0 , x 0 , x 1 , x 1).
Такая растянутая последовательность также сохраняет перепады сигнала и в определенных условиях позволяет увеличить подавление дисперсии статистических шумов в сигнале. Ни один из весовых коэффициентов k i не должен быть значительно больше всех других.
Итерационные медианные фильтры выполняются последовательным повторением медианной фильтрации. Если апертура единичной медианной фильтрации сохраняет перепады в сигнале, то они сохраняются при итеративном применении фильтра вплоть до тех пор, пока не прекратятся изменения в фильтруемом сигнале, при этом конечный результат существенно отличается от итеративного применения скользящего среднего, где в пределе получается постоянная числовая последовательность. При использовании итерационных фильтров можно изменять апертуру фильтра при каждом шаге итерации.
Достоинства медианных фильтров.
Простая структура фильтра, как для аппаратной, так и для программной реализации.
Фильтр не изменяет ступенчатые и пилообразные функции.
Фильтр хорошо подавляет одиночные импульсные помехи и случайные шумовые выбросы отсчетов.
Недостатки медианных фильтров.
Медианная фильтрация нелинейна, так как медиана суммы двух произвольных последовательностей не равна сумме их медиан, что в ряде случаев может усложнять математический анализ сигналов.
Фильтр вызывает уплощение вершин треугольных функций.
Подавление белого и гауссового шума менее эффективно, чем у линейных фильтров. Слабая эффективность наблюдается также при фильтрации флюктуационного шума.
При увеличении размеров окна фильтра происходит размытие крутых изменений сигнала и скачков.
Недостатки метода можно уменьшить, если применять медианную фильтрацию с адаптивным изменением размера окна фильтра в зависимости от динамики сигнала и характера шумов (адаптивная медианная фильтрация). В качестве критерия размера окна можно использовать, например, величину отклонения значений соседних отсчетов относительно центрального ранжированного отсчета /1i/. При уменьшении этой величины ниже определенного порога размер окна увеличивается.
