|
Nicolas Bonnier and Eero P. Simoncelli
Center for Neural Science, and Courant Institute for Mathematical Sciences,
New York University, New York, NY 10003
СОДЕРЖАНИЕ
Введение
Предварительная обработка
- Уравнивание локального контраста
- Компенсирующее регулирование локального среднего
- Пространственная маскировка особенностей
Заключение
По существу, все устройства, используемые для захвата или воспроизводства визуальных изображений неспособно к представлению полного диапазона интенсивностей, найденного в визуальном мире. Проектируемые устройства часто решают эту проблему, сжимая или усекая диапазон интенсивности. Например, процесс экспозиции фильма, проявки и печати воспроизводит интенсивности свет согласно сигмоидальной функции, которая сжимает контраст низких и высоких значений интенсивности. Другие решения включают обрезку, гамма (экспоненциальную) коррекцию, и выравнивание гистограммы. В течение любого такого процесса области сцены с уменьшенным контрастом могут стать трудно- или невидимыми.
Человеческая визуальная система также использует датчики с ограниченным диапазоном реакции. Она выполняет большую регуляцию, чтобы приспособить диапазон интенсивности (например, регулируя размер радужной оболочки). Возможно, что еще более важно она использует пространственно – адаптивную обработку, чтобы "видеть" детали во всех местоположениях в пределах изображения. Хотя эти адаптивные биологические процессы полностью еще не поняты, ясно, что цифровая обработка изображения предлагает гибкость, чтобы осуществить такие решения, и многие методы начали использовать преимущества таких принципов.
В этой статье, мы описываем методологию для того, чтобы адаптивно регулировать контраст в пределах цифрового изображения, не вводя видимые артефакты или расширяя полный диапазон интенсивности изображения. Изображение разделено на множество полос частоты, и коэффициенты в каждой полосе изменены, используя нелинейную "гамма" операцию, которая перемещает их локальную среднюю величину к целевому значению. Метод может быть применен к обычному цифровому изображению, чтобы увеличить видимость особенностей, которые могли бы иначе быть потеряны при отображении. Это также уместно для обработки изображений с высоко-динамическим диапазоном, чтобы сделать их более видимыми на дисплее с низко-динамическим диапазоном.
Мы начинаем с предварительной обработки значения пикселей изображения, чтобы они представили интенсивность регистрации света. Этот вид обработки примерно подражает преобразованию, достигаемому сетчаткой, и был изучен множеством авторов. Тестовые изображения используемые для демонстрации метода показаны на рисунке 1.
Рисунок 1. Тестовые изображения. Слева: горизонтальная часть тестового изображения, состоящего из вертикальных краев шага. Справа: фотографическое изображение, взятое от 12-битового цифрового фотоаппарата Canon 10D
Многие авторы отстаивают использование многошкального представления контрастного регулирования. Мы анализируем наши изображения, используя управляемую пирамиду, многошкальное представление подполос, основные функции которых - производные радиальной функции размывания. Для этой статьи, мы используем комплексно - оценочную версию этого разложения, с двумя полосами ориентации (вертикальной и горизонтальной).
Метод повышения осуществлен итерационным способом «от грубого – к – точному». Для каждого шага, мы работаем на подполосе, такой же, как остаток нижних частот, который получено восстановлением всех подполос на более низких частотах. Коэффициенты этого остатка нижних частот полосы представляют локальное среднее из изображения, и коэффициенты подполос представляют изменения около этого среднего. Процедура повышения - комбинация трех основных операций, которые описаны в следующих разделах.
Возможно самое простое средство усиления контраста состоит в том, чтобы линейно повысить высокие частоты (известный как "неострая маскировка" в фотографической литературе). В пределах многошкальной пирамиды, это может быть достигнуто, умножением коэффициентов в каждой подполосе на скаляр, значение которого больше для полос более высокой частоты. Призывая к его простоте, это решение не удовлетворительно, потому что высоко контрастные и низко контрастные детали повышаются одинаково. Вообще, контраст изменяется широко по типичному изображению, и первичная цель нашего метода состоит в том, чтобы уменьшить это изменение, повышая контраст в тех областях, где он низкий или умеренный, и оставляя его неизменным в областях, где он высокий.
Мы используем нелинейную операцию, чтобы повысить контраст выборочно. Для каждой подполосы, локальная контрастная мера получена на основе средней локальной величины коэффициентов подполосы:
где g - фильтр размывания изображения (Гауссовский, со стандартным отклонением пяти образцов), и b представляет комплекс коэффициентов подполосы. Контраст обычно определяется как отношение изменения сигнала к среднему значению сигнала. Здесь мы используем только силу сигнала, потому что начальное представление области регистрации уже неявно взяло среднее значение во внимание.
Чтобы уменьшать изменение контраста по изображению, каждый коэффициент повышают согласно силе локального контраста сигнала:
b'(x,y) =m(x,y)b(x,y),
где b(x,y) – первоначальный коэффициент, b'(x,y) – обновленный коэффициент, и
Параметр y E [0,1) определяет силу эффекта (маленькая гамма производит большой эффект, и y =1 не производит никакого эффекта), и параметр e (установлено значение 0.01 в наших экспериментах) предотвращает увеличение шума в областях низкого сигнала. Цель контрастирования tc, представляет уровень контраста, к которому c двигается, и под которым описывается.
Этот тип "гамма" регулирования широко используется в области интенсивности, чтобы дать компенсацию нелинейности устройств таких, как электронно-лучевые трубки. Специфическая версия, используемая здесь подтолкнет все контрасты к целевому контрасту, производя пропорционально большее изменение в тех значениях, которые являются далекими от цели чем в тех, которые рядом. Переписанное в области регистрации, это регулирование соответствует взвешенному среднему первоначального контраста и целевого контраста, с весом, определенным y.
Простой выбор целевого контраста tc - глобальный максимум контраста подполосы. В качестве альтернативы, можно одновременно выбирать tc среди всех полос пирамиды, чтобы достигнуть специфической спектральной формы. С тех пор как спектры Фурье естественных изображений показаны многими авторами для отслеживания закона энергии с образцом примерно - 2, мы выбираем ряд целевых контрастов, которые попадают по этой норме с масштабом.
Рисунок 2 показывает результаты этой процедуры повышения, примененной к тестовому изображению, содержащему края шага, так же как 12-битовое линеаризованное цифровое изображение камеры.
Рисунок 2. Результаты повышения, вычисленные, применяя "гамма" регулирование (y = 0.5) к контрасту каждой подполосы управляемой пирамиды с двумя ориентациями. Первоначальные тестовые изображения показаны на рисунке 1.
В областях с очень низкой или высокой интенсивностью, увеличение коэффициентов подполосы может привести к расширению в полном диапазоне интенсивности пикселя. Эти экстремальные значения в таком случае должны быть обрезаны, таким образом частично устраняя эффект контрастного повышения. Обрезки можно избежать, глобально регулируя значение пикселя, но имеется тенденция к понижению глобального контраста.
Наше решение для этой проблемы снова адаптивно. Для тех местоположений, подвергающихся существенному повышению и имеющих очень низкое (или высокое) локальное среднее, мы регулируем сигнал низких частот, перемещая его к глобальному среднему:
где c'(x,y) - контраст измененных коэффициентов. Результат этой операции показан на рисунке 3. Отметьте увеличенный контраст деталей в теневой области на левой стороне фотографического изображения.
Интересно рассмотреть это регулирование в случае, когда c(x,y) постоянна. При этих гомогенных контрастных условиях, m(x, y) постоянна, и регулирование низких частот зависит только непосредственно от величины коэффициентов низких частот. Получающаяся функция - приближенно сигмоидальная нелинейность, которую обычно используют, чтобы сжать весь динамический диапазон фотопленки.
Два понятия, описанные выше, производят желательное увеличение на видимом локальном контрасте в изображении. Мы находим, однако, что равная модификация энергии на двух коэффициентах с идентичными значениями в различных частях изображения не воспринята как равная, если окружение их коэффициент отлично. Это - "маскирующий" эффект, и это наводит на мысль, чтобы мы должны приспособить модификацию данного коэффициента согласно его пространственному окружению. Кроме того, мы также находим, что метод производит «звон» или артефакты ореола около сильных краев, особенно если они смежны с плоскими областями (см. рисунки 2 и 3). Это из – за размеров пространственных фильтров, используемых в разложении пирамиды, и из – за того, что каждый из коэффициентов, которые вносят свой вклад в представление этих краев, повышается по-разному. Недавняя работа, демонстрирующая высокий динамический диапазон изображений устраняет такие артефакты, используя трудоемкие нелинейные фильтры для генерации полосы низких частот. Здесь, мы предпочитаем развивать решение, которое работает на линейном представлении пирамиды.
И маскировка и проблемы ореола могут быть преодолены, при помощи пространственного маскирования повышений так, чтобы они были применены прежде всего в непосредственной близости деталей изображения. Определенно, мы вычисляем "маску детали", беря средний из контраста регистрации среди всех полос пирамиды в каждом пространственном местоположении.
Эта маска нормализована, чтобы иметь максимальное значение одного. Наконец, изображение результата вычислено, беря среднее первоначального изображения и расширенного изображения пирамиды, взвешенного этой маской детали:
r(x,y) = f(x,y)I'(x,y) + [1 - f(x,y)]I(x,y),
где I'(x, y) - расширенное изображение, которое получено из восстановленной пирамиды, и I(x, y) - первоначального изображения. Результат из полного алгоритма показывается на двух примерах на рисунке 4.
Мы описали простой мультишкальный алгоритм, чтобы увеличить видимость локальных деталей в изображении. Метод, основаный на гамма - коррекции амплитуд коэффициентов в мультишкальном разложении, подобен предложенному несколькими другими авторами. Кроме того, мы регулируем локальное среднее (остаток низких частот) в тех местоположениях, где это является экстремальным, и изменения в коэффициентах подполосы привели бы к значениям пикселя, превышающим первоначальный диапазон. Наконец, мы применяем изменения только в областях, связанных с обозначенным локальным контрастом. Мы демонстрировали поведение метода на двух изображениях примера, и хотя это кажется многообещающим, намного более обширный набор тестов на широком разнообразии изображений необходим для надлежащего утверждения.
Мы предполагаем множество усовершенствований и расширений к этому подходу. Развитие алгоритма с помощью трех отдельных операций концептуально удобно, но трудно гарантировать, что эти операции будут вести себя совместимо для всех изображений. Мы полагаем, что должно быть возможно объединить регуляторы в единственную объединенную операцию. Наконец, мы видим повышение контрастности как часть более общей структуры для автоматического усовершенствования качества изображения, с полным решением, потенциально увеличивающим четкость изображения, удалением шума, и цветовым балансом.
Рисунок 3. Результаты повышения, вычисленные, применяя "гамма" коррекцию контраста каждой подполосы, и компенсационное регулирование полосы низких частот. Первоначальные тестовые изображения показаны на рисунке 1.
Рисунок 4. Результаты повышения, вычисленные из полного алгоритма, который включает "гамма" коррекцию контраста каждой подполосы, компенсационное регулирование полосы низких частот, и маски детали в области пикселя.
|
Мой e-mail: iluhin@sktel.com.ua