Работа с растровыми изображениями

[Губанов Сергей Юрьевич]

Увлёкся задачкой удаления шумов с фотографии, написал программку... экспериментирую. Получается не хуже чем в фотошопе. Алгоритмы бывают медленные, надо ждать ответа несколько минут. Когда много экспериментируешь, чуть изменяешь параметры, снова запускаешь, то ждать так много как бы не очень хочется. Понятно, что можно распараллелить на несколько ядер, но это даст ускорение всего в четыре раза (у меня 4 ядра). Да и не факт, что в 4, так как основной затык в памяти.

Программа скачет по большущему двумерному массиву вещественных чисел, который в кэш процессора, конечно же, целиком не помещается. То есть куча времени тратится на загрузку данных из памяти в процессор.

Если я разобью большой двумерный массив на много маленьких двумерных массивчиков (например 256 * 256), то каждый из них в кэш процессора будет убираться целиком и работа теоретически пойдёт "со скоростью света".

Латентность кэша:
L1 1 ns
L2 3 ns
L3 3.8 ns

Латентность хорошей памяти 1866 МГц где-то от 40 ns (у моей хуже, моя 1600 МГц).

Вот думаю, оно правда на одном ядре сразу же раз в десять-пятнадцать быстрее будет?  Стоит ли связываться...

[valexey_u]

Немного не в тему, но из вот этой лекции/доклада, я вынес что в случае работы с графикой следует избавляться от ветвлений (ибо любой if существенно тормозит работу - ошибки предсказания и так далее появляются).

Ну и вообще лекция весьма познавательная была (пожалел что не успел к началу лекции тогда).

[igor]

Если я разобью большой двумерный массив на много маленьких двумерных массивчиков (например 256 * 256), то каждый из них в кэш процессора будет убираться целиком и работа теоретически пойдёт "со скоростью света".

А не возникнут ли при этом сложности с обработкой изображения на стыках этих массивчиков?

[Губанов Сергей Юрьевич]

А не возникнут ли при этом сложности с обработкой изображения на стыках этих массивчиков?

Сложности возникнут, поэтому и думаю стоит ли овчинка выделки...

Для борьбы с граничными сложностями можно, например, область 200 * 200 с исходного изображения взять с запасом в 25 пикселей по периметру, получим квадратик 250 * 250. Можно будет использовать алгоритмы, которые на 25 пикселей заглядывают "за границу". После обработки собрать изображение обратно беря из каждого квадратика 250 * 250  область 200 * 200 из середины. Особого перерасхода в вычислениях тут не будет ведь бегая по квадратику 250*250 вычисления-то будем делать только для центральных 200*200 пикселей, а в боковые только заглядывать.

[Губанов Сергей Юрьевич]

Ларчик открывался просто. Погонял свою программу на маленьких картинках. Зависимость времени работы алгоритма от количества пикселей картинки оказалась линейная начиная от размеров картинки 100*100 пикселей. Картинка размером 50*50 пикселей обрабатывалась совсем чуток быстрее чем должна бы если продолжить линейную зависимость в область малых размеров изображения. Короче, разбивка большой картинки на много маленьких выгоды в производительности не даёт.

[valexey_u]

Ларчик открывался просто. Погонял свою программу на маленьких картинках. Зависимость времени работы алгоритма от количества пикселей картинки оказалась линейная начиная от размеров картинки 100*100 пикселей. Картинка размером 50*50 пикселей обрабатывалась совсем чуток быстрее чем должна бы если продолжить линейную зависимость в область малых размеров изображения. Короче, разбивка большой картинки на много маленьких выгоды в производительности не даёт.

Уточнение - на твоем алгоритме (и даже реализации алгоритма).

[Губанов Сергей Юрьевич]

На моём алгоритме затыка по мамяти точно нет. Разбил на три потока (по каналам: красный, зелёный, синий), ускорилось почти в три раза.

[valexey_u]

На моём алгоритме затыка по мамяти точно нет. Разбил на три потока (по каналам: красный, зелёный, синий), ускорилось почти в три раза.

Возможно поэтому при переносе в кэш и не было ускорения на порядок?

[Губанов Сергей Юрьевич]

Возможно поэтому при переносе в кэш и не было ускорения на порядок?

Конечно по этому. Но я этого тогда не знал. Я думал память работает более медленно.

[Губанов Сергей Юрьевич]

Век живи - век учись. Я чуть со стула не упал, гляньте оказывается что можно делать:

ImageDeconvolve Restore a blurred image
http://reference.wolfram.com/mathematica/ref/ImageDeconvolve.html

Спросил у коллеги-программиста в прошлом физика (он закончил Физфак кафедру Информационных технологий), да говорит, им на лекциях это читали. У оператора "расфокусировки" существует (примерно) обратный оператор. Применив его к расфокусированному изображению можно (примерно) получить исходное.

[valexey_u]

Век живи - век учись. Я чуть со стула не упал, гляньте оказывается что можно делать:

ImageDeconvolve Restore a blurred image
http://reference.wolfram.com/mathematica/ref/ImageDeconvolve.html

Спросил у коллеги-программиста в прошлом физика (он закончил Физфак кафедру Информационных технологий), да говорит, им на лекциях это читали. У оператора "расфокусировки" существует (примерно) обратный оператор. Применив его к расфокусированному изображению можно (примерно) получить исходное.

Вот это ж ни фига себе! Ну, то есть я подозревал что такое возможно, но впервые это вижу живьем.

А это именно расфокусировку (то есть оптическую), или же какой-то из блюров "отменяет" (блюры они же разные бывают)?

[Губанов Сергей Юрьевич]

Типа да, моделирует расфокусировку оптическую в линзах.

Ещё моделируют расфокусировку на слабых облаках (это нужно когда из космоса фотографируют наземный объект скрытый облаками).

Конечно если абы каким блюром картинку загадишь, то назад уже не вернёшь.

[igor]

У оператора "расфокусировки" существует (примерно) обратный оператор. Применив его к расфокусированному изображению можно (примерно) получить исходное.

Интересно. Выходит, что расфокусированое изображение содержит почти столько же информации, сколько сфокусированное. Довольно неожиданно. (Тогда, в принципе, некоторые старые фотки можно повосстанавливать  )

[vlad]

Интересно. Выходит, что расфокусированое изображение содержит почти столько же информации, сколько сфокусированное. Довольно неожиданно.

Угу. А я всегда плевался, когда в каком-нибудь шпионском фильме "улучшали картинку" простым нажатием кнопки

[igor]

А я помню как в одном научно-популярном фильме астроном (женщина) рассказывала, что они улучшали снимки участков звёздного неба. Правда там речь шла не о расфокусировке, а о влиянии атмосферы. Она даже привела пример: "Как если бы вы смотрели на камушки на дне пруда через рябь на поверхности воды". Они делают много фотографий одного и того же участка неба, на которых ни фига не разобрать, затем обрабатывают их на компьютере, и получают снимок довольно сносного качества.