Системы компьютерного зрения

Реализация систем компьютерного зрения сильно зависит от области их применения. Некоторые системы являются автономными и решают специфические проблемы детектирования и измерения, тогда как другие системы составляют под-системы более крупных систем, которые, например, могут содержать подсистемы контроля за механическими манипуляторами, планирования, информационные базы данных, интерфейсы человек-машина и т. д. Реализация систем компьютерного зрения также зависит от того, является ли её функциональность заранее определённой или некоторые её части могут быть изучены и модифицированы в процессе работы. Однако, существуют функции, типичные для многих систем компьютерного зрения.

• Получение изображений: цифровые изображения получаются от одного или нескольких датчиков изображения, которые помимо различных типов светочувствительных камер включают датчики расстояния, радары, ультразвуковые камеры и т. д. В зависимости от типа датчика, получающиеся данные могут быть обычным 2D изображением, 3D изображением или последовательностью изображений. Значения пикселей обычно соответствуют интенсивности света в одной или нескольких спектральных полосах (цветные или изображения в оттенках серого), но могут быть связаны с различными физическими измерениями, такими как глубина, поглощение или отражение звуковых или электромагнитных волн, или ядерным магнитным резонансом.
• Предварительная обработка: перед тем, как методы компьютерного зрения могут быть применены к видеоданным с тем, чтобы извлечь определённую долю информации, необходимо обработать видеоданные, с тем чтобы они удовлетворяли некоторым условиям, в зависимости от используемого метода. Примерами являются:
• Повторная выборка с тем, чтобы убедиться, что координатная система изображения верна
• Удаление шума с тем, чтобы удалить искажения, вносимые датчиком
• Улучшение контрастности, для того, чтобы нужная информация могла быть обнаружена
• Масштабирование для лучшего различения структур на изображении
• Выделение деталей: детали изображения различного уровня сложности выделяются из видеоданных. Типичными примерами таких деталей являются:
• Линии, границы и кромки
• Локализованные точки интереса, такие как углы, капли или точки: более сложные детали могут относиться к структуре, форме или движению.
• Детектирование/Сегментация: на определённом этапе обработки принимается решение о том, какие точки или участки изображения являются важными для дальнейшей обработки. Примерами являются:
• Выделение определённого набора интересующих точек
• Сегментация одного или нескольких участков изображения, которые содержат характерный объект
• Высокоуровневая обработка: на этом шаге входные данные обычно представляют небольшой набор данных, например набор точек или участок изображения, в котором предположительно находится определённый объект. Примерами являются:
• Проверка того, что данные удовлетворяют условиям, зависящим от метода и применения
• Оценка характерных параметров, таких как положение или размер объекта
• Классификация обнаруженного объекта по различным категориям

КОИ

Цифровое представление графической информации. Источники оцифрованных изображений. Оцифровка аналоговых изображений. Дискретизация и квантование. Примеры источников оцифрованных изображений.

В технике идет переход на цифровые методы обработки информации. Это связано с тем, что цифровую информацию легче хранить и передавать по современным линиям связи практически без потерь.

Встречаются 3 типа цифровых графических изображений: растровый, векторный и фрактальный. Они могут быть как сразу созданы на компьютере, так и оцифрованные.

Оцифровка – это описание аналогового объекта, изображения или аудио/видеосигнала в виде набора дискретных цифровых замеров этого сигнала или объекта при помощи той или иной аппаратуры, т.е. перевод его в цифровой вид, пригодный для записи на электронные носители.

Перевод изображения в электронную форму так же называют оцифровкой. В наше время для этой операции используют, главным образом, цифровые фотоаппараты (ЦФК) и сканеры. Цифровые фотоаппараты, если абстрагироваться от второстепенных деталей, основанные на одном принципе действия (рассмотрен подробнее далее). Сканеры имеют множество технических реализаций, различающихся между собой конструкторским исполнением, областью применения, типом обрабатываемых оригиналов и пр. Ручные сканеры, планшетные сканеры, барабанные сканеры, слайд-сканеры, высокопроизводительные полуавтоматические приборы считывания - далеко не полный перечень типов таких устройств оцифровки.

1. ЦФК имеет систему линз, диафрагму и затвор, как и аналоговый фотоаппарат. Но вместо плёнки у цифровой камеры матрица (сенсор). **Вообще, световые лучи ведут себя одинаково и в цифровом, и в аналоговом фотоаппарате, но только до момента попадания на «приёмник» - поверхность матрицы в одном случае или плёнки в другом. И если в этот момент аналоговая камера «заморозила» изображение на плёнке, то цифровая далее обрабатывает его и сохраняет в цифровом формате**. Так как основным элементом любой цифровой фотокамеры является матрица, именно от её характеристик зависит, качество изображения.

**В современных цифровых фотоаппаратах наиболее распространены ПЗС-матрицы**.

Сама матрица состоит из множества светочувствительных элементов - пикселей. Для того чтобы получить цветные фото, перед элементами матрицы устанавливаются светофильтры. После того, как определённый цвет попал на матрицу, она подаёт сигнал процессору ЦФК. Нетрудно понять, что на самой матрице изображение не формируется, она лишь звено для передачи информации, хоть и является важнейшей частью фотокамеры. И далее уже процессор обрабатывает полученную информацию, затем пишет её в память. **При обработке некоторые данные неизбежно теряются, поэтому впоследствии изображение восстанавливается с помощью программного обеспечения**.

Как видим, фотография, полученная цифровым фотоаппаратом – это сочетание работы матрицы, процессора и флеш-памяти.

**Давайте подробнее разберёмся, что же представляет собой сердце цифровой камеры, ПЗС (прибор с зарядовой сетью, или по-английски CCD – Charge Couped Device).

Такая матрица - полупроводниковая пластинка, состоит из большого количества светочувствительных диодов. Хотя сама матрица размером с ноготь, она содержит несколько миллионов пикселей, расположенных в виде строк и столбцов. Элементы ПЗС-матрицы реагируют на свет абсолютно одинаково, следовательно, при фотографировании можно получить лишь чёрно-белую картинку. Для того чтобы снимок был цветным, диодам нужно придать разную цветочувствительность. Это достигается с помощью различных цветовых фильтров – в основном красного, жёлтого и зелёного. Кроме этого, освещенность может быть разной интенсивности, она делится на 256 уровней. Таким образом, число всевозможных комбинаций цветов составляет почти 17 миллионов вариантов. Благодаря этому и получается наиболее реалистичное изображение, которое мы в итоге видим на дисплее.**

2. Сканер— устройство, которое создаёт цифровое изображение сканируемого объекта.**Полученное изображение может быть сохранено как графический файл, или, если оригинал содержал текст, распознано посредством программы распознавания текста и сохранено как текстовый файл**.

Рассмотрим принцип действия планшетных сканеров, как наиболее распространённых моделей. Сканируемый объект кладётся на стекло планшета сканируемой поверхностью вниз. Под стеклом располагается подвижная лампа, движение которой регулируется шаговым двигателем.

Свет, отражённый от объекта, через систему зеркал попадает на чувствительную матрицу, далее на АЦП и передаётся в компьютер. За каждый шаг двигателя сканируется полоска объекта, потом все полоски объединяются программным обеспечением в общее изображение.

В зависимости от способа сканирования объекта и самих объектов сканирования существуют следующие виды сканеров:

Планшетные (обеспечивают максимальное удобство для пользователя, высокое качество и приемлемую скорость сканирования) – представляет собой планшет, внутри которого под прозрачным стеклом расположен механизм сканирования.

Ручные — в них отсутствует двигатель, следовательно, объект приходится сканировать вручну (+:дешевизна и мобильность), (–: низкое разрешение, малая скорость работы, узкая полоса сканирования, возможны перекосы изображения, поскольку пользователю будет трудно перемещать сканер с постоянной скоростью).

Листопротяжные — лист бумаги вставляется в щель и протягивается по направляющим роликам внутри сканера мимо лампы. Имеет меньшие размеры, по сравнению с планшетным, однако может сканировать только отдельные листы. Многие модели имеют устройство автоматической подачи, что позволяет быстро сканировать большое количество документов, причем в ряде моделей – с двух сторон за один прогон.

Планетарные — применяются для сканирования книг или легко повреждающихся документов. При сканировании нет контакта со сканируемым объектом (как в планшетных сканерах).

Барабанные — применяются в полиграфии, имеют большое разрешение (около 10 тысяч точек на дюйм). Оригинал располагается на внутренней или внешней стенке прозрачного цилиндра (барабана).

Слайд-сканеры — как ясно из названия, служат для сканирования плёночных слайдов, выпускаются как самостоятельные устройства, так и в виде дополнительных модулей к обычным сканерам.

3D-сканер – устройство для получения 3D-изображений (моделей) с помощью системы камер или специальных точечных сенсоров.

**Характеристики сканеров

Формата сканируемой поверхности: А4 (стандартный печатный лист), A3, слайд-сканеры под формат пленки 13х18 и 18х24…

Оптическое разрешение. Разрешение измеряется в точках на дюйм (dots per inch — dpi). Указывается два значения, например 600x1200 dpi, горизонтальное — определяется матрицей CCD, вертикальное — определяется количеством шагов двигателя на дюйм.

Интерполированное разрешение. Искусственное разрешение сканера достигается при помощи программного обеспечения. Его практически не применяют, потому что лучшие результаты можно получить, увеличив разрешение с помощью графических программ после сканирования. Используется производителями в рекламных целях.

Скорость работы. Измеряется в страницах в минуту, при этом имеются в виду страницы определенного формата и определенное разрешение сканнера, из числа возможных.

Глубина цвета. Определяется качеством матрицы CCD и разрядностью АЦП. Измеряется количеством оттенков, которые устройство способно распознать. 24 бита соответствует 16777216 оттенков. Современные сканеры выпускают с глубиной цвета 24, 30, 36 бит. Несмотря на то, что графические адаптеры пока не могут работать с глубиной цвета больше 24 бит, такая избыточность позволяет сохранить больше оттенков при преобразованиях картинки в графических редакторах.

**Аналоговый сигнал – это в простейшем случае число, зависящее от времени (непрерывен). При записи на носитель информации или воспроизведении с него сигнал неизбежно искажается различного рода шумами. **

При оцифровке сигнала производятся две операции - дискретизация и квантование.

Дискретизация - преобразование непрерывной функции в дискретную (замена сигнала x(t) с непрерывным временем t на дискретизованный сигнал – последовательность чисел x(t_i) для дискретного набора моментов времени t1, t2, ..., ti, ...(чаще всего интервалы между моментами времени берутся одинаковыми).

**При дискретизаци, часть информации о сигнале теряется. Но если сигнал x(t) за время не сильно изменяется, числа x(ti) и x(ti-1) близки друг к другу, то поведение x(t) между временами ti и ti-1 нетрудно восстановить (сигнал практически линейно изменяется во времени от x(ti-1) до x(ti)). При дискретизации мы теряем частотные составляющие сигнала с частотами порядка и выше.**

Используется в гибридных вычислительных системах и цифровых устройствах при импульсно-кодовой модуляции сигналов в системах передачи данных. При передаче изображения используют для преобразования непрерывного аналогового сигнала в дискретный или дискретно-непрерывный сигнал.** Обратный процесс называется восстановлением. При дискретизации только по времени, непрерывный аналоговый сигнал заменяется последовательностью отсчётов, величина которых может быть равна значению сигнала в данный момент времени. Возможность точного воспроизведения такого представления зависит от интервала времени между отсчётами Δt. Согласно теореме Котельникова: Δt<1/(2*Fmax), где Fmax - наибольшая частота спектра сигнала.**

Сигнал дискретизирован по времени (без квантования)

Квантование сигнала – это нечто похожее, только данная процедура производится не со временем, а со значением сигнала x. Выбирается некий набор возможных значение сигнала x1, x2, ..., xn, ... и каждому x(t_i) сопоставляется ближайшее число из этого набора. Т.е. происходит разбиение диапазона значений непрерывной или дискретной величины на конечное число интервалов. Существует также векторное квантование - разбиение пространства возможных значений векторной величины на конечное число областей. Простейшим видом квантования является деление целочисленного значения на натуральное число, называемое коэффициентом квантования. Квантование приводит сигнал к заданным значениям, то есть, разбивает по уровню сигнала.

Однородное (линейное) квантование - разбиение диапазона значений на отрезки равной длины. Его можно представлять как деление исходного значения на постоянную величину (шаг квантования) и взятие целой части от частного:

(квантованный сигнал)

Иногда, чтобы внести в сигнал минимальные искажения, квантование делают так, что интервалы делают неравными (нелинейное квантование). Например, часто делают маленьким при малом значении сигнала, чтобы относительная погрешность (шум квантования/сигнал) не становилась очень большой при малых .

При оцифровке сигнала уровень квантования называют также глубиной дискретизации или битностью. Глубина дискретизации измеряется в битах и обозначает количество бит, выражающих амплитуду сигнала. Чем больше глубина дискретизации, тем точнее цифровой сигнал соответствует аналоговому. В случае однородного квантования глубину дискретизации называют также динамическим диапазоном и измеряют в децибелах (1 бит ≈ 6 дБ).

Квантование по уровню - представление величины отсчётов цифровыми сигналами. Для квантования в двоичном коде диапазон напряжения сигнала от Umin до Umax делится на 2n интервалов. Величина получившегося интервала (шага квантования): Δ=(Umax-Umin)/2_n

**Перевод аналогового сигнала в цифровой выполняется – аналогово-цифровыми преобразователями (АЦП). Основными параметрами АЦП являются частота дискретизации и разрядность АЦП (количество двоичных разрядов, в которых хранится значение сигнала x, число возможных значений квантованного сигнала равно 2^N, где N- число разрядов). Чем выше разрядность АЦП, с тем большей точностью можно хранить сигнал ( мало), но тем медленнее он работает (больше ).

**Устройство, производящее обратную операцию (чтобы передать оцифрованный сигнал на какое-нибудь воспроизводящее устройство (динамик, телевизор, приводной мотор и т.д.)) называется цифро-аналоговым преобразователем (ЦАП).**

**Цифровую информацию можно передать по линии связи практически без потерь. При передаче сигнал сначала превращается в аналоговый, пересылается, после чего опять оцифровывается.**

(в общем случае вид цифрового сигнала)

Векторная (контурная) и точечная (растровая) компьютерная графика. Пикселы и разрешение. Понятие линиатуры и качество воспроизведения графических изображений на различных носителях.

Различают три вида компьютерной графики: растровая, векторная и фрактальная. Они отличаются принципами формирования изображения при отображении на экране монитора или при печати на бумаге.

Растровая графика– это способ представления изображения (машинная графика), с помощью двумерного массива (растровой карты (bitmap)) точек (пикселей – picture element – элемент картинки), цвет и яркость каждой из которых задается независимо.

Пиксель – наименьший логический элемент двумерного цифрового изображения в растровой графике, а так же элемент матрицы дисплеев, формирующих изображение.

Качество растрового изображения определяется следующими параметрами: глубина цвета (количество используемых цветов), разрешением, цветовое пространство (цветовая модель), линиатурой (линеатюрой).

Разрешение – величина, определяющая количество дискретных элементов на единицу площади (на единицу длины). За единицу длинны был принят дюйм (inch), равный 25,4 мм. Как было рассмотрено выше, дискретный элемент это пиксель. Разрешение можно определить как количество пикселей в дюйме, обычно оно обозначается как ppi, что является сокращением от словосочетания pixels per inch (пикселей в каждом дюйме). Однако в реальной жизни связанная с разрешением терминология не так однозначна. В зависимости от устройства, на котором выводится изображение, возможно использование следующих единиц измерения разрешения:

•spi (sample per inch) - элементов на дюйм;

•dpi (dot per inch) - точек на дюйм;

•ppi (pixel per inch) - пикселей на дюйм;

•lpi (line per inch) - линий на дюйм.

Следует четко различать: разрешение экрана, разрешение печатающего устройства и разрешение изображения.

Разрешение экрана- это свойство компьютерной системы (зависит от монитора и видеокарты) и операционной системы (зависит от настроек). Разрешение экрана измеряется в пикселях и определяет размер изображения, которое может поместиться на экране целиком.

Разрешение принтера- это свойство принтера, выражающее количество отдельных точек, которые могут быть напечатаны на участке единичной длины. Оно измеряется в единицах dpi (точки на дюйм) и определяет размер изображения при заданном качестве или, наоборот, качество изображения при заданном размере.

Разрешение изображения - это свойство самого изображения. Оно измеряется в пикселях на дюйм и задается при создании изображения в графическом редакторе или при сканировании. Значение разрешения хранится в файле изображения и неразрывно связано с другим его свойством - физическим размером.

***Физический размер изображения может измеряться как в пикселях, так и в единицах длины (миллиметрах, сантиметрах, дюймах).**

**Размер точки растрового изображения как на твердой копии (бумага, пленка и т. д.), так и на экране зависит от примененного метода и параметров растрирования оригинала. При растрировании на оригинал как бы накладывается сетка линий, ячейки которой образуют элемент растра. Частота сетки растра измеряется числом линий на дюйм (lines per inch – Ipi) и называется линиатурой.**

Линиатура растра – одна из основных характеристик полиграфической и цифровой печати, характеризует период сетки и обозначает количество линий растра на единицу длины изображения. Измеряется в линиях на дюйм (lpi) или в линиях на сантиметр. Вычисляется по формуле: L=1/p, p – период структуры растра.

Ограничением на возможность использования растров с высокими линиатурами является тот факт, что из-за различных явлений краска способна растекаться, что делает невозможным воспроизвести очень маленькую точку. Для недорогой бумаги физическое ограничение 100 лин/см, хотя на практике при печати применяются меньшие линиатуры из-за того, что при использовании растров высокой линиатуры результат становится сильно чувствительным к параметрам печати.

Для газетной печати значения линиатуры составляет от 100 до 133 lpi, для цветных журналов 150-175, для печати икон примерно 200.

Разрешение устройства или носителя изображения – основной фактор, ограничивающий линиатуру. Основное правило, касающееся без растровых изображений – сканируйте или создавайте их с разрешением, в два раза превышающим линиатуру.

Глубина цвета (качество цветопередачи, битность изображения) — термин компьютерной графики, означающий объём памяти в количестве бит, используемых для хранения и представления цвета при кодировании одного пикселя растровой графики или видеоизображения. Часто выражается единицей бит на пиксел.

+растровой графики:

• Растровая графика позволяет создать (воспроизвести) любое изображение.

• Распространённость

• Высокая скорость обработки сложных изображений, если не нужно масштабирование.

• Растровое представление изображения естественно для большинства устройств ввода-вывода графической информации.

-растровой графики:

• Большой размер файлов с простыми изображениями.

• Невозможность идеального масштабирования.

• Невозможность вывода на печать на плоттер.