Постановка задачи, принципы формирования и визуализации рентгеновских изображений

Досмотр багажа с помощью рентгеновских сканеров стал неотъемлемой и привычной частью путешествия поездом или самолетом. Современные сканеры существенно ускоряют процесс поиска запрещенных к провозу предметов и повышают пропускную способность зон досмотра. Кроме того, несмотря на настороженное отношение со стороны пассажиров, разработчики сканеров заявляют об их безопасности, поскольку уровень излучения непосредственно в камере с включенными рентгеновскими датчиками составляет 1 мЗв/ч.

Правила входного контроля в здания аэропортов и железнодорожных вокзалов запрещают провоз огнестрельного оружия и предметов, его имитирующих. В аэропортах при досмотре ручной клади действуют более строгие ограничения, согласно которым на борт самолета запрещено проносить колющие и режущие предметы, ёмкости объемом более 100 мл.

Контроль багажа полностью возлагается на операторов, которые, используя свой опыт, визуально определяют наличие запрещенных предметов. Досмотр багажа в потоковом режиме достаточно утомителен, требует от оператора постоянной концентрации, что обуславливает необходимость разработки вспомогательных подсистем распознавания, призванных автоматически помочь ему находить большую часть запрещенных предметов.

Огнестрельное и холодное оружие достаточно контрастны и хорошо определяются на рентгеновских изображениях, тогда как емкости бывают визуально слабо различимы, как показано ниже.

Постановка задачи нашего исследования: разработать алгоритм обнаружения ёмкостей на досмотровых рентегновских изображениях.

Начнем с того, что понятие «ёмкость» очень обширное и, по сути, включает в себя любые изолированные от внешней среды объемы, которые позволяют перевозить как жидкости, так и аэрозоли и даже газы. Текущая классификация ёмкостей, выработанная опытным путем, на данный момент включает следующие их типы:

1) бутылки пластиковые; 2) бутылки стеклянные; 3) ёмкости пластиковые; 4) ёмкости парфюмерные стеклянные; 5) банки металлические; 6) баллоны металлические аэрозольные; 7) ёмкости пластиковые прямоугольные; 8) тюбики; 9) прочие ёмкости.

Типичные представители каждого из классов представлены ниже.

На первый взгляд распознавание запрещенных предметов на рентгеновских изображениях представляет собой классическую задачу детектирования объектов, которые сейчас эффективно решаются с помощью искусственных нейронных сетей, но при детальном рассмотрении она осложняется следующими факторами:

1. Различием физических принципов формирования и особенностей визуализации рентгеновских и оптических изображений;

2. Недоступностью открытых наборов рентгеновских изображений, достаточных для применения методов машинного обучения;

3. Узкой тематической специализацией и, следовательно, малым количеством исследований и разработок в данной области.

Начнем решение поставленной задачи с рассмотрения рентгеновских изображений.

Достаточно подробное описание устройства и принципов функционирования современных досмотровых рентгеновских установок можно найти в статье «Чем нас досматривают?».

В отличие от изображений видимого оптического диапазона, на которых мы видим отраженный объектами свет, рентгеновские изображения формируются при прохождении коротковолного излучения сквозь объекты. Рентгеновские изображения визуализируют «прозрачность» объектов, которая зависит от природы материала (точнее, эффективного атомного номера) и его толщины, которую излучению требуется преодолеть на пути от лампы до матрицы фотоприемников.

Первичные данные, получаемые непосредственно от фотоприемников представляю собой пару монохромных 16-битных изображений:

1) изображение высокой энергии, формируемое на основе излучения, сохранившего свою энергию при прохождении прошедшего сквозь досматриваемый объект;

2) изображение низкой энергии, создаваемое путем регистрации переизлученных веществом фотонов, появление которых описывается эффектом Комптона.

Если не вдаваться в физические подробности, эффект Комптона заключается в том, что материалы с более высоким эффективным атомным номером имеют меньшее значение низкой энергии, а значит, и большую разность яркости на изображениях высокой и низкой энергии (что заметно при сравении правого и левого изображений).

По значению разности энергий материалы разделяются на три класса, каждому из которых сопоставляется свой цвет: органика (оранжевый/красный), легкие металлы и соли (зеленый) и тяжелые металлы (синий). Изображения, визуализированные согласно описанному правилу, приведены ниже. Слева показана исходная визуализация (яркость взята из канала низкой энергии – как менее зашумленного), справа – с применением алгоритма подчеркивания контуров.

Глядя на визуализацию сразу возникает желание в качестве исходных данных использовать исходные изображения высокой и низкой энергии, поскольку они гораздо менее шумные и комфортны для восприятия. Например, найти емкость в сумке на нижнем раскрашенном изображении, особенно без подчеркивания контуров, крайне проблематично, а ведь это далеко не самый сложный случай… Использование непосредственно исходных изображений имеет еще один неявный плюс – инвариантность к яркостно/цветовой схеме визуализации, которая может отличаться даже в пределах ревизий ПО одной и той же модели установки, не говоря уже о разных производителях.

Однако на другой чаше весов оказывается тот факт, что алгоритму машинного обучения, который будет использован для решения поставленной задачи, «придётся» самому делать вывод о том, как определить материал исходя из имеющихся данных (и нет гарантии, что он с этим справится). С учетом введенных типов емкостей, материал изготовления в сочетании с формой являются ключевыми признаками, поэтому при создании обучающей выборки мы исходили из того, что максимальное количество признаков следует извлечь заранее при помощи формальных методов. При невозможности формализации авторы многих публикаций по нейронным сетям рекомендуют составлять обучающую выборку так, чтобы она была максимально комфортной для решения той же задачи человеком.

Следуя данной парадигме, выделим основные визуальные недостатки раскрашенных изображений, которые необходимо устранить:

1. Цветовой шум, который выражается во взаимных переходах цветов в пределах одного и того же объекта (визуально мешает более всего).

2. Шум изображения низкой энергии, приводящий к случайным колебаниям яркости в пределах одного объекта.

3. Отсутствие возможности рассмотреть что либо за малопрозрачными объектами.

4. Невозможность визуально различить легкую/среднюю/тяжелую органику, которая была бы полезна для того, чтобы найти пластиковые емкости (особенно пустые) на фоне других органических объектов.

Перечисленные вопросы будут описаны в следующей статье, следите за новостями...

КодЛикс разрабатывает программное обеспечение обработки изображений, систем технического зрения, искусственный интеллект и нейросети. Мы создаём программное обеспечение любой сложности под ключ и с гарантией.