Hyperspectral method for assessing the condition of protected soil plants

Full Text

Современные технологии мультиспектрального и гиперспектрального дистанционного мониторинга успешно применяются в растениеводстве открытого грунта, где источником исходного света является Солнце [1]. Данные технологии позволяют выявлять внутренние изменения в растениях, такие как хлороз и др., которые влияют на урожайность. Однако в условиях защищенного грунта культивационных сооружений с применением системы искусственного освещения и гидропоники, исходный спектр света и реакция растений на него иная.

В связи с этим актуальным является разработка гиперспектрального метода оценки состояния растений, выращиваемых в закрытом грунте с применением системы искусственного освещения и гидропоники. Проводимые исследования согласуются с программой исследований по проекту «Агрокибернетика» комитета «Умное Агро» межрегионального научно-образовательного центра «Инженерия будущего».

Цель исследований – разработка гиперспектрального метода оценки состояния растений в условиях защищенного грунта для выявления внутренних изменений в растениях, которые влияют на урожайность.

Задача исследований – определить спектральные признаки изменения состояния растений в условиях защищенного грунта для выявления внутренних изменений в растениях, которые влияют на урожайность.

Объект исследований. Исследования проводились на светокультуре в условиях защищенного грунта ООО «Тепличный» с помощью малогабаритной гиперспектральной камеры сканирующего типа на базе оптической схемы Оффнера [2-4]. Оптическая схема гиперспектральной камеры представлена на рис. 1.

 

Рис. 1. Оптическая схема гиперспектрометра на основе схемы Оффнера: 1 – объектив; 2 – щелевая диафрагма; 3 – сферическое зеркало; 4 – дифракционная отражающая решетка; 5 – фотоприемное устройство видимого диапазона

 

Камера сканирующего типа разработана и изготовлена в Самарском национальном исследовательском университете имени академика С.П. Королева. Гиперспектральная камера, представленная на рис. 2, использовалась для получения спектральных признаков состояния растений в условиях защищенного грунта.

 

Рис. 2. Гиперспектральная камера на базе оптической схемы Оффнера

 

Для исследований применялась гиперспектральная камера со следующими характеристиками:

1. Поле зрения камеры в вертикальной плоскости – 20º;
2. Диапазон регистрируемых спектров по длине волны – 420-980 нм;
3. Спектральное разрешение (ширина спектрального канала) – 2,5 нм;
4. Разрешение матрицы вдоль щели 2040 пкс;
5. Масса гиперспектральной камеры – 2,64 кг;
6. Габаритные размеры камеры – 370×136×130 мм.

Для применения камеры в различных условиях съемки изготовлен специальный шарнирный кронштейн со штативом, а также различные приспособления линейного или кругового перемещения камеры с заданной скоростью.

Методы экспериментальных исследований. Процесс съемки был построен таким образом, что за один кадр можно получить набор спектральных характеристик, соответствующих лишь одному столбцу формируемого гиперспектрального изображения. Щелевая диафрагма ограничивает область пространства, свет от которого раскладывается в спектр. Это позволяет одновременно получать до 2040 спектров за один кадр. В процессе сканирования пространства и серийной синхронной съемкой осуществляется регистрации спектров последовательно изменяющихся областей пространства, как показано на схеме сканирования ниже на рисунке 3.

Во время съемки щель располагалась перпендикулярно вектору сканирования, а сканирование осуществлялось линейным перемещением с помощью каретки на направляющих, формируя панорамное изображение области съемки. Сама камера расположена под углом относительно горизонта, угол установки варьировался в пределах 30-60°. Высота расположения камеры составляла 2,2 м. Данная высота при угле зрения камеры 20° обеспечивает захваты лишь части растения, а именно область около 0,5 м, что обеспечивает пространственное разрешение вдоль листа около 0,25 мм. Однако, в процессе сканирования со скоростью около 0,06 м/с и частотой кадров около 18 к/с, неизбежно существует смаз, вызванный движением в процессе экспозиции одного кадра. Величина смаза в таком случае около 3мм. Для решения этой проблемы использовалась съемка с использованием режима матрицы «биннинг», что является по сути объединением пикселей для увеличения чувствительности и уменьшению размера кадра. В таком случае при объединении пикселей 2в1, была уменьшена размерность матрицы вдоль щели до 1020 пкс. Таким образом экспозиция была уменьшена в 2 раза и достигнута частота кадров до 36 к/с, а при той же скорости перемещения каретки смаз уменьшен до 1,5 мм, в то время как проекция пикселя увеличилась из-за биннинга с 0,25 до 0,5мм. Съемка в любом режиме обеспечивает получение панораммных изображений без промежутков, смаз лишь приводит к некоторому усреднению спектра в области проекции пикселя, что позволяет наблюдать за мельчайшими элементами растений, листов, стеблей и находить повреждения и области с измененным спектром с размером до 0,5х1,5мм. На рисунке 3б показан процесс экспериментальной съемки растений в условиях защищенного грунта ООО «Тепличный».

 

Рис. 3. Сканирование гиперспектральной камерой: а) схема сканирования гиперспектральной камерой; б) экспериментальный процесс гиперспектральной съемки растений в условиях защищенного грунта.

 

Точное время экспозиции было выбрано в соответствии с гистограммой во время съемки с камерой, фиксирующей кадр, направленный на белую область откалиброванной цветовой шкалы видео X-Rite ColorChecker. После получения большого количества последовательных кадров данные наборы спектров сшивались специализированным ПО в гиперкубы. Реконструкция гиперкуба из полученной видеопоследовательности была выполнена в соответствии с ранее разработанными алгоритмами, описанными в [5, 6]. Полученный гиперкуб имеет 250 спектральных каналов, равномерно распределенных в диапазоне 420-980 нм. Частота кадров во всех сценах фиксирована и соответствует 30-36 кадрам в секунду, что обеспечивает постоянство пространственного разрешения.

Примеры внешнего вида панорамных изображений из гиперспектральных изображений (ГСИ) трех видов растений выращиваемых культур показаны на рисунке 4.

 

Рис. 4. Изображение на длине волны 720 нм из панорамного ГСИ: а) салат; б) баклажан; в) томат2

 

В каждом пикселе высокоразрешающих ГСИ имеются спектральные характеристики всех элементов растений: стебля, листа на разных уровнях, прожилок, соцветий. Сравнение спектральных характеристик листов разных культур под солнечным светом показано на примере баклажана и томата на рисунке 5.

 

Рис. 5. Сравнение спектральных характеристик отражения томата (нижний спектр) и баклажана (верхний график).

 

Таким образом, в результате проведения серии опытов по получению спектральных данных состояния растений в условиях защищенного грунта сформирована база гиперспектральных снимков для создания обучающей выборки с целью определения спектральных признаков, позволяющих с высокой долей вероятности идентифицировать состояния растений в условиях защищенного грунта для выявления внутренних изменений в растениях, которые влияют на урожайность.

Результаты экспериментальных исследований. Для задачи бинарной сегментации «растение» и «шпалера» рассматривались два вегетационных индекса: NDVI (нормализованный разностный вегетационный индекс) [7] и EVI (улучшенный вегетационный индекс) [8]. Эти индексы используются для определения фотосинтетически активной биомассы:

$\mathrm{NDVI}= \frac{\mathrm{NIR}-\mathrm{RED}}{\mathrm{NIR}+\mathrm{RED}}$,                                                                                               (1)

$\mathrm{EVI}=2,5 \frac{\mathrm{NIR}-\mathrm{RED} }{\mathrm{NIR}+6\mathrm{RED} -7,5\mathrm{BLUE} +1}$,                                                                 (2)

где NIR – ближняя инфракрасная область спектра; RED – красная область спектра; BLUE – синяя область спектра. Конкретный спектральный диапазон в (1) и (2) выбирается исходя из особенностей факторов, влияющих на состояние растений.

Рассчитанные маски индексов подвергаются пороговой обработке таким образом, что все пиксели, принадлежащие классу «шпалера», обнуляются, оставляя значения больше нуля только в классе «растение».

Поскольку разница в результатах расчета индексов NDVI и EVI минимальна, то для последующих расчетов в качестве индекса растительности был выбран NDVI, как более простой для расчетов.

Изменение спектрального состава освещения оказывает существенное влияние на результат гиперспектральной съемки [8]. Съемка растений закрытого грунта проводится днем в условиях открытого солнечного освещения и досветки натриевыми лампами, поэтому основными факторами, влияющими на спектральный состав освещенности, являются угол возвышения солнца и его затенение, вызванное облаками, а также спектральное излучение натриевых ламп.

Чтобы компенсировать влияние освещения на спектральный состав съемки, были использованы два подхода к нормализации спектрального состава гиперкуба. Следуя гипотезе о сером контуре [9], нормализация к спектру наиболее яркой части изображения может быть выполнена на этапе предварительной обработки:

${\mathrm{HSI}}_{LightNorm}^{\left(i\right)}=\frac{{\mathrm{HSI}}^{\left(i\right)}}{\mathrm{MAX}\left({\mathrm{HSI}}^{\left(i\right)}\right)} \times 255$.                                                                 (3)

Кроме того, компенсация эффектов изменения освещения может быть выполнена с использованием дополнительного уровня пакетной нормализации [9] в архитектуре нейронной сети. В рамках данной работы реализованы оба подхода, их эффективность исследуется в экспериментальном разделе.

В данной работе использована модификация нейросетевого классификатора [10-11]. Эта сеть представляет собой комбинацию сверточных 3D-слоев для анализа 1D и 2D срезов гиперспектральных изображений (рис. 6). На вход нейросетевой классификатор принимает патч данных, размеры которого определяются количеством каналов B и пространственными координатами (высотой и шириной) H и W соответственно. Такой подход позволяет не только идентифицировать особенности одного гиперпикселя, но и найти его зависимости с соседними.

Сеть состоит из набора трехмерных сверточных слоев, после каждого из которых, для компенсации эффекта неоднородности освещения и стабильности обучения классификатора, были добавлены слои пакетной нормализации.

Для формирования обучающей выборки были использованы участки из нескольких гиперспектральных изображений. Конечный размер составлял 900×2730 гиперпикселей, что составляет примерно треть всех данных, после чего 90% пикселей были взяты в обучающий набор и 10% – в набор проверки. Такой подход сводит к минимуму разницу в освещенности при анализе различных гиперспектральных изображений.

Обучение проводилось с использованием оптимизатора Adagrad. Параметр скорости обучения был равен 0,01, а параметр импульса оптимизатора был установлен на 0,01. Размер минимального пакета был равен 40. Размер блока был 7×7×250. Процесс обучения сети занял 50 эпох для полной стабилизации.

Были исследованы четыре различных подхода к задаче классификации по уровню хлороза: классическая архитектура 3D-DCNN [10-11] без предварительной обработки и с ней, модификация M3D-DCNN, предложенная в этой статье, без предварительной обработки и с ней.

Анализ полученных изображений позволяет сделать вывод, что предварительная обработка гиперспектральных изображений существенно не улучшает качество классификации по уровню хлороза. Использование пакетной нормализации в качестве нормализации освещенности уменьшает размер областей ошибочной классификации.

 

Рис. 6. Архитектура нейросетевого классификатора

 

Для более строгого контроля качества точность классификации была рассчитана для трех гиперспектральных изображений для каждого предлагаемого подхода (табл. 2).

 

Таблица 2

Точность классификатора и его модификаций для исходных и предварительно обработанных гиперспектральных изображений

	3D-DCNN		M3D-DCNN
	-	Предварительная обработка	-	Предварительная обработка
HSI_1	84,3%	82,7%	84%	85%
HSI_2	83,4%	81,5%	84,1%	85%
HSI_3	81,2%	80%	81,5%	80,7%
Среднее	83,0%	81,4%	83,2%	83,6%

 

На основании полученных данных можно сделать вывод, что предварительная обработка в виде нормализации гиперспектральных изображений по освещенности не дает повышения точности классификации по уровню хлороза. Напротив, использование пакетной нормализации для этой цели дает наилучшие результаты среди представленных.

По итогам проведенных исследований, представлен алгоритм классификации гиперспектральных изображений высокого разрешения с учетом как пространственной, так и спектральной составляющих. В качестве классификатора использована сверточная нейронная сеть с архитектурой, основанной на [10-11], модифицированная для лучшего учета изменений в освещении сцены. Для подготовки обучающих данных предлагается использовать вегетационные индексы, которые допускают первичную бинарную сегментацию гиперспектрального изображения. Показана эффективность предложенного подхода. Точность полученной классификации по уровню хлороза составила более 83%.

Заключение. Представленная модель обладает точностью классификации выше, чем у существующих методов, и позволяет использовать этот алгоритм для задач определения спектральных признаков изменения состояния растений в условиях защищенного грунта и выявления внутренних изменений в растениях, которые влияют на урожайность.

About the authors

Sergey V. Mashkov

Samara State Agrarian University

Email: mash_ser@mail.ru
ORCID iD: 0000-0002-9941-3803

Candidate of Economic Sciences, Associate Professor

Russian Federation, Samara Region, Ust-Kinelsky

Pavel A. Ishkin

Samara State Agrarian University

Author for correspondence.
Email: ishkin_pa@mail.ru
ORCID iD: 0000-0002-7490-9300

Candidate of Technical Sciences

Russian Federation, Samara Region, Ust-Kinelsky

Nikolai A. Ivliev

Samara National Research University named after Academician S. P. Korolev

Email: ivlievn@gmail.com
ORCID iD: 0000-0001-7539-556X

Candidate of Technical Sciences, Associate Professor

Russian Federation, Samara

Andrey R. Makarov

Samara National Research University named after Academician S. P. Korolev

Email: andre_makar@bk.ru
ORCID iD: 0000-0001-5435-550X

Research Associate

Russian Federation, Samara

References

Supplementary files