Bulletin Samara State Agricultural AcademyBulletin Samara State Agricultural AcademyИзвестия Самарской государственной сельскохозяйственной академии1997-32252782-4225Samara State Agrarian University64155910.55170/1997-3225-2024-9-4-47-54TECHNOLOGY, MEANS OF MECHANIZATION AND POWER EQUIPMENT IN AGRICULTUREТЕХНОЛОГИИ, СРЕДСТВА МЕХАНИЗАЦИИ И ЭНЕРГЕТИЧЕСКОЕ ОБОРУДОВАНИЕ В СЕЛЬСКОМ ХОЗЯЙСТВЕResearch ArticleHyperspectral method for assessing the condition of protected soil plantsГиперспектральный метод оценки состояния растений защищенного грунтаhttps://orcid.org/0000-0002-9941-3803MashkovSergey V.МашковСергей Владимирович
Russian Federation

Candidate of Economic Sciences, Associate Professor

кандидат экономических наук, доцент

mash_ser@mail.ruhttps://orcid.org/0000-0002-7490-9300IshkinPavel A.ИшкинПавел Александрович
Russian Federation

Candidate of Technical Sciences

кандидат технический наук

ishkin_pa@mail.ruhttps://orcid.org/0000-0001-7539-556XIvlievNikolai A.ИвлиевНиколай Александрович
Russian Federation

Candidate of Technical Sciences, Associate Professor

кандидат технических наук, доцент

ivlievn@gmail.comhttps://orcid.org/0000-0001-5435-550XMakarovAndrey R.МакаровАндрей Романович
Russian Federation

Research Associate

научный сотрудник

andre_makar@bk.ruSamara State Agrarian UniversityСамарский государственный аграрный университетSamara National Research University named after Academician S. P. KorolevСамарский национальный исследовательский университет имени академика С. П. Королёва051120249447540411202404112024Copyright ©; 2024, Mashkov S.V., Ishkin P.A., Ivliev N.A., Makarov A.R.Copyright ©; 2024, Машков С.В., Ишкин П.А., Ивлиев Н.А., Макаров А.Р.2024Mashkov S.V., Ishkin P.A., Ivliev N.A., Makarov A.R.Машков С.В., Ишкин П.А., Ивлиев Н.А., Макаров А.Р.https://creativecommons.org/licenses/by/4.0https://bulletin.ssaa.ru/1997-3225/article/view/641559

The purpose of the research is to develop a hyperspectral method for assessing the condition of plants in conditions of protected soil, to identify internal changes in plants that affect the yield. The article presents the results of the investigation of vegetation condition assessment based on the use of hyperspectral images (HSI) acquired with a scanning slit-lamp hyperspectral camera with Offner optical scheme. The classifier used is a multi-stage GSI processing with initial compensation of lighting variations, selection of the vegetation area by the index method and further evaluation based on a trained spatial spectral convolutional neural network. The shooting process was organized in such a way that in one frame it was possible to obtain a set of spectrum characteristics corresponding to only one column of the hyperspectral image being formed. The slit diaphragm restricts the area of space from which the light is decomposed into a spectrum. It allows simultaneously to receive up to 2040 spectra in a single frame. In the process of space scanning and serial synchronous imaging, spectra of sequentially changing regions of space were recorded. Based on the results of the research, an algorithm for classifying high-resolution hyperspectral images was developed, taking into account both spatial and spectral features. A convolutional neural network with an architecture modified to better account for changes in scene lighting was used as a classifier. To prepare the training data, it is proposed to use vegetation indexes, which allow to perform primary binary segmentation of the hyperspectral image. It was shown that the proposed approach is effective. The accuracy of the classification obtained by the level of chlorosis was more than 83%. The conducted experiments show the effectiveness of the proposed approach for assessing the condition of plants in protected soil conditions.

Цель исследований: разработка гиперспектрального метода оценки состояния растений в условиях защищенного грунта, для выявления внутренних изменений в растениях, которые влияют на их урожайность. В статье представлены результаты исследования метода оценки состояния растительности на основе использования гиперспектральных изображений (ГСИ), полученных с помощью сканирующей щелевой гиперспектральной камеры с оптической схемой Оффнера. В качестве классификатора используется многостадийная обработка ГСИ с первоначальной компенсацией вариаций освещения, отбору зоны интереса растительности индексным методом и далее оценка на основе обученной пространственно-спектральной сверточной нейронной сети. Процесс съёмки был организован таким образом, чтобы за один кадр можно было получить набор характеристик спектра, соответствующих только одному столбцу формируемого гиперспектрального изображения. Щелевая диафрагма ограничивает область пространства, свет из которой раскладывается в спектр. Это позволяет одновременно получать до 2040 спектров за один кадр. В процессе сканирования пространства и серийной синхронной съёмки регистрировались спектры последовательно меняющихся областей пространства. По результатам исследований был разработан алгоритм классификации гиперспектральных изображений высокого разрешения с учётом как пространственных, так и спектральных характеристик. В качестве классификатора использовалась свёрточная нейронная сеть с архитектурой, модифицированной для лучшего учёта изменений освещения сцены. Для подготовки обучающих данных предлагается использовать вегетационные индексы, которые позволяют выполнить первичную бинарную сегментацию гиперспектрального изображения. Было показано, что предложенный подход эффективен. Точность полученной классификации по уровню хлороза составила более 83%. Проведенные эксперименты показывают эффективность предложенного подхода для оценки состояния растений в условиях защищенного грунта.

hyperspectrometerspectral methodspectral indexplant conditionprotected soilhyperspectral surveyгиперспектрометрспектральный методспектральный индекссостояние растенийзащищенный грунтгиперспектральная съемкаDivin, A. G., Mishchenko, S. V. & Zhirkova, A. A. (2018). Non-destructive non-contact thermal method for quality control of objects of plant origin. Information-sensory systems in thermophysical research: Eleventh International Thermophysical School, Tambov State Technical University. 105-110. EDN YQUMXB. (in Russ).Дивин А. Г., Мищенко С. В., Жиркова А. А. Неразрушающий бесконтактный тепловой метод контроля качества объектов растительного происхождения // Информационно-сенсорные системы в теплофизических исследованиях. 2018. 105-110. EDN YQUMXB.Nikonorov, A., Petrov, M., Bibikov, S., Kutikova, V., Yakimov, P. & Morozov A. (2018). 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS) IEEE. 1-9. (in Russ).Никоноров А., Петров М., Бибиков С., Кутикова В., Якимов П., Морозов А. (2018) 10-й семинар IAPR по распознаванию образов в дистанционном зондировании (PRRS) IEEE. 1-9.Gaidel, A.V., Podlipnov, V. V., Ivlev, N. A., Paringer, R. A., Ishkin, P. A., Mashkov, S. V., Skidanov, R. V. (2023). Data set for hyperspectral visualization of agricultural plants. Computer Optics, 47(3), 442-450. (in Russ).Гедель А. В., Подлипнов В. В., Ивлиев Н. А., Парингер Р. А., Ишкин П. А., Машков С. В., Скиданов Р. В. Набор данных для гиперспектральной визуализации сельскохозяйственных культур // Компьютерная оптика. 2023. Т. 47. №. 3. С. 442-450.Karpeev, S. V., Khonina, S. N., Murdagulov, A. R., & Petrov, M. V. (2016). Alignment and study of the hyperspectrometer prototype according to the Offner scheme. Bulletin of the Samara University. Aerospace Engineering, Technologies and Mechanical Engineering, 15(1), 197-206. (in Russ).Карпеев, С. В., Хонина, С. Н., Мурдагулов, А. Р., & Петров, М. В. Юстировка и исследование макетного образца гиперспектрометра по схеме Оффнера // Вестник Самарского университета. Аэрокосмическая техника, технологии и машиностроение. 2016. Т. 15. №. 1. С. 197-206.Jung, A., Kardevan, P., & Tőkei, L. (2006). Hyperspectral Technology in Vegetation Analysis. Progress in Agricultural Engineering Sciences. 2. 1. 93-115.Jung A., Kardevan P., Tőkei L. Hyperspectral Technology in Vegetation Analysis // Progress in Agricultural Engineering Sciences. 2006. Vol 2, № 1. P. 93-115.Kwan, C., Gribben, D., Ayhan, B., Li, J., Bernabe, S. & Plaza, A. (2020). Remote Sensing. 12(23). 3880-3888.Kwan, C., Gribben, D., Ayhan, B., Li, J., Bernabe, S., Plaza, A. Remote Sensing. 2020. № 12(23). P. 3880-3888.Hu, W., Huang, Y., Wei, L., Zhang, F. & Li, H. (2015). Journal of Sensors. 30-42.Hu, W., Huang, Y., Wei, L., Zhang, F., Li, H. // Journal of Sensors. 2015. P. 30-42.Manea, D. & Calin, M. A. (2015). Imaging Science Journal, 63(4), 214-219.Manea, D., Calin, M. A. // Imaging Science Journal. 2015. № 63(4). P. 214-219.Van De Weijer J, Gevers T. (2005). IEEE International Conference on Image Processing. 2. 2-722.Van De Weijer J, Gevers T. // IEEE International Conference on Image Processing. 2005. № 2. P. 2-722.Mingyi He, Bo Li, Huahui Chen (2017) IEEE International Conference on Image Processing (ICIP). 3904-3908.Mingyi He, Bo Li, Huahui Chen // IEEE International Conference on Image Processing (ICIP). 2017. P. 3904-3908.Firsov, N. A., Podlipnov, V. V., Ivliev, N. A., Nikolaev, P. P., Mashkov, S. V., Ishkin, P. A. & Nikonorov, A. V. (2021). Neural network classification of hyperspectral images of vegetation with the formation of a training sample based on the adaptive vegetation index. Computer Optics. 45. 6. 887-896. doi: 10.18287/2412-6179-CO-1038. EDN UOOVII. (in Russ).Фирсов Н. А., Подлипнов, В. В., Ивлиев, Н. А., Николаев, П. П., Машков, С. В., Ишкин, П. А., Никоноров, А. В. Нейросетевая классификация гиперспектральных изображений растительности с формированием обучающей выборки на основе адаптивного вегетационного индекса // Компьютерная оптика. 2021. Т. 45, № 6. С. 887-896. doi: 10.18287/2412-6179-CO-1038. EDN UOOVII.