Данные о 60 миллионах полей и 27 культурах были обработаны при помощи технологий NVIDIA.
Так в OneSoil Map выглядит Европа на минимальном зуме
Сельское хозяйство — одна из самых неоцифрованных отраслей мировой экономики. Миллионы фермеров всё ещё записывают информацию о полях на бумаге, оценивают состояние всходов «на глазок» и планируют работы, полагаясь скорее на опыт и интуицию, чем на точные данные.
Изменить эту ситуацию призвано точное земледелие – система ведения сельского хозяйства, которая предполагает использование технологий на всех этапах работы. Спутниковые снимки, датчики, GPS-навигаторы, мобильные устройства и другие технологии постепенно делают земледелие более продуманным и эффективным.
Но зачастую это сложные и дорогие технологии, которые многим фермерам не доступны. Стартап OneSoil хочет изменить эту ситуацию, и поэтому в октябре 2018 года они запустили OneSoil Map – первую в мире интерактивную карту, которая позволяет бесплатно посмотреть статистику по полям в Европе и США за три года. Размер и количество полей, рейтинг культур, относительный уровень урожайности – всю эту информация любой пользователь может посмотреть как для отдельного поля, так и для целого региона.
Чтобы запустить карту, OneSoil суммарно обработали 250 ТБ спутниковых снимков за два месяца. Для обработки информации команда использовала графические процессоры (GPU) NVIDIA Tesla.
Как обработать 150TB спутниковых данных за 3 дня
Для OneSoil Map команда использовала снимки спутника Sentintel-2, которые были предоставлены проектом Copernicus. Сначала OneSoil делали автоматическую предобработку снимков: чистили облака, тени, снег, выполняли компрессию данных. У спутниковых фотографий был ряд особенностей: это изображения большого формата (до 11000×11000 пискелей), они мультиспектральные (до 13 каналов) и «дырявые» (до 70% снимков занимают облака). Кроме того, многие «дыры» образовались из-за того, что некоторые регионы Земли спутники снимают чаще, чем другие. Ещё одна сложность состояла в том, что для повышения точности команда OneSoil использовала до 10 снимков поля за сезон.
При создании карты OneSoil использовали облачную платформу Microsoft Azure Cloud, серверы с графическими процессорами NVIDIA Tesla K80. Основная проблема, которую приходится решать при обучении нейронной сети – обеспечение такой скорости подачи данных, которая загружала бы графический процессор на 100%. Для этого команда использовала мультипоточную предобработку данных на CPU. Чтобы избежать переобучения модели и повысить точность предсказания для данных из разных регионов, OneSoil использовали различные техники аугментации данных. Для ускорения обучения команда использовала data-parallelism подход на нескольких GPU.
После обучения моделей началось самое интересное: поиск и распознавание полей и культур в Европе и США. Объем сырых данных, который OneSoil пропустил через GPU на этом этапе, составил порядка 150ТБ. Для увеличения скорости обработки данных команда разделила всю работу на 16 GPU: всего были задействованы четыре сервера, каждый из них с четырьмя NVIDIA Tesla K80. Как и на стадии обучения, использовалась параллельная подгрузка данных, чтобы не допускать простоя GPU.
На этом этапе время обработки информации составляло порядка 2-3 дней. При реализации проекта силами CPU на обработку информации ушло бы около месяца. На выходе получилось 250 гигабайт векторных карт, которые содержат геометрии полей и культуры – их может рассмотреть любой пользователь на первой интерактивной карте OneSoil Map.
Саламанка, Испания
Поля Франции
И как прогнозировать урожай при помощи нейронных сетей
OneSoil Map наглядно демонстрирует технологии, которые использует команда стартапа при разработке своих основных продуктов. В этом году OneSoil запустили бесплатную платформу для точного земледелия, которая помогает фермерам следить за состоянием всходов, рассчитывать нормы удобрений, следить за погодой и анализировать данные с полей. «Уже сейчас мы знаем про поля больше, чем любая компания или государство. А статистика, которую мы получаем при помощи алгоритмов машинного обучения, часто более точная, чем та, что была собрана вручную», – говорит Александр Яковлев, директор по продукту компании.
Следующая задача OneSoil – найти границы полей и определить культуры для всех стран в мире. Для этого OneSoil сейчас оптимизирует свои модели, в частности, при помощи платформы для инференса искусственного интеллекта TensorRT от NVIDIA.Также команда работает над тем, чтобы прогнозировать урожай в абсолютных величинах для любого поля в мире. Это позволит создать B2B сервис, который будет предоставлять аналитику и отчеты для разных игроков агрорынка: банков, страховых компаний, продавцов удобрений, семян и агротехники. OneSoil Map — это первый шаг по направлению к такого рода сервису.