AR для військових: як «бачіті крізь броню» та вражати ворожу техніку за допомогою системи від LimpidArmor

У рубриці DOU Проектор всі охочі можуть презентувати свій продукт (як стартап, так і ламповий pet-проект). Якщо вам є про що розповісти — запрошуємо взяти участь. Якщо ні — можливо, серія надихне на створення власного made in Ukraine продукту. Питання і заявки на участь надсилайте на [email protected] .

Мене звати Михайло, я керівник компанії Limpid Armor , яка спеціалізується на штучному інтелекті, доданій реальності та комп'ютерній ютерному зорі. Хочу розповісти про нашу розробка у військовій сфері для танків та іншої броньованої техніки. Це Land Platform Modernization Kit (LPMK) — система ситуаційної обізнаності (Situation Awareness), що дозволяє військовим «бачіті крізь броню» та отримувати інформацію про довколишню ситуацію тоді, коли необхідно.

Ідея

Мене завжди приваблювали складні інженерні рішення в особливих умовах, тому свій шлях в ІТ я розпочав з роботи на бурових платформах біля африканського узбережжя та прокладання ЛЕП в іракській пустелі. Пізніше, у 2014 році, я пішов захищати Батьківщину в зоні АТО і, завдяки своїм технічним знанням, очолив підрозділ аеророзвідки.

Михайло Гречухін у зоні АТО

Там ж і зародилася ідея, яка стала основою мого бізнесу. Почалося все з нашого танку, що підірвався на міні на з'єднання їзді з Донецької кільцевої дороги неподалік від Донецького аеропорту (ДАП). Кожного разу, коли я проїжджав повз нього, я розумів, що в цілком цивільному пікапі Mitsubishi L200 пересуватися безпечніше, ніж всередині танка. Ви запитаєте чому? Ключову роль тут відіграє можливість вчасно побачити небезпеку і швидко відреагувати на неї. На жаль, у випадку з танком це неможливо. У розпал боїв за ДАП протитанкові міни просто кидали на бетон злітної смуги і водії бронетехніки не встигали на швидкості помітити їх та вчасно відреагувати.

Після демобілізації думка про цю проблему годину від годині поверталася до мене на зустрічах з колишніми братами по зброї чи під час читання ветеранської прози. Я чітко розумів ситуацію, і мене непокоїло те, що важкоброньована техніка є небезпечною для екіпажу.

Аналіз ринку показав, що спроби вирішити цю проблему тоді вже були, але технологія віртуальної реальності не підходила за психофізичними характеристиками, наприклад, норвезький Combat Lab невдало тестував Oculus Rifts для водіїв танків. А проекційна технологія, що активно використовується в авіації, не давала можливості якісно працювати з оптичними потоками та тривимірними (3D) об'єктами. Так, ізраїльська система Iron Vision від Elbit Systems, анансована в 2016 році, досі проходити стадію тестування. У тієї годину як американський дослідницький центр Tardec планував випустити систему ситуаційної обізнаності для броньованої техніки до 2025 року, а повноцінно запустити її у 2035 році.

Реалізація

Улітку 2016-го я спробував використати пристрій доданої реальності (Augmented Reality), який мав переваги над іншими технологіями, які згадані вище. Більше того, технологія AR мала ще одну дуже важливу для військових перевагу: якщо система вийде з ладу, військовослужбовець може продовжувати спокійно користуватися стандартними засобами спостереження, не знімаючи пристрій доповненої реальності. У бою ці секунди можуть дорого коштувати та зменшити шанси на виживання бойової машини та її екіпажу.

У січні 2017 ми з Ольгою Дмитрук — моїм давнім партнером з соціальних проектів та «адвокатом Диявола» усіх моїх ідей — заснували компанію Limpid Armor. Ми зібрали команду з метою створити українську систему кругового огляду для танків, взявши за основу окуляри Hololens від компанії Microsoft. І нам це вдалося!

LPMK дозволяє екіпажу бойової техніки отримувати максимум ситуаційної обізнаності (інформації про навколишню ситуацію), а саме потенційні ворожі цілі навколо, або навпаки інформацію про позиції дружніх сил та цивільні фрази об'єкти. Система також візуалізує дані про стан двигуна машини чі кількість набоїв для різних типів зброї, роблячи процес управління бойовою машиною, певною мірою схожим на комп'ютерній ютерну гру. Система підходить як для модернізації техніки, так і для імплементації у перспективних розробках.

З самого початку ми ставили перед собою завдання передати відеопотік на додану реальність для створення в користувача ілюзії прозорої броні (член екіпажу бачить зображення ситуації поза бронею в тому напрямку, в який він повернувши голову). Альо після низькі тестувань та численних консультацій з військовими ми значно додали кількість додаткового функціоналу. Так, наприклад, з'єднання явився відділ штучного інтелекту. Щодо самого функціоналу системи, ми додали дев'ять ять класів військової техніки, цивільної форми, військової форми та трьох класів цивільної техніки. Зараз працюємо над обробкою даних для нових моделей та системами розпізнавання спалахів та діму.

Ми використовуємо технології глибинного машинного навчання (Deep Learning) для створення складних нейромережевих моделей для автоматичного розпізнавання техніки, людей та інших об'єктів у реальному часі. А технологію виявлення аномалій (Anomaly Detection) — для предективної аналітики стану техніки та алгоритмізації дій екіпажу в різних обставинах.

Наразі над системою працює команда, що налічує понад 20 спеціалістів, зведених у кілька відділів: інжинірингу та розробки вбудованого програмного забезпечення; дизайну інтерфейсів та промислового дизайну; машинного навчання та комп'ютерного зору; а також доданої реальності. Зараз наша компанія розширює штат, але, на жаль, спеціалістів потрібного рівня на ринку праці менше, ніж хотілось би.

Наша команда

У результаті замість системи лише кругового огляду ми витворили комплексне рішення для наземної бойової техніки. Це рішення складається з апаратної частини — сенсори (як встановлені на самій машині, так і віддалені), сервер для обробки даних та пристрій виводу даних (AR-окуляри, монітор або планшет). А також програмної частини — склеювання оптичних потоків у єдину 360° панораму за допомогою технологій комп'ютерного зору (Computer Vision) і аналізу оптичного потоку (Optical Flow Analysis) як у видимому, так і в невидимому спектрах, нейромереж розпізнавання об'єктів навколишнього середовища та автоматизованого аналізу і візуалізації даних, отриманих з сенсорів.

Оскільки сама система зазнає значного навантаження, нам також довелося вирішувати низку складних проблем, пов'язаних з усуненням затримки передачі відеопотоку з великої кількості камер одночасно, GPU оптимізацією обробки зображень в режимі реального часу, оптимізацією нейронних мереж та розробки зручного інтерфейсу для доповненої реальності і відображення телеметрії.

Після презентації альфа-версії зміни концепції продукту не закінчилися. Під час розробки ми відмовилися від електромеханічної стабілізації камер через значне ускладнення математичної моделі і, відповідно, збільшення потреби в обчислювальних ресурсах. Тоді як на етапі переговорів із замовниками виявилося, що деякі з них навіть не потребують повноцінного склеювання панорами і цілком задовольняються автоматичним перемиканням між камерами поворотом голови. Звичайно ж, ми додали і таку опцію.

Нам також довелося докласти значних зусиль для оптимізації MS Hololens до бойового застосування. Ми розробили систему передачі даних з окулярів до сервера через кабель, чого вимагають військові стандарти. Було розширено кут огляду до 75° та імплементовано стабілізацію зображення задля зручності використання в техніці під час її руху. Крім того, ми розробляємо власні окуляри доповненої реальності, котрі будуть позбавлені наявних обмежень для вирішення завдань наших клієнтів.

Загалом вирішенню всіх проблем йшло методом спроб та помилок, що часто призводило до кардинальних змін у використанні технологій.

Результати і плани

На виставці озброєння IDEX-2019, що проходила в Абу-Дабі (ОАЕ), було представлено альфа-версію нашої системи LPMK і підписано перші контракти на тестові поставки. Це свідчить про затребуваність наших рішень та успіх у реалізації ідеї.

Підписання ексклюзивної дилерської угоди між Limpid Armor та International Golden Group під час виставки IDEX-2019, Абу-Дабі, ОАЕ

Зараз йде повним ходом розробка бета-версії, навіть радше «версій», під конкретні вимоги замовників, оскільки кожен кінцевий продукт буде відрізнятися залежно від машини, на яку встановлюється.

Спільно з фахівцями з Організації науки і технологій НАТО (NATO Science and Technology Organization) ми долучилися до розробки стандарту візуалізації умовних позначок та інших даних у доповненій реальності. А в грудні 2018 року на засіданні робочої групи в Афінах наша концепція була взята за основу і допущена до тестувань.

Восени 2019 року ми спільно з ЦНДІ плануємо відкритий показ системи на полігоні для офіцерів ЗСУ та представників НАТО. Про що, звичайно, більш конкретно ми повідомимо пізніше. Після завершення всіх бюрократичних процедур ми подаруємо Збройним силам необхідну кількість комплектів для дослідної експлуатації.

Беручи до уваги наші перші успіхи у військовій галузі та амбітні плани, ми також запустили цивільний напрямок, який пропонує сервіси відеоаналітики та візуалізації даних у доданій реальності для промисловості. Як у військовій сфері, так і в цивільній — життя та здоров'я людини є нашим пріоритетом.

Опубліковано: 26/06/19 @ 07:00
Розділ Різне

SEO Блог