Як Live Animations створили AR-контент для книги Alif and Sofia, яка вчить мусульманських дітей молитися

У рубриці DOU Labs ми запрошуємо IT-компанії ділитися досвідом власних цікавих розробок і внутрішніх технологічних ініціатив. Питання і заявки на участь надсилайте на [email protected] .

Всім привіт! Я Сергій Хухра, CTO AR-студії Live Animations. Ми створюємо контент і маркетингові рішення, використовуючи технологію доповненої реальності. Я хочу розповісти, як наша команда працювала над одним з самих незвичайних проектів за наші 5 років на цьому ринку — Alif and Sofia . Ми створили AR-контент для дитячих книг, які розповідають мусульманським дітям, як правильно здійснювати обряд молитви.

Ідея

Сама ідея книг з доповненою реальністю, звичайно ж, не нова. Цей підхід став популярним ще в часи, коли AR тільки входила у наше життя, і з тих пір цілком успішно застосовується з користю для цільової аудиторії, яка складається переважно з дітей. Адже AR-контент — саме те, що може перетворити читання в інтерактивне пригода, а це позитивно впливає і на захопленість читачів, і на сприйняття твору. Інша справа, що в таких усталених сферах, як релігія, нові способи подачі інформації завжди впроваджуються дуже неохоче. Іслам, як одна з найбільш консервативних релігій, особливо обережно ставиться до інновацій і технологій в культурному освіту дітей.

Тим більш несподівано для нас було восени 2018 року отримати з нашого офісу в Нью-Йорку новину про те, що від малайзійської компанії Big Bad Wolf надійшло замовлення на створення AR-вмісту та мобільного додатку для дитячих книг про хлопчика Аліф і дівчинку Софію, які вчать дітей, як правильно здійснювати ісламський обряд молитви. Хоча до того часу ми і створили AR-контент вже для більш ніж 15 книг, така тематика була для нас абсолютно новою.

Ці персонажі дуже популярні серед дітей в ісламському світі, вже були ілюстрації, мультики, книги з ними, але ще ніколи вони не «оживали» в AR. З одного боку, це істотно полегшило роботу нашим дизайнерам, адже персонажі були вже готові, не потрібно було нічого вигадувати. А з іншого — наші AR-персонажі повинні були бути точнісінько такими, як вимагав замовник, що не дозволяло відхилитися від впізнаваного стилю ні на йоту. Тому, забігаючи вперед, скажу, що правок у зовнішній вигляд і анімації Аліф і Софії ми вносили величезна кількість.

Головною метою проекту з урахуванням його тематики було зробити навчання ісламським традиціям і обрядам дітей, що живуть в країнах Південно-Східної Азії, більш цікавим і вовлекающим за допомогою технології AR. Замовник хотів зробити книги не просто черговими дитячими розповідями про звичаї ісламу, а інтерактивними медиаисториями з музикою, піснями і танцями. Між іншим, до початку роботи над цим проектом ми не знали, що в Індонезії живе найбільша кількість мусульман в порівнянні з іншими країнами.

Це був перший проект такого роду в мусульманському світі, а тому починати роботу було подвійно цікаво: ми хотіли подивитися, як AR «ляже» на таку консервативну тематику.

Як працює проект

Проект включає в себе набір AR-анімацій (по 12 для кожної книги) і мобільні додатки під iOS і Android для відтворення цих анімацій. Маючи успішний досвід розробки мобільних додатків для дитячих книг, ми створили додаток за вже відпрацьованим шаблоном, додавши лише унікальний дизайн в новій стилістиці. При цьому набір функцій програми дає користувачеві можливість використовувати AR-контент по максимуму. Програма може:

розпізнавати маркери у вигляді малюнків на сторінках для запуску відповідних AR-анімацій;
відтворювати AR-контент у 3D з прив'язкою до книжкових сторінок (або просто закріпивши сцену на екрані телефону);
робити знімки і запису екрану, щоб ділитися ними в соцмережах.

Крім цього, програма дає можливість взаємодіяти з AR-контентом.

Наприклад, коли дитина успішно пройде всі етапи навчання, AR-анімації на останній сторінці його чекає інтерактивна розфарбування: потрібно спочатку розфарбувати те, що він бачить на екрані, а потім вся сцена оживає саме в тих кольорах, які вибрав читач.

Весь AR-контент зберігається на сервері та надається за запитом програми, тому користувачеві не потрібно завантажувати об'ємне додаток з маркетплейса. Ми також спростили інтерфейс мобільного додатка і зробили його максимально доступним для цільової аудиторії. Воно відкриває камеру по натисненню однієї кнопки на головному екрані і відразу готовий до розпізнавання сторінок і відтворення AR-контенту.

Після установки і запуску програми користувачу потрібно лише перейти в режим камери, відкрити книгу і навести камеру на сторінковий розворот, щоб побачити AR-контент. Анімації можна дивитися прямо на книжкових сторінках, розглядаючи їх з усіх сторін, чи можна для зручності прикріпити AR-сцену до центру екрану смартфона.

Реалізація

Створити 12 AR-анімацій для кожної з двох книг (нехай деякі з анімацій і були однаковими для обох персонажів) і зібрати це все в додаток — задача, яка вимагає значних ресурсів і зусиль великої команди. По суті, моделинговая і аніматорська робота йшла не над двома персонажами (хлопчик Аліф і дівчинка Софія), а над чотирма: модель Софії є як в звичайному одязі, так і в традиційній паранджі, а Аліф може бути то в шапочці і босоніж, то без шапочки і в кросівках.

У проекті була задіяна команда в складі одного текстурщика, п'яти моделювання, семи аніматорів і п'яти девелоперів. Наші моделлер взагалі фахівці досить універсальні — вони часто допомагали текстурувати персонажів і об'єкти.

Що стосується девелоперів, то один з них займався редизайном і адаптацією програми конкретно під цей проект і складанням UX/UI, один був відповідальний за розміщення в сторах, двоє працювали над спецефектами, ще один — над компасом у додатку.

До речі, компас — це взагалі унікальна річ, над якою ми добряче попотіли. Відомо, що всі мусульмани під час молитви повинні дивитися у бік Кааби, розташованої в Мецці. Спочатку ми хотіли впровадити компас в тривимірний простір, прямо в AR-контент, який відтворюється при наведенні на ілюстрацію.

Така ідея, як AR-компас, була абсолютно новою для девелоперів, і, щоб реалізувати її, окрема людина відповідав за складні обчислення сферичних координат, широти, довготи і прораховував різні сценарії геолокаций (навіть віртуально переносився в Японію!). Незважаючи на всі зусилля, після кількох тестів ми так і не змогли домогтися того, щоб на всіх девайсах вказувалося строго один напрямок. Перебуваючи поруч один з одним, вони відображали стрілки цього компаса, «смотрящі» в різні боки. Змирившись з цим, ми чесно зізналися замовникові, що для найбільш точних свідчень найкраще буде просто впровадити компас у UI програми.

Розробка почалася в листопаді 2018 року, і, так як всі фахівці, задіяні в проекті, складаються у нас в штаті, за час реалізації проекту склад команди не змінювався. Озвучка персонажів — це єдине, що ми віддали на аутсорс. Так як ми вже давно набили руку в проектах з AR для книг, робочий процес складався з звичних нам стадій.

Технічна реалізація

З технічної точки зору ми використовуємо движок Unity, з яким працюємо уже досить давно. З-за того, що наше додаток має без проблем функціонувати на безлічі девайсів всіх цінових категорій, Unity дозволяє максимально оптимізувати AR-контент, який наші аніматори і моделлер створюють з допомогою Maya і Maya 3D. А щоб вивести весь цей контент, ми використовуємо Vuforia у якості надбудови.

Звичайно ж, крім розробки та оптимізації контенту, необхідно підготувати працює мобільний додаток, яке буде все це відтворювати, створюючи привабливий user experience. Над останнім ми, до речі, морочитися особливо сильно, адже без нього неможливо отримати високий рейтинг в сторах, а для нас це дуже важливий показник якості. Саме тому додаток Alif and Sofia було написано з нуля на C#+Mono з використанням майже 500 оригінальних сценаріїв. У підсумку програмісти витратили більше трьох тижнів на те, щоб створити стилізоване додаток, і ще тиждень, щоб додати всі анімації, спецефекти і т. д.

Якість для нас була в пріоритеті, тому технологія створення оточення для персонажів була повністю ручний. Використовуючи тільки колір і карту висот, всі текстури ми створювали вручну. У той час, коли так популярні автоматизовані процеси для відтворення відблисків і інших ефектів, наші фахівці малювали все самі прямо в текстурах. За словами команди, яка працювала над створенням контенту, такий індивідуальний підхід був викликаний тим, що над цим проектом було приємно працювати завдяки симпатичним персонажам (Аліф взагалі закохав у себе всю команду) і незвичайності культурної складової.

Без складнощів, звичайно ж, не обійшлося. До історії про компас додалися труднощі в роботі з анімаціями і величезна кількість правок від замовника, пов'язаних з культурними нюансами проекту. Спочатку розповім про складнощі анимирования. Зовнішній вигляд персонажів повністю залежить від традицій ісламу, і якщо хлопчик Аліф у всіх сценах носить одну й ту ж одяг, змінюючи лише головні убори та взуття, то дівчинка Софія буквально проходить через метаморфозу: з одягненою сучасно вона перетворюється в повністю закутану в спеціальну паранджу.

З точки зору 3D-моделінгу повна паранджа є дуже складним технічним елементом, коли персонаж не просто варто, а постійно змінює пози: всі вигини і складки, то, як вони лягають на тіло, повинні бути продумані до дрібниць, щоб уникнути неприродності фінальної картинки. Не дивно, що на створення Софії команда 3D-моделювання проекту витратила в два рази більше часу, ніж на Аліф. І хоча 3D-моделі обох персонажів були надані замовником, щоб уникнути компромісів в якості, довелося наново створювати моделі спеціально під цей проект.

Правки, які надходили від замовника, були обумовлені не поганою якістю роботи, а культурними особливостями: виправляти треба було анімації, то, як повинні рухатися персонажі і які дії вони повинні робити. Зіткнувшись з новою культурою, наші хлопці не завжди могли з точністю відтворити всі характерні рухи, необхідні ісламськими обрядами. Наприклад, при триразовому обмивання водою необхідно було зробити так, щоб Аліф кожен раз набирав в долоньки нову воду, а не використовував ту, що залишилася після попереднього обмивання. Цього ми не знали, і тому довелося переробляти. Відполірований з урахуванням всіх поправок проект Alif and Sofia був переданий замовнику в квітні 2019-го, після п'яти місяців роботи над ним.

Результати та плани

Alif and Sofia став одним з найуспішніших серед наших проектів. У день презентації книжок на найбільшій книжковій виставці Азії Big Bad Wolf кількість запитів на наші сервери (а AR-контент зберігається саме там) перевищила 150 тисяч на годину, тоді як розраховані вони були на 300 тисяч запитів в день — сервери не витримали і лягли, але ми швидко усунули цю проблему. Такий інтерес ще більше переконав нас у тому, що технології можуть заробити навіть у такій консервативній сфері, як мусульманська культура.

Зараз ми працюємо над розширенням проекту: книги перевыпускаются на малайською мовою, і ми додаємо його в додаток до вже існуючого індонезійському. Таким чином ми готуємо проект до виходу на нові ринки, адаптації для інших ісламських країн і загальному розширенню аудиторії. Також у планах — додавання функціоналу ARKit і ARCore для розпізнавання поверхонь і відтворення AR-контенту на них.

Опубліковано: 22/08/19 @ 10:00
Розділ Різне

SEO Блог