Клавіатуру Gboard навчать розуміти мову жестів через камеру смартфона

Google готує масштабне оновлення для своєї клавіатури Gboard, яке може стати справжнім проривом у сфері інклюзивності. Компанія розробляє функцію Sign-to-Text, що дозволить перетворювати рухи рук безпосередньо у письмовий текст за допомогою камери смартфона.

Про це пише видання Android Authority.

Магія штучного інтелекту в дії

Дослідники Google DeepMind тривалий час розробляли інструменти штучного інтелекту для інтерпретації мови жестів, і тепер ці напрацювання з’явилися в останній бета-версії Gboard.

Нова система базується на просунутій моделі SignGemma, яку фахівці анонсували минулого року. Вона поєднує можливості машинного зору та потужність нейромереж для розпізнавання складних жестів у реальному часі.

Приватність і технічні нюанси

Google обрала гібридну схему роботи для забезпечення конфіденційності користувачів:

смартфон обробляє відео безпосередньо на пристрої, щоб виділити лише «сирі» дані про рухи та жести;
потім ці координати надсилаються в хмару Google для фінального аналізу та вилучення слів.

Такий підхід гарантує, що реальне відео з обличчям та оточенням людини не залишається в пам’яті телефона, що значно посилює захист приватних даних.

Під час аналізу коду програми знайшли службові повідомлення, які допоможуть правильно налаштувати процес: «відійдіть трохи далі», «перемістіться у світліше місце» або «тримайте руки в кадрі для кращої видимості».

Поки залишається відкритим питання підтримки різних регіональних варіантів, адже американська мова жестів (ASL) суттєво відрізняється від української, британської чи інших версій, що існують у світі.

Попри те, що функція ще перебуває на стадії розробки, вона обіцяє стати найважливішим інструментом доступності в історії Gboard, відкриваючи нові горизонти для вільного спілкування мільйонів людей.