У складних умовах люди можуть зрозуміти сенс мови краще, ніж AI, тому що ми використовуємо не тільки вуха, але й очі.
Наприклад, ми бачимо, як чийсь рот рухається і можемо інтуїтивно знати, що звук, який ми чуємо, повинен виходити від цієї людини.
META AI працює над новою системою діалогу AI, яка полягає в тому, щоб навчити AI також навчитися розпізнавати тонкі кореляції між тим, що він бачить і чує в розмові.
VisualVoice дізнається аналогічно тому, як люди вчаться оволодіти новими навичками, що дозволяє включити аудіовізуальне розділення мови, вивчаючи зорові та слухові підказки з не маркованих відео.
Для машин це створює краще сприйняття, а сприйняття людини покращується.
Уявіть, що зможете брати участь у групових зустрічах у метаверсі з колегами з усього світу, приєднуючись до менших групових зустрічей, коли вони рухаються через віртуальний простір, під час яких звукові реверберації та тембри на сцені роблять відповідно до навколишнього середовища.
Тобто, він може одночасно отримувати аудіо, відео та текстову інформацію та має більш багату модель екологічного розуміння, що дозволяє користувачам мати звуковий досвід "дуже вау".
Час посади: липень-20-2022
