У складних середовищах люди можуть розуміти значення мови краще, ніж ШІ, оскільки ми використовуємо не лише вуха, але й очі.
Наприклад, ми бачимо, як чийсь рот рухається, і можемо інтуїтивно знати, що звук, який ми чуємо, має виходити від цієї людини.
Meta AI працює над новою системою діалогу AI, яка має навчити ШІ також розпізнавати тонкі кореляції між тим, що він бачить і чує під час розмови.
VisualVoice навчається подібно до того, як люди вчаться оволодівати новими навичками, забезпечуючи розділення аудіо-візуального мовлення шляхом вивчення візуальних і звукових сигналів із відео без міток.
Для машин це створює краще сприйняття, тоді як людське сприйняття покращується.
Уявіть собі, що ви можете брати участь у групових зустрічах у метавсесвіті з колегами з усього світу, приєднуючись до менших групових зустрічей, пересуваючись у віртуальному просторі, під час яких звукові реверберації та тембри в сцені змінюються відповідно до середовища.
Тобто він може одночасно отримувати аудіо-, відео- та текстову інформацію та має більш детальну модель розуміння навколишнього середовища, що дозволяє користувачам отримати «дуже вау» звук.
Час публікації: 20 липня 2022 р
