У складних середовищах люди можуть розуміти значення мови краще, ніж штучний інтелект, оскільки ми використовуємо не лише вуха, а й очі.
Наприклад, ми бачимо, як рухається чийсь рот, і можемо інтуїтивно знати, що звук, який ми чуємо, має виходити від цієї людини.
Meta AI працює над новою системою діалогу на основі штучного інтелекту, яка має навчити штучний інтелект розпізнавати тонкі кореляції між тим, що він бачить і чує в розмові.
VisualVoice навчається подібно до того, як люди вчаться опановувати нові навички, забезпечуючи аудіовізуальне розділення мовлення шляхом вивчення візуальних та слухових сигналів з немаркованих відео.
Для машин це створює краще сприйняття, тоді як людське сприйняття покращується.
Уявіть собі можливість брати участь у групових зустрічах у метавсесвіті з колегами з усього світу, приєднуючись до зустрічей менших груп під час їхнього переміщення віртуальним простором, під час яких звукові реверберації та тембри в сцені змінюються відповідно до оточення та відповідно налаштовуються.
Тобто, він може одночасно отримувати аудіо-, відео- та текстову інформацію, а також має багатшу модель розуміння навколишнього середовища, що дозволяє користувачам отримати «дуже вражаючий» звуковий досвід.
Час публікації: 20 липня 2022 р.
