SmartDJ позволяет пользователям изменять звучание с помощью простых слов

Инженеры Пенсильванского университета разработали SmartDJ — редактор на основе искусственного интеллекта, позволяющий пользователям изменять иммерсивные звуковые среды с помощью простых инструкций на понятном языке. Он может найти применение в виртуальной реальности, дополненной реальности, играх и звуковом дизайне. Вместо того

чтобы требовать от пользователей указания отдельных параметров редактирования, SmartDJ может реагировать на запросы высокого уровня, например, «сделать так, чтобы это звучало как оживленный офис», а затем планировать и выполнять необходимые шаги для достижения этого

результата. Система устраняет два основных недостатка более ранних инструментов редактирования аудио с использованием ИИ. Во-первых, большинство предыдущих систем лучше всего работали с жесткими, шаблонными командами, требуя от пользователей идентификации звуков для добавления или удаления. Во-вторых, эти инструменты, как

правило, работали с одноканальным или «моно» аудио, теряя пространственные нюансы, необходимые для полного погружения в звук. SmartDJ, напротив, способен интерпретировать инструкции высокого уровня и предназначен для стереофонического звука, что позволяет ему вносить изменения, которые лучше сохраняют или изменяют пространственную структуру сцены. Более того, система является интерпретируемой: пользователи могут видеть каждый шаг,

который предпринимает SmartDJ. Например, запрос типа «сделайте так, чтобы это звучало как оживленный офис» может привести к тому, что SmartDJ сгенерирует инструкцию типа «Добавьте звук звонка телефона справа на 3 дБ». Затем пользователи могут изменять, удалять или добавлять отдельные шаги, обеспечивая больший контроль над конечным результатом. «С помощью SmartDJ пользователи могут описать желаемый результат

на естественном языке, а система сама определит, как этого добиться», — говорит Минмин Чжао, доцент кафедры компьютерных и информационных наук (CIS). «Мы показываем, что ИИ может помочь людям редактировать аудио интуитивно понятным способом, используя простой язык». Чжао является ведущим автором исследования, представленного на этой неделе на Международной конференции по изучению представлений ( ICLR 2026 ), проходившей в

Рио-де-Жанейро. Статья также доступна на сервере препринтов arXiv. Сочетание языковых и диффузионных моделей Одна из главных проблем редактирования аудио с помощью ИИ заключается в том, что понимание запроса пользователя и генерация звуков обычно обрабатываются различными типами систем ИИ. «Мы используем языковые модели для работы с текстом», — говорит Цзитун Лан, аспирант кафедры

электротехники и системотехники (ESE) и первый автор исследования. «Кроме того, мы используем модели диффузии для редактирования звуков». Разница сводится к тому, чему каждая система была обучена. Языковые модели — та же технология, которая лежит в основе чат-ботов — изучают

закономерности в словах, помогая им интерпретировать смысл, который вкладывают пользователи, и генерировать текст в ответ. Диффузионные модели, напротив, предназначены для создания медиаконтента путем постепенного преобразования шума в связный сигнал. Чтобы преодолеть этот разрыв, команда внедрила в процесс редактирования аудиоязыковую модель (ALM). Обученная как на звуке, так и на тексте, ALM анализирует исходный аудиоматериал

вместе с запросом пользователя, а затем разбивает этот запрос на последовательность более мелких действий редактирования, таких как добавление, удаление или изменение положения звука. Затем модель диффузии выполняет эти действия шаг за шагом, позволяя SmartDJ как интерпретировать язык, так и редактировать аудио. По сути, языковая модель выступает в роли продюсера, определяя, как должно меняться

звуковое оформление, в то время как модель диффузии действует как студийный музыкант, воплощая эти указания в аудио. «Языковая модель задает системе направление», — говорит Идуо Хао, аспирант CIS и соавтор исследования. «Модель диффузии выполняет эти указания». Обучение SmartDJ Чтобы научиться преобразовывать общие запросы пользователей в

пошаговые аудиоредактирования, SmartDJ потребовались примеры, которые объединяли бы сразу три вещи: общую инструкцию, последовательность действий по редактированию, необходимых для ее выполнения, и аудио до и после каждого изменения. К сожалению, таких обучающих данных не существовало. «Для решения этой проблемы

требовался совершенно необычный набор данных, — говорит Лан. — Он должен был одновременно отражать цель, этапы и результат». Поэтому команда разработала его самостоятельно. Опираясь на общедоступные звуковые библиотеки, исследователи создали конвейер, который использовал большую языковую модель для генерации высокоуровневых подсказок для редактирования и промежуточных шагов, необходимых для их выполнения, в то время как обработка аудиосигнала производила

соответствующие отредактированные выходные данные. «Для того чтобы это работало, мы не могли просто показать модели входные и выходные данные, — говорит Хао. — Мы должны были показать ей цепочку рассуждений между ними». К более доступному редактированию аудио Для проверки SmartDJ исследователи сравнили его с более ранними системами редактирования звука и обнаружили,

что он выдает более реалистичные и лучше согласованные результаты. Как в количественных оценках, так и в исследованиях с участием людей, SmartDJ превзошел предыдущие методы по таким показателям, как качество звука, соответствие результатов инструкциям пользователя и реалистичность размещения звуков в пространстве. Исследователи видят потенциальные области применения в виртуальной реальности, дополненной реальности, играх, звуковом дизайне, виртуальных конференциях и других формах

интерактивных медиа, где пользователи могут захотеть изменить звуковую среду, не указывая вручную каждое отдельное изменение. В конечном итоге, цель исследователей — сделать редактирование аудио более доступным, позволив любому человеку с творческим видением редактировать звуковые ландшафты. «Для других медиа, таких как текст и изображения, пользователи уже могут использовать ИИ для выполнения запросов на высокоуровневое редактирование», — говорит Чжао.

«SmartDJ открывает аналогичные возможности для аудио, упрощая для большего числа людей воплощение своих идей в жизнь».

SmartDJ позволяет пользователям изменять звучание с помощью простых слов

Сообщает android-robot.com

Новость из рубрики: Технологии и Hi-Tech

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Топ Новости Недели

13:00, 14 Апр Беззубая экономика: Курс доллара не позволяет россиянам лечить зубы Не успела затихнуть тема с недоступностью обуви для граждан, как ей на смену тут же пришла другая. Поход к стоматологу для каждого становится весьма ...

Мне это даже нравится. Ведущая премии Золотой глобус Никки Глейзер рассказала, что разрешает своему бойфренду изменять ей 00:00, 10 Апр "Мне это даже нравится". Ведущая премии "Золотой глобус" Никки Глейзер рассказала, что разрешает своему бойфренду изменять ей Бессменная ведущая премии "Золотой глобус" и комикесса Никки Глейзер заявила на подкасте Call Her Daddy, что ей всё равно, если её возлюбленный, прод...

17:22, 28 Мар Про ремонт стиральных машин с разбором причин неисправностей, методов диагностики, самостоятельного устранения поломок, профилактического обслуживания и влияния современных технологий на долговечность бытовой техники Стиральная машина является одним из самых востребованных бытовых приборов в современном доме. Она значительно упрощает повседневную жизнь, экономит в...

10:00, 20 Мар Сочетание данных умных часов и анализов крови позволяет более точно прогнозировать инсулинорезистентность и диабет По оценкам, примерно 20–40% населения страдают от инсулинорезистентности — состояния, при котором эффективность инсулина в организме снижается, а рег...

04:00, 22 Мар Microsoft возвращает пользователям контроль над обновлениями Windows 11 Изображение сгенерировано в Nano Banana В 2015 году Microsoft решила, что пользователи Windows больше не должны контролировать установку обновлений о...

09:00, 24 Мар МВД: мошенники пишут пользователям под видом службы поддержки Telegram Злоумышленники начали маскироваться под службу поддержки мессенджера Telegram, чтобы обманывать граждан, которым они пишут с помощью секретных чатов,...

17:00, 20 Мар Samsung заплатит пользователям Galaxy S22 за то, что ограничивала производительность смартфонов в играх Многолетний спор вокруг Game Optimizing Service (GOS) в смартфонах серии Galaxy S22, похоже, официально завершён. Как сообщают корейские СМИ, Высокий...

17:00, 27 Апр Как читать больше книг и не бросать: 5 простых лайфхаков Хочешь читать больше? Вот 5 лайфхаков для читающих Книги — одно из величайших удовольствий в жизни, и это хорошо известно каждому, кто когда-либо час...

04:00, 31 Мар Как определить версию телефона Xiaomi: четыре простых способа При покупке смартфона Xiaomi важно понимать, для какого региона он был изначально предназначен. Ведь от этого напрямую зависят не только локализация ...

02:00, 27 Мар Хитрые продавцы никогда не выбирают яйца так: запомните эти 2 «простых» приема Прогород Казалось бы, что может быть проще выбора яиц. Проверил дату, взял покрупнее — и порядок. Но оказывается, есть нюанс, который заметят далеко ...

23:00, 26 Апр Илон Маск запустил мессенджер XChat с искусственным интеллектом. Российским пользователям пока не повезло Компания X Илона Маска официально выпустила новый мессенджер XChat для iPhone. Приложение позиционируется как безопасная альтернатива встроенным личн...

12:00, 05 Апр Сила слов. Успеху девушки помогут простые фразы Любая добьется побед с помощью таких «помогалок». Добиться успеха, не прилагая никаких усилий не так-то просто. Существует методика, способная помочь...

08:00, 12 Апр ЧР все помнят: Косторную поймали на лицемерии после слов о титулах Загитовой Фигуристка забыла, что говорила в интервью ещё четыре месяца назад. Фигуристка решила выделиться на фоне других спортсменок. Всё бы ничего, если бы р...

10:00, 24 Мар "Сняли со всех баннеров". Дмитрия Нагиева "отменяют" после слов об СВО Дмитрия Нагиева "отменяют" после его недавней публичной речи об СВО и состоянии российского кинематографа. По данным СМИ, с 58-летним актёром разрыва...

14:00, 24 Мар "Сняли со всех баннеров". Дмитрия Нагиева "отменяют" после его слов об СВО Дмитрия Нагиева "отменяют" после его недавней публичной речи об СВО и состоянии российского кинематографа. По данным СМИ, с 58-летним актёром разрыва...

16:00, 07 Апр Кудашов о том, сработается ли со Спронгом: «Поживем – увидим. Дэниэл для КХЛ – звездный хоккеист. Понятно, что простых людей среди звезд нет» Главный тренер «Автомобилиста» Алексей Кудашов поделился мыслями о форварде Дэниэле Спронге. Сегодня Екатеринбургский клуб подписал с 54-летним трене...

06:00, 25 Мар Волну высотой с Эйфелеву башню принимали за выдумку — но следы оказались страшнее любых слов 9 июля 1958 года в узком аляскинском заливе поднялась волна высотой 524 метра. Это в полтора раза выше Эйфелевой башни. Гигантский водяной язык слиза...

11:00, 24 Апр "Он не выступает от имени Великобритании". Дональд Трамп ответил принцу Гарри после его слов об Украине Дональд Трамп прокомментировал слова принца Гарри, который вчера прибыл в Киев и призвал на форуме президента США помочь Украине, чтобы закончить вое...

07:00, 04 Апр Как перейти с Windows 10 на Windows 11: несколько простых способов Выбор операционной системы для компьютера – это вопрос не только удобства, но и функциональности. Не говоря уже о том, что оставаться с операционной ...

15:00, 28 Мар ЛГБТ*-фанаты «Тоттенхэма» против назначения Де Дзерби из-за слов в защиту Гринвуда: «Требуем ответственности, отражающей ценности клуба» Официальное объединение ЛГБТ*-болельщиков «Тоттенхэма» Proud Lilywhites выступило против назначения Роберто Де Дзерби на должность главного тренера. ...

02:00, 25 Апр В Новосибирске изучили древние черепа с помощью КТ В пресс-службе Новосибирского госуниверситета (НГУ) сообщили, что специалисты вуза провели компьютерную томографию (КТ) четырех черепов из археологич...

06:00, 18 Апр В России ускорили рекомендательные системы с помощью ИИ Исследователи Центра практического искусственного интеллекта Сбербанка вместе с коллегами из AIRI, Университета Иннополис и ИТМО нашли способ перенос...

17:00, 17 Апр Как создать песню с помощью нейросети — бесплатно и за 5 минут Искусственный интеллект пишет стихи, рисует картины и придумывает сценарии — теперь очередь дошла до музыки. Сегодня любой желающий найдет, как сдела...

12:00, 27 Апр Эксперты рассказали, как с помощью питания выглядеть моложе Правильное питание может влиять на процессы старения организма и помогать замедлять возрастные изменения. Об этом говорится в материале Focus online,...

02:00, 20 Мар CoreWeave расширяет облачную платформу для ИИ с помощью Nvidia B300 Поставщик облачных услуг в области ИИ объединяет инфраструктуру графических процессоров нового поколения с новыми инструментами разработки, направлен...

21:00, 29 Апр Учёные ТПУ ускорили переработку угля на 10% с помощью опилок и масла Исследователи Томского политехнического университета с коллегами из Китая нашли способ повысить эффективность низкосортных углей. Добавка опилок и от...

01:00, 09 Апр В России создали упаковку из углекислого газа с помощью бактерий В пресс-службе Тульского государственного университета (ТулГУ) сообщили, что ученые вуза разработали способ перерабатывать углекислый газ в биоразлаг...

03:00, 26 Мар Учёные ускорили движения робота в 30 раз с помощью квантового компьютера Исследователи из Центрального университета, Университета Иннополис и других институтов нашли способ в 30 раз быстрее рассчитывать оптимальные движени...

13:00, 12 Апр Мирослава Дума представила платформу для создания одежды с помощью ИИ Мирослава Дума запустила модный проект, основанный на работе искусственного интеллекта. Генеральный директор инвестиционного фонда Future Tech Lab и ...

09:00, 17 Апр «Норникель» будет создавать сплавы с помощью ИИ в новом центре при МГУ В научно-технологической долине МГУ «Воробьёвы горы» открылся Центр палладиевых технологий «Норникеля». Главная задача — создавать новые материалы и ...

06:00, 20 Апр Российские саперы в зоне СВО применяют воздушное минирование с помощью дронов Покидая хорошо укрепленные позиции, боевики ВСУ хаотично разбрасывают тысячи мин — целые квадратные километры. Наши военные поступают более грамотно....

13:00, 22 Мар Как управлять AirPods с помощью жестов: новые функции наушников Apple в iOS 26 С выходом iOS 26 у AirPods Pro накопилось больше десяти жестов и команд, привязанных к ножкам наушников. Часть из них знакома давно, но некоторые поя...

21:00, 20 Мар Более 50 тыс. нарушений чистоты устранили в Подмосковье с помощью ИИ с начала года "ИИ-контроль за чистотой во дворах ведется в Подмосковье с 2023 года. Задействовано около 80 тыс. камер, оборудованных искусственным интеллектом. За ...

14:00, 05 Апр Сбербанк увеличивает траты клиентов с помощью умного распознавания эмоций Манипуляция эмоциями клиента помогает банку больше продавать. Банки давно перестали быть простыми финансово-кредитными организациями и теперь стоят н...

00:00, 30 Мар В России научились формировать искусственную эмаль зубов с помощью электрополей Исследователи из России, Бразилии и Египта разработали метод восстановления зубной эмали с использованием слабых электрических полей. Для этого повре...

13:00, 22 Мар Как снимать красивые селфи на камеру iPhone с помощью Apple Watch На Apple Watch есть встроенное приложение Camera Remote, которое превращает часы в пульт управления камерой iPhone. С его помощью можно снимать на ос...

12:00, 25 Апр Шесть человек обратились за помощью после атаки украинских БПЛА на Екатеринбург После атаки украинских беспилотников на жилой дом в Екатеринбурге за медицинской помощью обратились шесть человек. Об этом в своем Telegram-канале со...

13:00, 24 Апр Как сделать презентацию с помощью нейросети — подборка хороших сервисов и простой гайд Раньше сделать нормальную презентацию значило убить вечер: придумать структуру, набрать текст, найти картинки, не облажаться с оформлением. Сейчас вс...

21:00, 29 Апр Астероид Апофис исследуют с помощью российской обсерватории «Спектр-РГ» в 2029 году Учёные Самарского университета и Института космических исследований РАН предложили использовать орбитальную обсерваторию «Спектр-РГ» для изучения аст...

08:00, 23 Мар «Большой козырь»: с помощью чего новая Volga K50 может обойти «китайцев» Обозреватель портала «Китайские автомобили» Денис Бобылев оценил перспективы недавно представленного кроссовера Volga K50. Эксперт назвал новинку оче...

19:00, 24 Мар Помогал внуку: пенсионера придавило машиной после столкновения со скорой помощью В США 66-летний Джон Картер Мартин остановился на дороге, чтобы помочь своему внуку — 17-летнему Коннору Ли Скуну. Подросток ехал за рулем автомобиля...

12:00, 22 Мар Певица Слава добавила «перца» в свой брак с помощью флирта с молодым дизайнером 68-летний муж артистки явно ревнует жену к 39-летнему Александру Арутюнову. У певицы 40-летней певицы Славы есть свой любовник, на год младше ее само...

00:00, 29 Апр Конец эпохи кадрового голода: почему российские компании считают, что перехитрили рынок с помощью ИИ Российский корпоративный сектор проходит этап жесткой трансформации производственных процессов. Топ-менеджмент компаний переосмысливает текущие огран...

13:00, 22 Мар Microsoft планирует вдвое снизить энергопотребление сетей центров обработки данных с помощью технологии MicroLED Соединения на основе MicroLED в сочетании с оптоволоконными кабелями для передачи изображений могут снизить энергопотребление сети до 50%, одновремен...

12:00, 23 Мар "Обнаружили доброкачественные опухоли". Марина Федункив призналась, что родила в 53 года с помощью ЭКО, и рассказала о рисках на фоне рака Лерчек 54-летняя Марина Федункив, которая больше года назад родила первого ребёнка, рассказала о том, что забеременела с помощью процедуры ЭКО, несмотря на ...

05:00, 04 Апр «Торонто» выложил видео о фанатах в стиле документального фильма о животных: «Прежде чем занять место, болельщик должен собрать припасы. Каждый выражает преданность с помощью цвета» «Торонто» выложил видео на тему преданности болельщиков «Лифс». Ролик выполнен в стиле документального фильма о животных. «В самом сердце Торонто сто...