Сделать это можно в приложении «Дом с Алисой»: Настройки → Контент → Шоу с Алисой. Афиша мероприятий и новости. Голосовой помощник «Алиса» для смарт-колонок «Яндекса» научился вести утренние шоу. В компании обещают персонализированные программы с полезной информацией, любимой музыкой, новостями и прочим интересным каждому пользователю контентом. Оказалось, что люди выбирают синтезированный вариант Алисы, несмотря на более плохое качество по сравнению с реальной речью человека.
Умные колонки с "Алисой" научились вести персонализированные утренние шоу
Вот пример записи с явными перебоями в стилях: Чтобы решить проблему, мы добавили в акустическую модель стили: в процессе обучения нейросети специально ввели «утечку». Суть в том, что через очень lossy-пространство всего 16 чисел на всё предложение разрешаем сетке посмотреть на ответ — истинную мел-спектрограмму, которую ей и нужно предсказать на обучении. За счёт такой «шпаргалки» сеть не пытается выдумывать непредсказуемую по тексту компоненту, а для другой информации не хватит размерности шпаргалки. На инференсе мы генерируем стилевую подсказку, похожую на те, что были в обучающем сете. Это можно делать, взяв готовый стиль из обучающего примера или обучив специальную подсеть генерировать стили по тексту. Если эту подсеть обучить на особом подмножестве примеров, можно получить специальные стили для, скажем, мягкого или дружелюбного голоса.
Или резкого и холодного. Или относительно нейтрального. Чтобы определиться со стилем по умолчанию, мы устроили турнир, где судьями выступали пользователи Толоки. Там не было разметки, мы просто нашли кластеры стилей и провели между ними соревнование. Победил кластер с очень мягкой и приятной интонацией.
Дальше началось самое интересное. Мы взяли образцы синтезированной «мягкой» речи Алисы и фрагменты речи актрисы Татьяны Шитовой, которые относились к более резкому стилю. Затем эти образцы с одним и тем же текстом протестировали вслепую на толокерах. Оказалось, что люди выбирают синтезированный вариант Алисы, несмотря на более плохое качество по сравнению с реальной речью человека. В принципе, этого можно было ожидать: уверен, многие предпочтут более ласковый разговор по телефону то есть с потерей в качестве живому, но холодному общению.
К примеру, так звучал резкий голос: А так — мягкий: Результаты турниров позволили нам выделить во всем обучающем датасете данные, которые относятся к стилю-победителю, и использовать для обучения только их. Благодаря этому Алиса по умолчанию стала говорить более мягким и дружелюбным голосом. Этот пример показывает, что с точки зрения восприятия важно работать не только над качеством синтеза, но и над стилем речи. После этого оставалось только обогатить Алису новыми эмоциями. Бодрая или спокойная: управляем эмоциями Алисы Когда вы включаете утреннее шоу Алисы или запускаете автоматический перевод лекции на YouTube, то слышите разные голоса — бодрый в первом случае и более флегматичный в другом.
Эту разницу сложно описать словами, но она интуитивно понятна — люди хорошо умеют распознавать эмоции и произносить один и тот же текст с разной эмоциональной окраской. Мы обучили этому навыку Алису с помощью той же разметки подсказок, которую применили для стилей. У языка есть интересное свойство — просодия , или набор элементов, которые не выражаются словами. Это особенности произношения, интенсивность, придыхание и так далее. Один текст можно произнести со множеством смыслов.
Как и в случае со стилями речи, можно, например, выделить кластеры «веселая Алиса», «злая Алиса» и так далее. Поскольку стилевой механизм отделяет просодию «как говорим» от артикуляции «что говорим» , то новую эмоцию можно получить буквально из пары часов данных. По сути, нейросети нужно только выучить стиль, а информацию о том, как читать сочетания фонем, она возьмёт из остального корпуса. Прямо сейчас доступны три эмоции. Например, часть пользователей утреннего шоу Алисы слышат бодрую эмоцию.
Кроме того, её можно услышать, спросив Алису «Кем ты работаешь? Флегматичная эмоция пригодилась для перевода видео — оказалось, что голос по умолчанию слишком игривый для этой задачи. Наконец, радостная эмоция нужна для ответов Алисы на специфические запросы вроде «Давай дружить» и «Орёл или решка? Ещё есть негативная эмоция, которую пока не знаем, как использовать — сложно представить ситуацию, когда людям понравится, что на них ругается робот. Первый корпус эмоций мы записали ещё при WaveGlow, но результат нас не устроил и выкатывать его не стали.
С переходом на HiFi-GAN стало понятно, что он хорошо работает с эмоциями, это позволило запустить полноценный эмоциональный синтез. Наконец, мы решили внедрить шёпот. Когда люди обращаются к Алисе шёпотом, она должна и отвечать шёпотом — это делает её человечнее. При этом шёпот — не просто тихая речь, там слова произносятся без использования голосовых связок. Спектр звука получается совсем другим.
С одной стороны, это упрощает детекцию шёпота: по «картинке» мел-спектрограммы можно понять, где заканчивается обычная речь и начинается шепот. С другой стороны, это усложняет синтез шёпота: привычные механизмы обработки и подготовки речи перестают работать. Поэтому шёпотный синтез нельзя получить детерминированным преобразованием сигнала из речи. Так выглядят мел-спектрограммы обычной речи и шёпота при произнесении одной и той же фразы: Так звучит обычная речь: А так — шёпот: Сначала мы научили Алису понимать шёпот. Для этого обучили нейросеть различать спектры звука для обычного голоса и шёпота.
Система смотрит на спектр звука и решает, когда говорят шёпотом, а когда — голосом. В процессе обучения оказалось, что спектры шёпота и речи курильщиков похожи, так что пришлось научить нейросеть их различать. Для этого собрали больше пограничных данных с речью курильщиков и простуженных людей и донастроили нейросеть на них. Чтобы научить Алису говорить шёпотом, мы записали несколько часов шёпота речи в исполнении Татьяны Шитовой. Сложности начались уже на предобработке данных: наш VAD детектор тишины в речи сломался на шёпотных гласных — трудно отличить сказанное шёпотом «а!
Починить его удалось, только совместив признаки энергии сигнала и данные от распознавания речи, при этом под шёпот конструкцию пришлось калибровать отдельно. Затем записанные данные добавили в обучающий корпус акустической модели. Мы решили рассматривать шёпот как еще один «стиль» речи или, в терминах нашего синтеза, «эмоцию». Добавив данные в трейнсет, мы дали акустической модели на вход дополнительную информацию — шёпот или эмоцию она сейчас проигрывает. По этому входу модель научилась по команде пользователя переключаться между генерацией речи и шёпота.
Сгенерированный шёпот по качеству не отличался от обычной речи.
Позже функция станет доступна и на других колонках. По традиции, на специальной странице Яндекс собрал всю информацию о настройках и совместимых устройствах.
Музыке», где собрана специально отобранная музыка для пользователя. Персональное утреннее шоу уже доступно в «Яндекс. Станции», «Станции Мини» и других «умных» колонках с «Алисой».
Архитектура WaveGlow основана на генеративных потоках — довольно изящном методе создания генеративных сетей, впервые предложенном в статье про генерацию лиц. Сеть обучается конвертировать случайный шум и мел-спектрограмму на входе в осмысленный wav-сэмпл. За счёт случайного шума на входе обеспечивается выбор случайной wav-ки — одной из множества соответствующих мел-спектрограмме. Как я объяснил выше, в домене речи такой случайный выбор будет лучше детерминированного среднего по всем возможным wav-кам. В отличие от WaveNet, WaveGlow не авторегрессионен, то есть не требует для генерации нового wav-сэмпла знания предыдущих. Его параллельная свёрточная архитектура хорошо ложится на вычислительную модель видеокарты, позволяя за одну секунду работы генерировать несколько сотен секунд звука. Главное отличие, за счёт которого HiFi-GAN обеспечивает гораздо лучшее качество, заключается в наборе подсетей-дискриминаторов. Они валидируют натуральность звука, смотря на сэмплы с различными периодами и на различном масштабе. Как и WaveGlow, HiFi-GAN не имеет авторегрессионной зависимости и хорошо параллелится, при этом новая сеть намного легковеснее, что позволило при реализации ещё больше повысить скорость синтеза. Кроме того, оказалось, что HiFi-GAN лучше работает на экспрессивной речи, что в дальнейшем позволило запустить эмоциональный синтез — об этом подробно расскажу чуть позже. Схема HiFi-GAN из статьи авторов модели Комбинация этих трёх компонентов позволила вернуться к параметрическому синтезу голоса, который звучал плавно и качественно, требовал меньше данных и давал больше возможностей в кастомизации и изменении стиля голоса. Параллельно мы работали над улучшением отдельных элементов синтеза: Летом 2019 года выкатили разрешатор омографов homograph resolver — он научил Алису правильно ставить ударения в парах «зАмок» и «замОк», «белкИ» и «бЕлки» и так далее. Здесь мы нашли остроумное решение. В русском языке эти слова пишутся одинаково, но в английском написание отличается, например, castle и lock, proteins и squirrels. Из этого представления легко выделить информацию о том, как произносить омограф, ведь перевод должен различать формы для корректного подбора английского варианта. Буквально на 20 примерах можно выучить классификатор для нового омографа, чтобы по эмбеддингу перевода понимать, какую форму нужно произнести. Летом 2020 года допилили паузер для расстановки пауз внутри предложения. Язык — хитрая штука. Не все знаки препинания в речи выражаются паузами Например, после вводного слова «конечно» на письме мы ставим запятую, но в речи обычно не делаем паузу. А там, где знаков препинания нет, мы часто делаем паузы. Если эту информацию не передавать в акустическую модель, то она пытается её выводить и не всегда успешно. Первая модель Алисы из-за этого могла начать вздыхать в случайных местах длинного предложения. Для этого мы взяли датасет, разметили его детектором активности голоса, сгруппировали паузы по длительности, ввели класс длины паузы, на каждое слово навесили тэг и на этом корпусе обучили ещё одну голову внимания из тех же нейросетевых эмбеддингов, что использовались для детекции омографов. Осенью 2020 года мы перевели на трансформеры нормализацию — в синтезе она нужна, чтобы решать сложные случаи, когда символы читаются не «буквально», а по неким правилам. Например, «101» нужно читать не как «один-ноль-один», а как «сто один», а в адресе yandex. Обычно нормализацию делают через комбинацию взвешенных трансдьюсеров FST — правила напоминают последовательность замен по регулярным выражениям, где выбирается замена, имеющая наибольший вес. Мы долго писали правила вручную, но это отнимало много сил, было очень сложно и не масштабируемо. Тогда решили перейти на трансформерную сеть, «задистиллировав» знания наших FST в нейронку. Теперь новые «правила раскрытия» можно добавлять через доливание синтетики и данных, размеченных пользователями Толоки, а сеть показывает лучшее качество, чем FST, потому что учитывает глобальный контекст. Итак, мы научили Алису говорить с правильными интонациями, но это не сделало ее человеком — ведь в нашей речи есть еще стиль и эмоции. Работа продолжалась. С чувством, толком, расстановкой: стили голоса Алисы Один и тот же текст можно произнести десятком разных способов, при этом сам исходный текст, как правило, никаких подсказок не содержит. Если отправить такой текст в акустическую модель без дополнительных меток и обучить её на достаточно богатом различными стилями и интонациями корпусе, то модель сойдёт с ума — либо переусреднит всё к металлическому «голосу робота», либо начнёт генерировать случайный стиль на каждое предложение. Это и произошло с Алисой: в начале она воспроизводила рандомные стили в разговоре. Казалось, что у неё менялось настроение в каждом предложении. Вот пример записи с явными перебоями в стилях: Чтобы решить проблему, мы добавили в акустическую модель стили: в процессе обучения нейросети специально ввели «утечку». Суть в том, что через очень lossy-пространство всего 16 чисел на всё предложение разрешаем сетке посмотреть на ответ — истинную мел-спектрограмму, которую ей и нужно предсказать на обучении. За счёт такой «шпаргалки» сеть не пытается выдумывать непредсказуемую по тексту компоненту, а для другой информации не хватит размерности шпаргалки. На инференсе мы генерируем стилевую подсказку, похожую на те, что были в обучающем сете. Это можно делать, взяв готовый стиль из обучающего примера или обучив специальную подсеть генерировать стили по тексту. Если эту подсеть обучить на особом подмножестве примеров, можно получить специальные стили для, скажем, мягкого или дружелюбного голоса. Или резкого и холодного. Или относительно нейтрального. Чтобы определиться со стилем по умолчанию, мы устроили турнир, где судьями выступали пользователи Толоки. Там не было разметки, мы просто нашли кластеры стилей и провели между ними соревнование. Победил кластер с очень мягкой и приятной интонацией. Дальше началось самое интересное. Мы взяли образцы синтезированной «мягкой» речи Алисы и фрагменты речи актрисы Татьяны Шитовой, которые относились к более резкому стилю. Затем эти образцы с одним и тем же текстом протестировали вслепую на толокерах. Оказалось, что люди выбирают синтезированный вариант Алисы, несмотря на более плохое качество по сравнению с реальной речью человека. В принципе, этого можно было ожидать: уверен, многие предпочтут более ласковый разговор по телефону то есть с потерей в качестве живому, но холодному общению. К примеру, так звучал резкий голос: А так — мягкий: Результаты турниров позволили нам выделить во всем обучающем датасете данные, которые относятся к стилю-победителю, и использовать для обучения только их. Благодаря этому Алиса по умолчанию стала говорить более мягким и дружелюбным голосом. Этот пример показывает, что с точки зрения восприятия важно работать не только над качеством синтеза, но и над стилем речи. После этого оставалось только обогатить Алису новыми эмоциями. Бодрая или спокойная: управляем эмоциями Алисы Когда вы включаете утреннее шоу Алисы или запускаете автоматический перевод лекции на YouTube, то слышите разные голоса — бодрый в первом случае и более флегматичный в другом. Эту разницу сложно описать словами, но она интуитивно понятна — люди хорошо умеют распознавать эмоции и произносить один и тот же текст с разной эмоциональной окраской.
Умные колонки с "Алисой" научились вести персонализированные утренние шоу
| Вышло апрельское обновление Алисы и умных устройств Яндекса | The GEEK | Помимо чтения актуальных новостей по утрам, «Алиса» также научилась отслеживать эфиры радиостанций. Утренние шоу впервые появились в апреле этого года. |
| Утреннее шоу Алисы теперь можно настроить на свой вкус | Теперь навыки смогут отправлять короткий регулярный контент в утреннее шоу Алисы. |
| Шёпот и эмоции в Алисе: история развития голосового синтеза Яндекса | Теперь пользователи могут добавить новости в Утреннее шоу Алисы. |
| Утреннее шоу Алисы теперь можно настроить на свой вкус | Чтобы запустить программу, нужно сказать: «Алиса, включи утреннее шоу!». Паузы между новостями и песнями голосовой помощник заполняет актуальной информацией. |
Утреннее шоу Алисы стало персональным 😎
Заявлено, что все это будет очень персонализировано, а не по какому-то одному определенному шаблону для всех пользователей. Но будет и общая полезная информация — например, прогноз погоды на день, а сейчас — подборки актуальных материалов, которые могут быть полезными в режиме самоизоляции у себя дома. Руководитель проекта "Алиса" Андрей Законов отмечает, что данное нововведение было сделано с той целью, чтобы Алису стали воспринимать не только как умного помощника с голосовым «интерфейсом», а как некоего виртуального компаньона, который может не только быть полезным в конкретных задачах, но и помогать приятно провести время в своей компании, тем более, в условиях сокращения социальных контактов.
Несложные манипуляции с настройками — и человек получает именно то, что хочет. Думаю, новую возможность особенно оценят авторы подкастов, у которых появилась ещё одна площадка», — отметил Андрей Законов, руководитель продукта голосового помощника «Алиса». Помимо чтения актуальных новостей по утрам, «Алиса» также научилась отслеживать эфиры радиостанций.
Отметим, что включить утреннее шоу от Алисы можно не только утром. Оно доступно в любое время дня. При этом для шоу всегда подбираются актуальные к текущему моменту новости если в настройках указано, что шоу должно включать в себя новости. И тогда вместо мелодии будильника будет воспроизводиться шоу.
Как настроить утреннее шоу от Алисы Пользователь Яндекс Станции может сформировать в утреннем шоу именно то, что он хочет слышать с утра. Например, это могут быть новостные сюжеты, информация об экономике, новые сведения о науке и так далее. Для настройки своего собственного утреннего шоу Алисы можно использовать официальное мобильное приложения Яндекс.
Правда, на более низком уровне обновилось примерно всё. Акустическая модель В отличие от старой параметрики, новую модель мы построили на основе seq2seq-подхода с механизмом внимания. Помните проблему с потерей контекста в нашей ранней параметрике?
Если нет нормального контекста, то нет и нормальной интонации в речи. Решение пришло из машинного перевода. Дело в том, что в машинном переводе как раз возникает проблема глобального контекста — смысл слов в разных языках может задаваться разным порядком или вообще разными структурами, поэтому порой для корректного перевода предложения нужно увидеть его целиком. Для решения этой задачи исследователи предложили механизм внимания — идея в том, чтобы рассмотреть всё предложение разом, но сфокусироваться через softmax-слой на небольшом числе «важных» токенов. При генерации каждого нового выходного токена нейросеть смотрит на обработанные токены фонемы для речевого синтеза или символы языка для перевода входа и «решает», насколько каждый из них важен на этом шаге. Оценив важность, сеть учитывает её при агрегировании результатов и получает информацию для генерации очередного токена выхода.
Таким образом нейросеть может заглянуть в любой элемент входа на любом шаге и при этом не перегружается информацией, поскольку фокусируется на небольшом количестве входных токенов. Для синтеза важна подобная глобальность, так как интонация сама по себе глобальна и нужно «видеть» всё предложение, чтобы правильно его проинтонировать. На тот момент для синтеза была хорошая seq2seq-архитектура Tacotron 2 — она и легла в основу нашей акустической модели. Мел-спектрограмма Параметрическое пространство можно сжать разными способами. Более сжатые представления лучше работают с примитивными акустическими моделями и вокодерами — там меньше возможностей для ошибок. Более полные представления позволяют лучше восстановить wav, но их генерация — сложная задача для акустической модели.
Кроме того, восстановление из таких представлений у детерминированных вокодеров не очень качественное из-за их нестабильности. С появлением нейросетевых вокодеров сложность промежуточного пространства стала расти и сейчас в индустрии одним из стандартов стала мел-спектрограмма. Она отличается от обычного распределения частоты звука по времени тем, что частоты переводятся в особую мел-частоту звука. Другими словами, мел-спектрограмма — это спектрограмма, в которой частота звука выражена в мелах , а не герцах. Мелы пришли из музыкальной акустики, а их название — это просто сокращение слова «мелодия». Строение улитки уха из Википедии Эта шкала не линейная и основана на том, что человеческое ухо по-разному воспринимает звук различной частоты.
Вспомните строение улитки в ухе: это просто канал, закрученный по спирали. Высокочастотный звук не может «повернуть» по спирали, поэтому воспринимается достаточно короткой частью слуховых рецепторов. Низкочастотный же звук проходит вглубь. Поэтому люди хорошо различают низкочастотные звуки, но высокочастотные сливаются. Мел-спектрограмма как раз позволяет представить звук, акцентируясь на той части спектра, которая значимо различается слухом. Это полезно, потому что мы генерируем звук именно для человека, а не для машины.
Вот как выглядит мел-спектрограмма синтеза текста «Я — Алиса»: У мел-спектрограммы по одному измерению [X на рисунке выше] — время, по другому [Y] — частота, а значение [яркость на рисунке] — мощность сигнала на заданной частоте в определенный момент времени. Проще говоря, эта штуковина показывает, какое распределение по мощностям было у различных частот звука в конкретный момент. Мел-спектрограмма непрерывна, то есть с ней можно работать как с изображением. А так звучит результат синтеза: 3. Новый вокодер Вероятно, вы уже догадались, что мы перешли к использованию нового нейросетевого вокодера. Именно он в реальном времени превращает мел-спектрограмму в голос.
Наиболее близкий аналог нашего первого решения на основе нейросетей, которое вышло в 2018 году — модель WaveGlow. Архитектура WaveGlow основана на генеративных потоках — довольно изящном методе создания генеративных сетей, впервые предложенном в статье про генерацию лиц. Сеть обучается конвертировать случайный шум и мел-спектрограмму на входе в осмысленный wav-сэмпл. За счёт случайного шума на входе обеспечивается выбор случайной wav-ки — одной из множества соответствующих мел-спектрограмме. Как я объяснил выше, в домене речи такой случайный выбор будет лучше детерминированного среднего по всем возможным wav-кам. В отличие от WaveNet, WaveGlow не авторегрессионен, то есть не требует для генерации нового wav-сэмпла знания предыдущих.
Его параллельная свёрточная архитектура хорошо ложится на вычислительную модель видеокарты, позволяя за одну секунду работы генерировать несколько сотен секунд звука. Главное отличие, за счёт которого HiFi-GAN обеспечивает гораздо лучшее качество, заключается в наборе подсетей-дискриминаторов. Они валидируют натуральность звука, смотря на сэмплы с различными периодами и на различном масштабе. Как и WaveGlow, HiFi-GAN не имеет авторегрессионной зависимости и хорошо параллелится, при этом новая сеть намного легковеснее, что позволило при реализации ещё больше повысить скорость синтеза. Кроме того, оказалось, что HiFi-GAN лучше работает на экспрессивной речи, что в дальнейшем позволило запустить эмоциональный синтез — об этом подробно расскажу чуть позже. Схема HiFi-GAN из статьи авторов модели Комбинация этих трёх компонентов позволила вернуться к параметрическому синтезу голоса, который звучал плавно и качественно, требовал меньше данных и давал больше возможностей в кастомизации и изменении стиля голоса.
Параллельно мы работали над улучшением отдельных элементов синтеза: Летом 2019 года выкатили разрешатор омографов homograph resolver — он научил Алису правильно ставить ударения в парах «зАмок» и «замОк», «белкИ» и «бЕлки» и так далее. Здесь мы нашли остроумное решение. В русском языке эти слова пишутся одинаково, но в английском написание отличается, например, castle и lock, proteins и squirrels. Из этого представления легко выделить информацию о том, как произносить омограф, ведь перевод должен различать формы для корректного подбора английского варианта. Буквально на 20 примерах можно выучить классификатор для нового омографа, чтобы по эмбеддингу перевода понимать, какую форму нужно произнести. Летом 2020 года допилили паузер для расстановки пауз внутри предложения.
Язык — хитрая штука. Не все знаки препинания в речи выражаются паузами Например, после вводного слова «конечно» на письме мы ставим запятую, но в речи обычно не делаем паузу. А там, где знаков препинания нет, мы часто делаем паузы. Если эту информацию не передавать в акустическую модель, то она пытается её выводить и не всегда успешно. Первая модель Алисы из-за этого могла начать вздыхать в случайных местах длинного предложения. Для этого мы взяли датасет, разметили его детектором активности голоса, сгруппировали паузы по длительности, ввели класс длины паузы, на каждое слово навесили тэг и на этом корпусе обучили ещё одну голову внимания из тех же нейросетевых эмбеддингов, что использовались для детекции омографов.
8 новых фишек «Яндекс Станций» и «Яндекс ТВ Станций», которые появились в апреле
первый шаг в этом направлении". Мы расскажем, что такое сценарии для Алисы, чем они отличаются от команд и какие хорошие команды уже придумали пользователи. Умная лампочка Яндекс с Алисой, цоколь E27, белая (YNDX-00501). Добавьте в голосовой помощник Алису от Яндекса новые навыки на тему — Новости.
Что нового в апреле у Алисы и умных устройств
| Что нового в апреле у Алисы и умных устройств | В Алису от Яндекса добавили функцию Утреннее шоу. |
| Вышло большое обновление Алисы. Смотри, что теперь умеет твоя Яндекс Станция | | Что сказать: «Алиса, запусти утреннее шоу», «Алиса, включи утреннее шоу». Эти программы помогают узнать нужную информацию в начале дня или рассказать о том, что вы могли пропустить. |
Топовые фишки Яндекс.Станции, о которых вы могли не знать
Голосовой помощник «Алиса» научили проводить утренние шоу, которые подстраиваются под определённого пользователя. Кроме того, в голосовом помощнике появились новости радиостанций. Утреннее шоу — это развлекательная программа, где «Алиса» выступает в роли ведущей. Друзья Алисы и пользователи сервисов Яндекса, общаясь с Алисой, смогут узнавать актуальные новости из мира мотоциклов. Яндекс Станция включает Шоу Алисы (погода, новости, музыка и т.п.). Об этом я рассказываю ниже. Для утреннего сценария использую автоматизацию охлаждения кухни кондиционером.
Артём Баусов
- Новые функции «Алисы» и «Яндекс Станций» за апрель 2024 года
- Свежие материалы
- Утреннее шоу «Алисы» стало персональным
- Тексты песен на ТВ Станциях
Слушать утреннее и вечернее шоу Алисы на Станции
Навык «Утреннее шоу» Алисы идеально подходит для людей, которые хотят быть в курсе всех новостей и интересных мероприятий. Для этого достаточно открыть приложение Яндекс и сказать: «Алиса, открой настройки шоу» или «Алиса, открой настройки новостей». Теперь пользователи могут добавить новости в Утреннее шоу Алисы. Чтобы настроить «Новости колонка Алиса», вам нужно открыть мобильное приложение или сайт Яндекс.
Артём Баусов
- «Алиса» научилась вести утренние шоу — Игромания
- Популярное
- Утреннее шоу «Алисы» стало персональным
- Новый формат контента в утреннем шоу Алисы: истории от навыков
«Яндекс» научил «Алису» вести персональное утреннее шоу
Музыке - в нем собраны треки, отобранные для пользователя. Создатели подчеркивают, что Алиса прекрасно ориентируется в происходящем и говорит о том, что волнует людей. Например, сейчас в паузах между новостями и песнями Алиса рассказывает, как с пользой и удовольствием провести время дома. Поэтому мы учим ее следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу - первый шаг в этом направлении", - говорит руководитель продукта Андрей Законов. Где слушать Утреннее шоу доступно в Яндекс.
И в этот же момент к слушателям придут новости, прогноз погоды, музыка и короткие подкасты - например, о том, способны ли животные обманывать или как влияет шоколад на здоровье. Еще до шоу Алиса выступала диджеем: она ставит и комментирует песни из персонального плейлиста дня на Яндекс. Музыке - в нем собраны треки, отобранные для пользователя.
Создатели подчеркивают, что Алиса прекрасно ориентируется в происходящем и говорит о том, что волнует людей. Например, сейчас в паузах между новостями и песнями Алиса рассказывает, как с пользой и удовольствием провести время дома.
Как и WaveGlow, HiFi-GAN не имеет авторегрессионной зависимости и хорошо параллелится, при этом новая сеть намного легковеснее, что позволило при реализации ещё больше повысить скорость синтеза. Кроме того, оказалось, что HiFi-GAN лучше работает на экспрессивной речи, что в дальнейшем позволило запустить эмоциональный синтез — об этом подробно расскажу чуть позже. Схема HiFi-GAN из статьи авторов модели Комбинация этих трёх компонентов позволила вернуться к параметрическому синтезу голоса, который звучал плавно и качественно, требовал меньше данных и давал больше возможностей в кастомизации и изменении стиля голоса. Параллельно мы работали над улучшением отдельных элементов синтеза: Летом 2019 года выкатили разрешатор омографов homograph resolver — он научил Алису правильно ставить ударения в парах «зАмок» и «замОк», «белкИ» и «бЕлки» и так далее. Здесь мы нашли остроумное решение. В русском языке эти слова пишутся одинаково, но в английском написание отличается, например, castle и lock, proteins и squirrels. Из этого представления легко выделить информацию о том, как произносить омограф, ведь перевод должен различать формы для корректного подбора английского варианта. Буквально на 20 примерах можно выучить классификатор для нового омографа, чтобы по эмбеддингу перевода понимать, какую форму нужно произнести.
Летом 2020 года допилили паузер для расстановки пауз внутри предложения. Язык — хитрая штука. Не все знаки препинания в речи выражаются паузами Например, после вводного слова «конечно» на письме мы ставим запятую, но в речи обычно не делаем паузу. А там, где знаков препинания нет, мы часто делаем паузы. Если эту информацию не передавать в акустическую модель, то она пытается её выводить и не всегда успешно. Первая модель Алисы из-за этого могла начать вздыхать в случайных местах длинного предложения. Для этого мы взяли датасет, разметили его детектором активности голоса, сгруппировали паузы по длительности, ввели класс длины паузы, на каждое слово навесили тэг и на этом корпусе обучили ещё одну голову внимания из тех же нейросетевых эмбеддингов, что использовались для детекции омографов. Осенью 2020 года мы перевели на трансформеры нормализацию — в синтезе она нужна, чтобы решать сложные случаи, когда символы читаются не «буквально», а по неким правилам. Например, «101» нужно читать не как «один-ноль-один», а как «сто один», а в адресе yandex. Обычно нормализацию делают через комбинацию взвешенных трансдьюсеров FST — правила напоминают последовательность замен по регулярным выражениям, где выбирается замена, имеющая наибольший вес.
Мы долго писали правила вручную, но это отнимало много сил, было очень сложно и не масштабируемо. Тогда решили перейти на трансформерную сеть, «задистиллировав» знания наших FST в нейронку. Теперь новые «правила раскрытия» можно добавлять через доливание синтетики и данных, размеченных пользователями Толоки, а сеть показывает лучшее качество, чем FST, потому что учитывает глобальный контекст. Итак, мы научили Алису говорить с правильными интонациями, но это не сделало ее человеком — ведь в нашей речи есть еще стиль и эмоции. Работа продолжалась. С чувством, толком, расстановкой: стили голоса Алисы Один и тот же текст можно произнести десятком разных способов, при этом сам исходный текст, как правило, никаких подсказок не содержит. Если отправить такой текст в акустическую модель без дополнительных меток и обучить её на достаточно богатом различными стилями и интонациями корпусе, то модель сойдёт с ума — либо переусреднит всё к металлическому «голосу робота», либо начнёт генерировать случайный стиль на каждое предложение. Это и произошло с Алисой: в начале она воспроизводила рандомные стили в разговоре. Казалось, что у неё менялось настроение в каждом предложении. Вот пример записи с явными перебоями в стилях: Чтобы решить проблему, мы добавили в акустическую модель стили: в процессе обучения нейросети специально ввели «утечку».
Суть в том, что через очень lossy-пространство всего 16 чисел на всё предложение разрешаем сетке посмотреть на ответ — истинную мел-спектрограмму, которую ей и нужно предсказать на обучении. За счёт такой «шпаргалки» сеть не пытается выдумывать непредсказуемую по тексту компоненту, а для другой информации не хватит размерности шпаргалки. На инференсе мы генерируем стилевую подсказку, похожую на те, что были в обучающем сете. Это можно делать, взяв готовый стиль из обучающего примера или обучив специальную подсеть генерировать стили по тексту. Если эту подсеть обучить на особом подмножестве примеров, можно получить специальные стили для, скажем, мягкого или дружелюбного голоса. Или резкого и холодного. Или относительно нейтрального. Чтобы определиться со стилем по умолчанию, мы устроили турнир, где судьями выступали пользователи Толоки. Там не было разметки, мы просто нашли кластеры стилей и провели между ними соревнование. Победил кластер с очень мягкой и приятной интонацией.
Дальше началось самое интересное. Мы взяли образцы синтезированной «мягкой» речи Алисы и фрагменты речи актрисы Татьяны Шитовой, которые относились к более резкому стилю. Затем эти образцы с одним и тем же текстом протестировали вслепую на толокерах. Оказалось, что люди выбирают синтезированный вариант Алисы, несмотря на более плохое качество по сравнению с реальной речью человека. В принципе, этого можно было ожидать: уверен, многие предпочтут более ласковый разговор по телефону то есть с потерей в качестве живому, но холодному общению. К примеру, так звучал резкий голос: А так — мягкий: Результаты турниров позволили нам выделить во всем обучающем датасете данные, которые относятся к стилю-победителю, и использовать для обучения только их. Благодаря этому Алиса по умолчанию стала говорить более мягким и дружелюбным голосом. Этот пример показывает, что с точки зрения восприятия важно работать не только над качеством синтеза, но и над стилем речи. После этого оставалось только обогатить Алису новыми эмоциями. Бодрая или спокойная: управляем эмоциями Алисы Когда вы включаете утреннее шоу Алисы или запускаете автоматический перевод лекции на YouTube, то слышите разные голоса — бодрый в первом случае и более флегматичный в другом.
Эту разницу сложно описать словами, но она интуитивно понятна — люди хорошо умеют распознавать эмоции и произносить один и тот же текст с разной эмоциональной окраской. Мы обучили этому навыку Алису с помощью той же разметки подсказок, которую применили для стилей. У языка есть интересное свойство — просодия , или набор элементов, которые не выражаются словами. Это особенности произношения, интенсивность, придыхание и так далее. Один текст можно произнести со множеством смыслов. Как и в случае со стилями речи, можно, например, выделить кластеры «веселая Алиса», «злая Алиса» и так далее. Поскольку стилевой механизм отделяет просодию «как говорим» от артикуляции «что говорим» , то новую эмоцию можно получить буквально из пары часов данных. По сути, нейросети нужно только выучить стиль, а информацию о том, как читать сочетания фонем, она возьмёт из остального корпуса. Прямо сейчас доступны три эмоции.
Ключевые особенности: Участвовать в утреннем шоу могут все навыки общего типа.
Пользователь услышит конкретную историю от навыка только один раз. Если у навыка несколько актуальных историй, пользователю будет рассказана самая свежая. В утреннее шоу не попадут истории старше семи дней.
Утреннее шоу «Алисы» стало персональным
В конце 2020 года утреннее шоу Алисы стало персонализированным. Какие новости нужно выбирать, чтобы быть в курсе последних событий, но не утомляться излишним потоком информации? Помимо чтения актуальных новостей по утрам, «Алиса» также научилась отслеживать эфиры радиостанций. Утренние шоу впервые появились в апреле этого года. Виртуальный ассистент Алиса поставит утреннее шоу: слушайте музыку, новости, подкасты и настраивайтесь на день. Выбрать тематику новостей и подкастов можно в приложении «Яндекс», сказав «Алиса, открой настройки шоу» или «Алиса, открой настройки новостей». Утреннее шоу Алисы теперь можно настроить на свой вкус. Для настройки новостей на умной колонке необходимо выполнить несколько простых шагов.
Слушать утреннее и вечернее шоу Алисы на Станции
| Утреннее шоу Алисы стало персональным 😎 | В гостях у Алисы | Дзен | Утреннее шоу Алисы – получайте новости и полезную информацию каждое утро. |
| Алиса запустила утреннее шоу с персональными рекомендациями | Утреннее шоу Алисы — как настроить и использовать Утреннее шоу Алисы позволяет ознакомиться с новейшими новостями, прослушать интересные подкаcты и. Для того чтобы настроить новости на колонке с Алисой Яндекс. |
| Голосовой помощник Алиса начала вести свое утреннее шоу - Российская газета | Выбрать тематику новостей и подкастов можно в приложении «Яндекс», сказав «Алиса, открой настройки шоу» или «Алиса, открой настройки новостей». |
| Умные колонки с "Алисой" научились вести персонализированные утренние шоу | Мы расскажем, что такое сценарии для Алисы, чем они отличаются от команд и какие хорошие команды уже придумали пользователи. |
| Как взглянуть на «Алису» по-новому? 5 необычных навыков для «Яндекс.Станции» | MAXIM | Утреннее шоу представляет собой некий “винегрет” из интересных публикаций и новостей с различных сайтов, навыков Алисы и музыки. |
«Алиса» научилась вести утренние шоу
Дополнительно в коридоре установлена умная кнопка, нажимаете один раз - включается свет на кухне, это помогает сразу занести пакеты с продуктами. В коридоре дополнительно висит датчик движения - если нет движения, то через некоторое время свет в коридоре выключится. Вы прошли на кухню, разгружаете пакеты с продуктами - стало жарко. Вы голосом попросили Алису Яндекс Станцию Мини которая расположена на кухне включить кондиционер. Она запускает кондиционер. Вы также могли этого избежать - если бы заранее установили сценарий температура в комнате выше 26, включается кондиционер на 20 минут. После того как вы расставили продукты по местам - время принять душ.
Был тяжелый день, пришло время немного расслабиться. Вы заходите в ванную комнату, свет включился самостоятельно. Попросили Алису Яндекс Станцию Мини которая расположена в ванной включить музыку. Пока моетесь Вы заметили, что в ванной повысилась влажность и вентиляционная вытяжка в ванной заработала. Время отдыха и чиллить. Куранты на Яндекс Станциях пробили 11 часов.
Голосовым управлением запустили телевизор я обычно включаю когда нахожусь на кухне и собираюсь спать и включаю китайскую светодиодную ленту. Пока телевизор запускается - можно пошарить экранчики с графиками. Время просмотра фильмов, но экран слишком яркий? Голосовым управлением или с помощью телефона запустился сценарий "яркость для ночного режима". День закончился, голосом или возможно установленной кнопкой возле кровати - вы выключили все в квартире. Вам снятся электроовцы.
Наступил следующий день. Вас разбудил будильник установленный заранее на Яндекс Станции. Можно поставить и какую-то определенную музыку для пробуждения. Не хватает здесь настройки будильников через приложение Умный Дом Яндекса. Кажется, мы уже проснулись? Вы говорите "Алиса, доброе утро" Яндекс Станции 2.
Она вас также приветствует, и под музыку начинается новый день. Зачитывает новости моего маленького города. Здесь не хватает автоматизации для открытия штор и заварки кофе - но и этого хватит. Началась ежедневная рутина. Когда Вы сказали "доброе утро" - на кухне включился кондиционер автоматизации нет, если температура за окном минус 35 градусов, придется ручками заранее отключать работу кондиционера в данном моём сценарии. Вы направились на кухню, время готовить.
На балконе в закрытом шкафу лежит спрятанный пакетик листиков для заварки чая. Как только Вы открыли дверь балкона - кондиционер автоматически выключился. Пришлось запускать голосом. Время отправляться на работу. Вы приняли душ под энергичную музыку которую включила умная станция по потоку рекомендаций. Геля для душа осталось не так много.
Вы говорите «Алиса, добавь в список покупок: гель для душа и зубную пасту». Когда будете возвращаться домой после работы — не забудьте открыть список покупок на телефоне. Вытяжка работает исправна.
Несложные манипуляции с настройками — и человек получает именно то, что хочет. Думаю, новую возможность особенно оценят авторы подкастов, у которых появилась ещё одна площадка», — отметил Андрей Законов, руководитель продукта голосового помощника «Алиса». Помимо чтения актуальных новостей по утрам, «Алиса» также научилась отслеживать эфиры радиостанций.
Огромный плюс — синхронизация прогресса между всеми устройствами. Если на умной колонке поставить аудиокнигу на паузу и позже включить на смартфоне, то воспроизведение продолжится на том же месте. А позже «Алису» хотят научить не только находить, оплачивать и включать нужные книги, но и давать рекомендации на основе пользовательских вкусов. А на закуску — милейшая и одна из самых новых коллабораций: «Алиса» и Whiskas Дома есть коты и кошки? А может, вы только готовитесь к их появлению? Тогда говорим вот какую команду: «Алиса, запусти навык «Больше мурррчаний с Whiskas». Это поможет котородителям сделать так, чтобы питомец был счастлив. Навык включает в себя пять разделов с рекомендациями по уходу и заботе: котокухня, котомузыка, котоигры, котоуход и котомассаж. Все это с озвучкой от Николая Дроздова. Ну а чей еще голос можно было представить, когда речь идет о животных? Алиса дает полезные советы о том, как обустроить уютное и безопасное пространство для игр и отдыха, провести расслабляющий сеанс котомассажа и приучить питомца к тактильности или подобрать котенку оптимальный рацион. Также есть забавный раздел с комплиментами для кошек: пусть даже они не понимают речь, но чувствуют интонации и любят слова с шипящими и свистящими звуками.
На данный момент в базе ассистента 11 рубрик для новостей и 21 рубрика для подкастов. Telegram-канал создателя Трешбокса про технологии «С умной колонкой можно слушать что угодно. Утреннее шоу — это такой формат, который позволяет собрать воедино то, что любишь.
«Яндекс» научил «Алису» вести персональное утреннее шоу
Теперь можно выводить тексты песен на экран «ТВ Станции», управлять видео голосом, настраивать «Утреннее шоу». Добавлены новые спортивные каналы и афиша мероприятий на «Станции Дуо Макс». Режим радионяни доступен всем пользователям, улучшен звонок без шума В апрельском обновлении «Алисы» и «Яндекс Станций» добавлено множество новых функций, которые сделают использование устройств более удобным и разнообразным. Тексты песен на «ТВ Станциях» Теперь можно выводить тексты песен на экране во время прослушивания музыки. Приложение «Яндекс Музыка» автоматически синхронизирует текст с исполняемой песней. Эта функция доступна как для российских, так и для зарубежных треков.
Но для его работы необходимо иметь подписку на Яндекс Плюс. Можно сказать, что утреннее шоу от Алисы — это некая замена радиостанциям. Обратите внимание: В отличие от радиостанций, в утреннем шоу Алисы нет рекламы. Отметим, что включить утреннее шоу от Алисы можно не только утром.
Оно доступно в любое время дня. При этом для шоу всегда подбираются актуальные к текущему моменту новости если в настройках указано, что шоу должно включать в себя новости. И тогда вместо мелодии будильника будет воспроизводиться шоу.
Похоже, вы используете устаревший браузер, для корректной работы скачайте свежую версию 16 апреля 2020, 07:26 Умные колонки с "Алисой" научились вести персонализированные утренние шоу Голосовой помощник ставит и комментирует песни из персонального плейлиста дня на "Яндекс. Умные колонки с голосовым помощником "Алиса" научились проводить утренние шоу, которые подбираются под конкретных пользователей.
Об этом говорится в сообщении "Яндекса". Произнеся команду "Алиса, включи утреннее шоу!
В общей сложности у Алисы больше двух тысяч подкастов на разные темы. Голосовой помощник следит за новостными выпусками девяти радиостанций. Станции, Станции Мини и других умных колонках, где есть голосовой помощник Алиса. Чтобы выбрать тематику новостей и подкастов, нужно просто открыть приложение Яндекс, выбрать пункт «Устройства», далее выбрать «Аккаунт» и перейти в «Настройки шоу Алисы». А куда нажать?