Meet the Deaf Developer Behind Google’s Live Transcribe App

Seeing Is Believing When It Comes To Speech-To-Text Transcription

WRITTEN BY

Google’s new Live Transcribe app may actually be the real-time speech-to-text transcription technology I’ve been waiting for. And if seeing is believing, Google’s launch video may convince you that truly reliable real-time transcription for everyday use is finally here.

Watch Dimitri Kanevsky, a deaf Google research scientist, use the Android app to order tea at Starbucks and chat with a colleague about a weekend chili party.

And watch Dr. Mohammed Obiedat, a deaf professor at Gallaudet University, play a board game with his kids, chat with them about their schoolwork, and actively participate in a parent-teacher conference.

I loved the scene where Kanevsky orders at Starbucks. For years before I got my cochlear implants, I never ordered anything more than a tall coffee. Otherwise I risked having to engage in an impossible «excuse me?….what?….say it again, please» conversation with the barista.

And even the simple coffee order was a challenge before I realized they asked the same questions every time: «Ooo-fuh-eem?» was «Room for cream?,» «Eh-eh-eh eth?» was «Anything else?,» and «Oo-oo ah-a ee-eek?» was «Do you want a receipt?»

Real conversations, real-time transcription

But when Kanevsky orders his tea, the barista’s questions pop up on his smartphone screen as soon as she asks them. And he’s ready with immediate answers. He’s having a real conversation!

Kanevsky has worked on speech recognition and communications technology for 30 years. Deaf since early childhood, he had been disappointed by speech-to-text solutions that always seemed inadequate in spite of promising advances in digital transcription technologies. So he teamed up with Google engineer Chet Gnegy to develop the Live Transcribe app.

They also collaborated with Dr. Obiedat and others at Gallaudet University to better understand what features in the app would be most useful to people with hearing loss.

Combining proven technologies

Until now, truly effective real-time speech-to-text translation for everyday use has seemed just around the corner, but not yet here.

Sure, there’s been a flood of speech recognition technologies («Hey Siri») and other applications such as fast translation of voice mail to text messages. And real-time captioning of phone conversations has been an invaluable service for people with hearing loss (although live operators are still necessary to assist with the transcriptions).

But those promising technologies never quite seemed to come together in a truly intuitive smartphone appthat people can use for routine, everyday conversations. Now Google promises that its Live Transcribe app, introduced this week, is the answer.

Google says real-time voice-to-text transcriptions of conversations will be available in up to 70 languages and dialects. The app supports external microphones in wired headsets, Bluetooth headsets and USB mics. It’s built into Google’s new Pixel 3 phone, and it will be available for Android 5.0 phones and later.

Beta testers wanted

Currently in beta test, an «unreleased» version is listed by Google Research on the Google Play Store, and users who want to join the beta test can sign up on the Android web site. Or if you have a new Pixel 3 phone, you can activate Live Transcribe in its Accessibility settings.

Google has been playing catch-up to Apple in offering accessibility options for people with hearing loss. Now Live Transcribe, which is available only with Android phones, may give Google a nice boost in its ongoing competition with the iPhone ecosystem.

Waiting for the holy grail

For years, I’ve been waiting for someone to deliver the holy grail combining various proven technologies in an app that solves problems such as overall accuracy of speech recognition, latency (the processing delay in transcribing the speech and showing it as text on the screen) and ease of use.

Now, when Dimitri says in the video that «speech recognition finally became so good I could finally fulfill my dream,» it’s music to my ears and (thank you, YouTube captions) to my eyes as well.

In fact, if Google’s Live Transcribe app works as advertised, it might even entice me to trade in my beloved iPhone.

Subscribe for updates

Discussion

Member07 February 2019

Why not make it available for google apps on all phones?

Microsoft have done generally on Skype across all platforms.

Gerid (.08 February 2019 Replied to Member

Not really. The accuracy on Skype is not good and it’s can’t tell context.

Maybe as a hearing person it works well as you can hear and subconsciously pick up the inaccuracies in your audio feed to put the pieces together to make sense. But as a deaf person, you don’t have the ability. Turn your speakers completely off and try having your conversation for a real idea of how well it works for the deaf. Not very well.

Member08 February 2019

Go the Bose store and just try their «HEAR PHONE». Free and quick. I have found it better than any of the expensive hearing aids. It’s an amazing improvement for me being able to converse in a normal way. It’s comparatively inexpensive and doesn’t require batteries….just plug it in at night for 12 hours of use. FYI: I’m not associated with Bose.

Dan

Member08 February 2019

You can try it out before buying at Bose Outlet stores. I’ve been wearing Starkey Halos for several years, and was not pleased with them. I got my first pair of Bose HEARphones a couple of years ago, and was SO impressed with them, that I purchased another so that I could wear one while the other was charging. You don’t get all-day use on a charge, but they are REALLY GOOD at both being a hearing aid and at STREAMING. I just got the new Phonak Marvel hearing aids, which are probably a little better as HEARING AIDS, but not as good for streaming. The two caveats I have about the Bose, are the limited lifespan of a CHARGE (4-5 hours) and the YOKE around your neck. Other than that, they’re SUPER!So now, I switch back and forth between the BOSE and the PHONAK. When going OUT to public places, I wear the PHONAK, but if I am just sitting at home, I wear the BOSE.

In terms of COST, the BOSE are $500, and the PHONAK are $4,000. So you could purchase the Bose 8 times with the money you’d spend on the Phonak.

For phone calls, they BOTH are EXCELLENT. You can hear in BOTH EARS with either one of them. They BOTH allow you to MIX the sounds from the MICROPHONES with the sound of STREAMING, adjusting them to your liking. I can highly recommend BOTH the BOSE and the PHONAK. I will continue using both.

Чудеса совместимости

О_О
Mitsumi PS/2 & смартфон на Android 6. Love for Ever?! 🙂

Вот если б так и люди могли! И народы. И государства.

AvtandiLine, 07.02.2019, Санкт-Петербург

Об упражнениях Кощея

(02.02.2019. Автор дизайна — Formax
http://klavogonki.ru/forum/events/18432/)

Как влияют на (мою) скорость и точность клавиатурного набора тренировки в упражнениях Кощея3452 на Клавогонках.Ру

Результативность. Напрямую не замечаю за собой возрастания скорости в Обычном после печати словарей Кощея, сразу или в ближайшей следующей сессии. Но и… мне-то куда возрастать, в моём возрасте. )) Да ещё с многолетней практикой, устоявшимся навыком набора. Это младшим поколениям реально — побивать свои рекорды. Вдобавок, мне вообще неинтересно сравнивать кропотливо с Обычным: чтО и как на него повлияло. Режим Обычный — царь и бог именно на Клавогонках. А я, простите, интерстеновец (-ка… ну, почти «интерстенка», ужастики)).

Мне важно и ценно, что от упражнений Кощея у меня (1) улучшается общий клавонаборный тонус, состояние активности, создаётся высокая настроенность организма на печать, (2) пальцы возвращаются к бОльшей скорости шевеления, чем успели сползти в буднях леностного существования.

Из конкретных фактов, если кому интересно именно по Обычному. Среднюю скорость за последние месяцы укрепила и даже немного увеличила. То было уже думала, что она навсегда опустилась в диапазон 590—недошиссот )) А теперь вдруг глядь — она «аж» 600—605. Несомненно, тренировки в словарях Кощея на это напрямую повлияли.

Почему упражнения Кощея так позитивно на меня влияют? Потому что это не просто побегать, порезвиться, а это проработка, чистка, превосходно-тупая (т. е. на автоматизм) долбёжка тех или иных локальных участков в окружении контекста. Максимально близко к классической методике! И тут для оценки полезности неважно, в каком режиме набираю. Достаточно резво идёт и марафон, и мини-марафон, и обычный… Довольна, как слон!

Сроки проявления. Отдача от упражнений Кощея у меня наступает теперь довольно быстро — дня через 3-5 после старта цикла. Поскольку уже накопила опыт занятий его упражнениями и возник условный рефлекс: если езжу упражнения Кощея, то уже непроизвольно мобилизуюсь психологически, а дальше по цепочке и физиология подтягивается. А вот когда впервые ездила какой-то большой (очень большой, но прекрасно большой!) блок, такого рефлекса ещё не было, труды были прямо-таки каторжные, но знала, что отдача будет. Тонизировалась почти на финише.

По точности. С ростом пробега в том или ином словаре Кощея могу отпустить себя на бОльшую ошибочность, чем в начале пробега. То лень и хочется расслабиться… то осознанно иду на разгон. В принципе считаю, что иногда ездить «безбашенно» — полезно и необходимо, но всегда так ездить — нельзя, это разрушает навык. Однако сама же поддаюсь соблазну чаще, чем было бы правильно! Азарт, магия Клавогонок с их искушениями… ))) В каком-то из предыдущих циклов настолько разбаловалась, что ближе к концу (длинный был цикл) увидела, что вообще не попадаю в тройку по безошибочности. Тут ЧСВ кааак схватит розгу и кааак вдарит мне по пальцам!.. Срочно стала подтягивать точность, уронив скорость. Слава судьбе, успела вовремя.

Ведь когда имеешь уже сложившийся, закрепившийся навык набора, то вместе с ним имеешь и свойственный себе баланс между скоростью и точностью. В том или ином диапазоне, у каждого индивидуально, но сам баланс достаточно определённый, типичный для данного наборщика. Менять его — для себя считаю бессмысленным нарушением сложившегося положения вещей. (Или, может, просто лень ищет высоких оправданий.)) Но тем из нас, кто занимается именно учёбой, совершенствованием своего навыка, — конечно, можно и нужно над своим балансом работать. Когда-то поставить себе задачу изменить баланс даже в пользу только одной из составляющих. А когда-то — задачу улучшить баланс в целом, по скорости и по безошибочности вместе.

Если же у кого-то в процессе прохождения цикла и/или после него ухудшилась как скорость, так и точность — значит, этот игрок слишком много (относительно к уровню и качеству своего навыка) ездил «сломя голову» на скорость. Взвешивать всё-таки нужно. 🙂

Себе же не ставлю задач по улучшению баланса скорость/точность или отдельных составляющих. Просто — «Словарь, голубчик, будьте добры, восстановите статус-кво.»

* * *

Через месяц уже нужно готовиться к Интернет-соревнованиям Intersteno. Если мобилизуюсь и запланирую себе, то займусь, в большой доле, и словарями Кощея. Это лучшая тренировка в условиях Клавогонок. И это современная прививка классического подхода.

Очень интересно, какое развитие получат словари Кощея в дальнейшем.

Автандилина
03.02.2019, Москва

Рекомендации _190202, как научиться печатать

1. От разных авторов

Старый учебник Дмитревских по машинописи, он есть на форуме (или на сайте) Юрикора. Раскладка букв во времена Дмитревских была другая, чем теперь, поэтому упражнения не выполняйте, но просто чтобы узнать, как по-настоящему следует учиться машинописи, особенно в начале.

Обучающие ролики Ленор Фентон. Они хронически блокируются. На всякий случай ссылки привожу, но мне вот сейчас не удалось открыть ни одной.
Lenore Fenton: обучающий фильм по слепой машинописи, в двух сериях
https://archive.org/details/basic_typing_1
https://archive.org/details/basic_typing_2

_181022 у меня открылись следующие:
Lenore Fenton === Сокращённые по сравнению с https://archive.org/details/basic_typing_1 и 2 :
https://www.youtube.com/watch?v=FCpZ3CP7IAs
Typewriter Training: «Basic Typing I: Methods» 1943 US Navy Training Film
Самые главные объяснения и упражнения — в первых двух третях ролика (примерно), а в конце рассказывает о конструкциях машинок, о функциях дополнительных клавиш.

https://www.youtube.com/watch?v=19leP1Pt_-c
Typewriter Training: «Advanced Typing: Shortcuts» 1943 US Navy Training Film
В первой половине ролика есть великолепные демонстрации печатания, в том числе на скорость.
Во второй половине рассказаны приёмы обращения с нестандартными форматами бумаги (конверты, карточки), тема вроде бы совсем сейчас ненужная, но виртуозность движений поражает.

Демонстрационные ролики Рона Минго Ron Mingo. Их тоже, к сожалению, часто блокируют, но найти возможно. Ссылки постараюсь добавить.

Тренажёр «Виртуоз» на моём Яндекс.Диске: https://yadi.sk/d/fk2gfvJ5Tgn3t

Это тренажёр под раскладку «Машинопись», создан в эпоху MS-DOS и давно уже не поддерживается авторами. Даже и не знаю точно, кто авторы. 🙁 Если Вы знаете — очень прошу, напишите мне, сообщите!

В идеале «Виртуоз» нужно установить в среду MS-DOS (может быть, виртуальную или эмулированную, надеюсь, понятно, о чём я, простите). Пройти три буквенных ряда. Дальше начинаются знаки, которые в раскладке «Машинопись» расположены не так, как в стандартной Windows-раскладке, поэтому, соответственно, лучше не заморачиваться и не проходить «Виртуоз» до конца.

Это тренажёр, в котором нет ни крупицы лишнего и есть очень сильные опции для настройки сложности под себя. Можно буквально по-чуть-чуть поднимать себе планку по скорости, по точности. Такого больше нигде не встречала.

Цитата откуда-то:
Наше тело использует около трёхсот мышц, чтобы сохранять равновесие, когда мы стоим.

И это только мышц! И только для того, чтобы стоять не падая!
…И всей этой работище каждый когда-то в своём детстве учился долгие дни, месяцы…
Какова же физиологическая сложность освоения деятельности, базирующейся на мелкой моторике. Того же клавиатурного набора. А нам не терпится начать печатать прямо сразу. 😉

Mustread: Бортжурнал Воронова и (его же) JustSo на Клавогонках.Ру
http://klavogonki.ru/u/#/263471/ (журнал Воронова)
и
http://klavogonki.ru/u/#/402002 (журнал JustSo)

В первую очередь — его статья «С чего начать?» — особенно рекомендации о посадке за компьютером:
http://klavogonki.ru/u/#/402002/journal/578a1c997bf62dde518b4567

В обоих журналах, для того чтобы увидеть полный список наиболее важных записей, обязательно «откройте» страницу (надпись «Открыть» появляется при наведении мышки на зону под «Био»).

В рамках начавшейся кампании объединения клонов на Клавогонках.Ру (увы)) может не получиться зайти в какой-либо из двух журналов по моим прямым ссылкам. Тогда попробуйте по ссылкам, которые сам клавогонщик записал в «Био».

2. От Автандилины

2.1. Тоже mustread, имхо 😉

Вопрос 8 в двух частях —
https://proza.ru/2014/05/30/433
https://proza.ru/2014/05/30/462

Как и для чего рисовать схему клавиатуры: моделирование опыта ребёнка — самая недавняя (весной 2019) из моих публикаций на эту важнейшую тему:
https://www.liveinternet.ru/community/faq_avtandiline/post453766455/
а также рекомендую прочесть эту (детальное описание, как рисовать; 24.01.2022 скопировала текст как комментарий к предыдущей ссылке, но на той странице стОит почитать ещё и вокруг этого текста): Рисование схемы клавиатуры:
https://www.liveinternet.ru/community/faq_avtandiline/post378341741#BlCom677781887 и вокруг.

http://liveinternet.ru/community/faq_avtandiline/post94316621/
Скорость 5 ударов в минуту при начальном освоении машинописи

2.2. Отрабатывайте основную позицию не на Клавогонках.Ру. Клавогонки.Ру обожаю! но они подходят только для продолжающих обучение, и даже, скорее, не обучение, а уже развитие.
Для наилучших перспектив достижения скорости и безошибочности, начинайте осваивать слепой десятипальцевый набор по стародедовскому бумажному учебнику * . Например, «Самоучитель машинописи», автор Б. И. Березин, упражнения оттуда есть на сайте Юрикора. А для самого начала, как базу, какой-нибудь совсем толстый учебник. Чем толще, тем лучше! Например, К. Соловьёва «Курс современной машинописи». И к нему добавлять перечисленные. После первого прохождения начального курса очень рекомендую пройти начальный курс по любому из учебников Норы Максовны Березиной (см. на сайте АНО ГЗОС http://gzos.ru ): мощное усиление получите! особенно в такой последовательности прохождения.

* Чем учебник машинописи лучше клавиатурного тренажёра https://samsebemir.ru/mnenija-o-mashinopisi/chem-uchebnik-mashinopisi-luchshe-klaviaturnogo-trenazhjora/

Из бесплатных тренажёров для начинающих рекомендую:
http://vse10.ru стал ещё лучше после переезда на https://www.ratatype.ru/, со старого имени выполняется переадресация,
https://klava.org/help?ru,
очень хорошо офлайновый тренажёр «Виртуоз» — если получится скачать и установить на современный компьютер.

Превосходные детские платные тренажёры — Бомбина и другие, на сайте Александра Ведерникова. По Бомбине обучалась, например, одна из сильнейших скоропечатников России Оксана Черных (Oxanette), в возрасте ~21 год с первой же попытки 7-е место на мировых Интернет-соревнованиях Intersteno.

Фундаментальный, отчасти платный тренажёр «Соло на клавиатуре» на сайте https://nabiraem.ru, на основе классической методики. Если обучающийся готов психологически подчиняться и безоговорочно выполнять все требования, то результаты будут очень хорошими.

На Клавогонках.Ру есть множество полезнейших словарей, но чтобы получать от них действительную пользу, а не сбить первые хрупкие ростки хорошего навыка, нужно быть уже продолжающим, а не_начинающим!
Особенно рекомендую для развивающих скорость: «Словари Кощея» http://klavogonki.ru/forum/academy/1060/ — это как бы «прививка» добротной классической школы на современную почву, очень результативно.
Кощей3452 http://klavogonki.ru/u/#/273667/

Но (ещё раз) сначала обязательно разучите клавиатуру по начальному курсу!

2.3. Начинать освоение слепого метода машинописи необходимо с постановки рук.
(Предварительно, конечно, надо обустроить рабочее место и ознакомиться с правилами посадки.)

Особая рекомендация #1
Прежде всего научитесь, как сидеть, как держать руки, не напрягаясь, и разучите установку пальцев вслепую на основную позицию ФЫВА ОЛДЖ.
Главное упражнение: вскидывать руки с колен на основную позицию и проверять (нащупывать, не глядя) соседние клавиши, чтобы убедиться в правильности.
Посмотрите это упражнение на видео:
https://samsebemir.ru/avtan/favt/postanovka-ruk-upr-1/

Изучите внимательно на ощупь и осознайте, чем соседние клавиши (непосредственные соседи или, для правой руки, соседи через одну-две такие же клавиши, как основная) отличаются от клавиш основной позиции: местоположение (расстояние до клавиши и угол), возможно также ширина, форма, усилие нажатия. Выполняйте это упражнение ежедневно все первые недели и месяцы.

Особая рекомендация #2
Никогда не старайтесь выучить наизусть («головой»), где какая буква: это запомнится само собою от печатания упражнений. Запоминайте движение пальца к букве, сопоставляя: чем это движение отличается от основной позиции пальца и от формы (очертания), которую палец принимает, когда находится на основной позиции; на сколько и куда происходит перемещение пальца, а потом обратно на основную позицию.

Сюда же примыкает ещё одно важное правило:
— После каждого удара обязательно возвращайте палец на основную позицию.
Это правило очень важно, однако отдельный номер ему присваивать не будем, потому что соблюдать данное правило нужно только в период начального разучивания клавиатуры. Т. е. до тех пор, пока мы не выполнили с хорошим качеством упражнения на все четыре ряда. А когда выполнили, то постепенно начинаем прекращать возвраты после каждого удара на основную позицию. Если у вас возник сейчас вопрос «А куда тогда девать пальцы?», значит, вы просто ещё не прошли полный комплекс упражнений на все четыре ряда. 🙂

Ёмко объяснил необходимость возвратов клавогонщик МОТОРНЫЙ на форуме Клавогонок.Ру в теме «Академия». Возврат пальцев на изначальную постановку . (Выделено мною.)

МОТОРНЫЙ
Профи

Сообщение #3 23 сентября 2019 в 20:25

автор [автор вопроса на форуме] пока выполняет обучающие упражнения, в которых как раз и отрабатывается осязательно переход вслепую с основной позиции к нужной букве, в этих упражнениях конечно обязательно [возвращать палец после удара на основную позицию], — непрерывно молотить по одной и той же клавише каждый и так умеет!

В ответ на следующий вопрос:

jooga
новичок

Сообщение #1 23 сентября 2019 в 15:24

Обязательно ли при обучении слепой печати, после каждого удара возвращать пальцы в основную позицию ФЫВА-ОЛДЖ?
Например, в упражнениях с чередованием одних и тех же букв.

Вот именно. Всему своё время. Новичку, который ещё не закончил проходить упражнения для всех букв алфавита, — возвращать пальцы на основную позицию после каждого удара нужно обязательно.

Особая рекомендация #3
В первую очередь для «переходящих». Т. е. тех, кто уже привык печатать зрительным методом двумя-тремя пальцами.
Но и для всех начинающих тоже.
…Соберите как бы «букет» всех упражнений на буквы основной позиции ФЫВА ОЛДЖ, из разных источников, распечатайте их. И проработайте сначала их все. Да-да, всего 8 букв, день изо дня, минут 10-15 ежедневно (в идеале дважды в день), недели две подряд без перерывов. Скучно, просто жуть как скучно… Но нужно как бы сетку координатную для движений пальцев проложить в голове, прочно. Навык печати является двигательным. Запомнить что-либо только головой — не считается и не работает!!!

В остальное время в эти первые недели всё равно ведь придётся что-то печатать? — Набирайте это «что-то» так, как привыкли, как получится.
И только после того как проработаете 8 букв основной позиции, можно уже от этой сетки «плясать», добавляя в упражнения по одной-две новые буквы и тщательно прорабатывая их.

Оптимально будет пройти начальный курс не один раз, а несколько раз подряд, по разным источникам. Затем переходить к развитию. И один-два раза в год возвращаться к начальному курсу, повторно проходить его целиком или уже лишь выборочно.

Автандилина
02.02.2019, Москва
Дата последней правки: 24.01.2022

По рекорду Антика

http://klavogonki.ru/vocs/137502/

https://yadi.sk/i/aNlNAqUZD8ZJNQ Скачать

Правда, я давно не пользовалась автозаменами, а кроме того, провела эти пробы совсем без разминки ни по АЗ, ни вообще. Т. е. результаты могли бы оказаться чуть повыше. — Но в общем вывод похож на предположение, с которым приступала к этой пробе. 🙂

А предположение состоит в следующем. Так как для соревнований я очень долго раскачиваюсь и страшно волнуюсь, то на интерстеновской дистанции результат будет примерно одинаковый с АЗ и без АЗ.

Оно имеет и опору в предыдущей практике, особенно в попытках набирать с АЗ на двух последних из пройденных соревнований Intersteno — в Берлине и на Интернет-соревнованиях 2018.

Чем учебник машинописи лучше клавиатурного тренажёра

Березина Н.М. Экспресс-курс машинописи на компьютере, изд. «Питер». Эффективный, добросовестный и компактный учебник, включает специальные упражнения для повышения скорости. Рекомендую пройти *после* первого прохождения начального курса по более толстому учебнику (например, К.К. Соловьёвой)

GenuineLera Люблю учебники. Бумажные, толстые. Там, во-первых, совершенно иные физиологические условия для обзорного чтения при наборе. И, во-вторых, лишь только в хорошем учебнике упражнения действительно комплексные: на новые буквы, на новые вместе с пройденными, на повторение всех пройденных, на закрепление, на скорость, и т. д. … Перечисляю в произвольном порядке, а в учебнике состав и последовательность упражнений в каждом блоке являются методически настолько же важными, как и сами тексты упражнений. У тренажёров тоже свои плюсы, и которых часто не_имеет учебник, но вот эту комплексность и полноту подачи материала в учебнике — тоже ничем равноценным в тренажёрах не_заменить.

…Так что, если попадётся Вам что-то толстое, например «Курс современной машинописи» К.К. Соловьёвой, — проштудируйте тоже. ))

Справка о первой публикации: ФАВТ, Вторник, 27 Ноября 2012 г. 04:12 ссылка

Мои дополнения — внизу, в комментариях.

Базовые ссылки для тех, кто осваивает слепой десятипальцевый метод машинописи:
https://www.proza.ru/2014/05/30/433
https://www.proza.ru/2014/05/30/462
(Вопрос 8 в двух частях: общее и рекомендации. — Ответ Автандилины на вопросы Евгения Балабаса из «МК»)

Рубрика: Avtan

Speech-to-Text Automatically