Как сделать субтитры к системному звуку на Mac?

С macOS 14.2 приложение может перехватить звук другого процесса напрямую через Core Audio, поэтому от вас нужно только разрешение на запись звука. До этого приходилось ставить виртуальное аудиоустройство и гнать вывод через него, отчего старые руководства и набиты скриншотами.

Нужен ли всё ещё BlackHole или петлевой драйвер?

Для этого нет. Ничего не перенаправляется, устройство вывода не меняется, и колонки продолжают играть, пока идут субтитры. Петлевой драйвер по-прежнему нужен, если у вас macOS 13 или старше либо Mac на Intel.

Так же ли точно распознавание вживую, как расшифровка файла?

Нет, и ничто живое таким не бывает. Расшифровщик файла видит фразу целиком, прежде чем решить, каким было первое слово; живой обязан решать, пока человек ещё говорит. Если у вас запись и вы не торопитесь, расшифруйте файл.

Работает ли это во вкладке браузера?

Да. Оно перехватывает приложение и все вспомогательные процессы, которые оно порождает, поэтому звонок или видео во вкладке получают субтитры так же, как нативное приложение. Это же покрывает приложения на Electron, чей звук никогда не идёт от процесса, носящего их имя.

Будут ли субтитры к моему собственному голосу?

Нет. Микрофон не открывается никогда. Оно слышит то, что играет ваш Mac, то есть всех, кроме вас, и это осознанная граница, а не недоделка.

Насколько велика задержка?

Самая быстрая английская модель начинает выдавать текст примерно на 160 мс позади говорящего; более точные сидят дальше. Это регулятор, а не число, и какой его конец вам нужен, зависит от того, следите вы за разговором или читаете лекцию.

Можно сохранить расшифровку?

Нет. На диск специально ничего не пишется. Удерживайте ⌥, чтобы вернуть последние субтитры и пролистать их, но когда они уходят, их нет. Если нужна запись на потом, вам нужен расшифровщик файлов или блокнот для встреч, а не это.

Subtitles · Руководства · Субтитры в реальном времени на Mac

Субтитры в реальном времени ко всему, что звучит на вашем Mac

Шесть способов вывести слова на экран, пока человек ещё говорит, по порядку от того, во что они вам обходятся, то есть бесплатные первыми. Дальше то, что почти никто не объясняет: как Mac перехватывает звук, который сам же и издаёт, почему для этого раньше требовалось поддельное аудиоустройство и что изменилось в macOS 14.2.

Купить за $9 Попробуйте в браузере

Что исключает работа в реальном времени

Почти всё, что написано про расшифровку на Mac, написано про файлы. Вы кидаете запись, ждёте и получаете текст или дорожку субтитров. Этот путь точнее всего, что есть на этой странице, потому что модель, которая видит фразу целиком и следующую за ней, всегда обыграет ту, что решает по слову за раз.

И при этом она бесполезна, пока встреча идёт. Субтитры в реальном времени меняют эту точность на единственное, что важно во время звонка: слова успевают прийти вовремя, чтобы их прочитали. Если у вас запись и время есть, остановитесь здесь и прогоните её через расшифровщик файлов, результат будет лучше. Всё, что ниже, для случая, когда звук идёт прямо сейчас.

Шесть путей, от самого дешёвого

Собственные субтитры приложения. Бесплатно. Zoom, Teams, Google Meet, хадлы в Slack и YouTube делают субтитры сами, бесплатно и на большем числе языков, чем macOS. Дальше края своего окна они не идут, некоторым из них нужно разрешение организатора или администратора, и ни один не поможет с видео, ссылку на которое кинули в середине разговора. И всё-таки начните с них: когда этого хватает, это бесплатно.
«Живые субтитры» от Apple. Бесплатно, встроено. На Mac с Apple silicon: Системные настройки, «Универсальный доступ», «Живые субтитры». Субтитры идут ко всем приложениям, а не внутри одного, и это правильная форма. В собственной документации Apple сказано, что функция доступна не на всех языках, не во всех странах и регионах, а сами субтитры приходят в окно, которое ведёт себя как окно. Полное сравнение вынесено на отдельную страницу.
Собственные субтитры браузера. Бесплатно, один браузер. Chrome и браузеры на Chromium умеют делать субтитры к звуку во вкладке, на устройстве, по одному переключателю в своих настройках. По-настоящему хороши для видео во вкладке и совершенно бесполезны за пределами этого браузера.
Облачный сервис субтитров. Подписка. Категория, которая дотягивается до языков, недоступных ничему локальному, и единственная, которая потом даёт разметку по говорящим и расшифровку с поиском. Ради этого звук уходит с вашего Mac, и для многих на работе это не деталь, а конец разговора.
Локальная речевая модель, которой вы управляете сами. Бесплатно, но это работа. Whisper и его потомки работают на Mac, и хорошие открытые оболочки для них есть. А вот заставить такую связку выдавать субтитры вживую, для всех приложений сразу, в оверлее, который читаешь по ходу дела, это уже проект, а не загрузка, и большая часть причин в той возне со звуком, о которой ниже.
Приложение для субтитров в реальном времени. Платно, один раз. Это как раз оно: оверлей поверх всех окон, который берёт то, что играет на Mac, и расшифровывает на Neural Engine, на шестнадцати языках, ничего не записывая на диск. Имеет смысл, когда четыре бесплатных ответа выше закончились, и не раньше.

Как Mac перехватывает собственный звук

С микрофоном просто: API для него в macOS был всегда, и спросить на него разрешение дело обычное. Трудный случай это системный звук, потому что почти всю жизнь Mac штатного способа услышать, что играет другое приложение, не существовало. Эпохи было три, и то, к какой из них относится инструмент, говорит о нём почти всё.

1

Виртуальное аудиоустройство

Вы ставите драйвер, который притворяется парой колонок, назначаете его выводом Mac и читаете обратно как микрофон. Это работает, и это значит, что ваши настоящие колонки теперь молчат, пока вы не соберёте второе устройство, которое раздваивает сигнал. Это эпоха руководств по настройке с шестью скриншотами внутри.
2

Запись экрана, ради звука

Более поздние macOS позволили приложению забирать системный звук вместе с записью экрана. Драйвер не нужен, но вы даёте приложению право видеть ваш экран ради того, чтобы оно его слышало, и macOS напоминает об этом всем в комнате индикатором записи.
3

Перехваты процессов Core Audio, macOS 14.2

Приложение просит Core Audio перехватить другой процесс или все сразу и получает звук напрямую. Ни драйверов, ни перенаправления, колонки продолжают работать, а разрешение вы даёте на запись звука, а не экрана. Ровно поэтому это приложение и получилось таким, какое оно есть.

Там же объясняется единственное требование, которое обойти нельзя. Перехваты процессов появились в macOS 14.2 и только на Apple silicon, поэтому 14.2 это нижняя граница, а Mac на Intel до неё не поднять. Если у вас Intel, ваш список это первые три пути выше.

Субтитры на вашем Mac, в три шага

1

Установить и выдать одно разрешение

При первом запуске macOS просит разрешение на запись системного звука. Пропустите этот запрос, и каждый буфер будет приходить полным тишины, а ошибки не будет нигде, и это единственная поломка, о которой стоит знать заранее. Руководство по настройке объясняет, как заметить это за десять секунд.
2

Направьте на всё или на одно приложение

Весь системный звук стоит по умолчанию, и настраивать ничего не надо. Сузить до одного приложения это один пункт меню, и вместе с ним уходят его вспомогательные процессы, из-за чего звонок во вкладке браузера получает субтитры так же, как нативный.
3

Поставьте оверлей туда, куда хотите

Удерживайте ⇧ и тащите; где оставите, там он и запомнится. Клики он не берёт, поэтому вы работаете прямо сквозь него, а на наведение указателя он растворяется, а не уезжает. Демо на главной ведёт себя ровно так же, в вашем браузере, до всякой покупки.

Купить за $9

Возврат в течение 14 дней, без лишних вопросов.

Сколько точности приходится отдать за реальное время

Распознаватель это потоковая модель, а не такая, которая ждёт тридцатисекундного окна, и в этом разница между субтитрами, которые идут за звуком, и субтитрами, которые приходят, когда момент прошёл. На Neural Engine он идёт примерно в одну седьмую реального времени, так что компьютер не надрывается и вентиляторы остаются там, где были.

У английского семь чекпоинтов, а не один, и они разменивают то, что нельзя выжать одновременно: самый быстрый начинает выдавать текст примерно на 160 мс позади говорящего, самый медленный точнее и отстаёт сильнее. Всё остальное идёт из одной многоязычной модели. Этот регулятор и есть честный ответ на вопрос о точности, и поэтому страница не обещает выиграть в бенчмарке, которого никто не проводил.

Что по-прежнему выходит криво у любого инструмента с этой страницы: имена, жаргон, аббревиатуры, двое говорящих одновременно и быстрая разговорная речь на плохой связи. Субтитры в реальном времени делают всё это читаемым достаточно часто, чтобы ими стоило пользоваться, но недостаточно надёжно, чтобы считать их расшифровкой.

Вопросы про субтитры на Mac

Как сделать субтитры к системному звуку на Mac?: С macOS 14.2 приложение может перехватить звук другого процесса напрямую через Core Audio, поэтому от вас нужно только разрешение на запись звука. До этого приходилось ставить виртуальное аудиоустройство и гнать вывод через него, отчего старые руководства и набиты скриншотами.
Нужен ли всё ещё BlackHole или петлевой драйвер?: Для этого нет. Ничего не перенаправляется, устройство вывода не меняется, и колонки продолжают играть, пока идут субтитры. Петлевой драйвер по-прежнему нужен, если у вас macOS 13 или старше либо Mac на Intel.
Так же ли точно распознавание вживую, как расшифровка файла?: Нет, и ничто живое таким не бывает. Расшифровщик файла видит фразу целиком, прежде чем решить, каким было первое слово; живой обязан решать, пока человек ещё говорит. Если у вас запись и вы не торопитесь, расшифруйте файл.
Работает ли это во вкладке браузера?: Да. Оно перехватывает приложение и все вспомогательные процессы, которые оно порождает, поэтому звонок или видео во вкладке получают субтитры так же, как нативное приложение. Это же покрывает приложения на Electron, чей звук никогда не идёт от процесса, носящего их имя.
Будут ли субтитры к моему собственному голосу?: Нет. Микрофон не открывается никогда. Оно слышит то, что играет ваш Mac, то есть всех, кроме вас, и это осознанная граница, а не недоделка.
Насколько велика задержка?: Самая быстрая английская модель начинает выдавать текст примерно на 160 мс позади говорящего; более точные сидят дальше. Это регулятор, а не число, и какой его конец вам нужен, зависит от того, следите вы за разговором или читаете лекцию.
Можно сохранить расшифровку?: Нет. На диск специально ничего не пишется. Удерживайте ⌥, чтобы вернуть последние субтитры и пролистать их, но когда они уходят, их нет. Если нужна запись на потом, вам нужен расшифровщик файлов или блокнот для встреч, а не это.

Тот же оверлей, в другом месте

Видео без субтитров

Субтитры поверх фильма, трансляции или вкладки, у которых дорожки не было никогда.

Podcasts

Субтитры для передач, у которых расшифровки не было никогда.

Совместимые приложения

Если приложение издаёт звук на вашем Mac, к нему будут субтитры. Список и исключения.

Сравнение с «Живыми субтитрами» Apple

В macOS это встроено и бесплатно. Где этого перестаёт хватать.

Все альтернативы, в сравнении

Шесть способов получить субтитры на Mac и то, какой из них подходит именно вам.

Что приложение хранит

На диск ничего не пишется, а после загрузки модели не остаётся ни одного сетевого запроса.

Субтитры к тому, что играет прямо сейчас.

Купить за $9

Один платёж $9, все будущие обновления включены · macOS 14.2 или новее · Apple silicon
Субтитры без ограничений, пока у вас есть этот Mac. Никаких пакетов минут, аккаунтов и подписок.