Технология Audio Intelligence на базе ИИ для Apple Watch начинает проходить бета-тестирование. Сначала она станет доступна разработчикам в составе обновления iOS 27.3. Apple впервые представила её на сентябрьском аппаратном мероприятии Surprise and Shine. В набор входят четыре функции, которые по желанию пользователя распознают важные звуки и песни, помогают восстановить содержание разговора и делать заметки владельцам Apple Watch Series 12.

Функция распознавания звуков поможет глухим и слабослышащим пользователям определять по часам важные звуки — например, сирены, сигналы тревоги или дверной звонок. Функция распознавания песен использует приложение Shazam, чтобы обнаружить музыку, звучащую в фоне, и определить название композиции и исполнителя.

Однако потенциально наиболее спорны функции, которые слушают человеческую речь: Live Rewind («Перемотка») и Siri Recaps («Сводки Siri»).

После критики устройств с ИИ-записью, таких как умные очки Meta и других носимых ИИ-гаджетов, Apple пытается найти применение этим функциям, которое было бы полезно владельцам Apple Watch и одновременно учитывало приватность окружающих.

Идея Live Rewind — позволить вернуться на несколько секунд назад и посмотреть, что только что сказал собеседник, если пользователь не расслышал. Например, если кто-то давал устные указания или перечислял длинный список блюд в ресторане, можно дважды нажать на Digital Crown часов и увидеть текстовый фрагмент последних 15 секунд на циферблате. Этот фрагмент можно просто просмотреть — после чего он исчезнет навсегда. Либо его можно сохранить в отдельном приложении Siri, появившемся в iOS 27, чтобы открыть позже. Это может пригодиться, например, если нужно запомнить чьё-то имя или быстро записать что-то во время презентации.

Apple говорит, что если у пользователя возникнет вопрос о сказанном — например, о непонятном техническом термине или незнакомом соусе, который упомянул официант, — под текстовым фрагментом можно будет нажать «Ask Siri».

При двойном нажатии на Digital Crown часы издают звуковой сигнал и показывают анимацию. Жест, звук и изображение должны дать окружающим понять, что сказанное записывается.

Если фрагменты не сохранить, они автоматически удалятся через 30 секунд.

Другая функция, Siri Recaps, развивает технологию фонового прослушивания ещё дальше: она позволяет владельцам Apple Watch получать краткие заметки по сути разговоров.

Apple подчёркивает, что функция не распознаёт собеседников, не сохраняет исходное аудио и не создаёт дословную расшифровку. Вместо этого разговор сводится к короткому предложению и нескольким пунктам с ключевой информацией. В зависимости от темы это могут быть важные даты и сроки, цены и условия оплаты, а также другие фактические сведения.

Apple предполагает, что функция пригодится на рабочих встречах, родительских собраниях в школе, тренировках с персональным тренером и в других ситуациях, когда нужно запомнить поручения или сказанное. По сути, она должна имитировать собственные заметки пользователя, не добавляя эмоциональной окраски или интонации.

Это может быть особенно полезно, когда невозможно делать заметки — например, если заняты руки или нужно сосредоточиться на разговоре. Recaps не будет записывать разговоры, когда пользователь слушает музыку в наушниках или включает шумоподавление.

В конце дня пользователю предлагают просмотреть сохранённые Siri Recaps и выбрать, какие из них оставить. Заметки можно сохранить в приложении «Заметки» или экспортировать в «Дневник», если они носят более личный характер. Если ничего не делать, сводки автоматически удалятся в течение семи дней.

Напоминание просмотреть записанные Siri Recaps появляется и утром — при первом разблокировании Apple Watch.

Пользователь может включить Siri Recaps вручную или настроить расписание: например, чтобы функция работала только на работе или никогда не запускалась ночью. Даже при включённом расписании её в любой момент можно отключить в Пункте управления.

Apple отмечает, что Siri Recaps разработана так, чтобы исключать конфиденциальные сведения: государственные идентификаторы, финансовые данные и данные для аутентификации, некоторые персональные идентификаторы, а также высказывания, способствующие причинению вреда себе.

Функции Audio Intelligence для Apple Watch Series 12 и Apple Watch Ultra 4 используют аппаратное и программное обеспечение Apple, а также её сервисы. В их числе чип S11, встроенный микрофон, модели Apple Intelligence, работающие на iPhone, и Private Cloud Compute (PCC) от Apple.

В постоянно работающем процессоре есть Secure Enclave — защищённая аппаратно область памяти, недоступная остальной операционной системе. В ней специальный аудиобуфер обрабатывает исходный звук. Благодаря этому аудио можно обработать, не предоставляя к нему доступ никому, в том числе Apple. Получить его может только сопряжённый iPhone — через защищённый механизм сопряжения часов и телефона.

Лёгкие модели ИИ на чипе S11 в Apple Watch определяют, идёт ли разговор, в котором участвует владелец часов. Затем аудио передаётся в Secure Enclave на iPhone. Обработка на самом телефоне преобразует его в сжатый текст разговора без слов-паразитов. Этот текст шифруется и отправляется в Private Cloud Compute Apple, где создаётся сводка, после чего она возвращается на телефон. Сама сводка и любые промежуточные обобщения, использованные для её создания, немедленно удаляются из PCC.

Доступ к сводкам на iPhone есть только у пользователя, не у Apple. При синхронизации между устройствами Apple они также шифруются.

Для создания 15-секундных фрагментов Live Rewind Apple Watch аналогичным образом передают аудио на iPhone для обработки.

Apple утверждает, что эти функции не должны влиять на время работы от аккумулятора ни часов, ни телефона. Позже они появятся в публичной бета-версии для более широкого тестирования, а затем станут доступны всем пользователям.