С выходом новых операционных систем для Mac (macOS 15) и iPhone (iOS 18), которые стали доступны 16 сентября, Apple внедрила функцию Enhanced Visual Search. Несмотря на то что компания впервые упомянула об этом новшестве лишь 24 октября, функция уже активно используется на устройствах.
Enhanced Visual Search позволяет вашим iPhone и Mac распознавать фотографии, изображающие известные места или достопримечательности, в вашей фототеке. Она работает на основе машинного обучения и запросов к глобальному индексу популярных точек интереса, который поддерживает Apple.
Как объясняет издание The Verge, если вы сделаете снимок здания и воспользуетесь опцией “Узнать достопримечательность”, то iPhone покажет вам карточку с названием объекта и ссылкой на статью о нём. Для этого используется глобальный индекс, который сопоставляет места на фото с известными достопримечательностями.
Процесс распознавания начинается с анализа фотографии, чтобы определить, есть ли на ней интересующая область (ROI) с достопримечательностью. Если такая область найдена, зашифрованный запрос отправляется на сервер Apple. Там применяются методы гомоморфного шифрования и дифференциальной конфиденциальности, после чего на iPhone возвращаются возможные соответствия. Затем местная модель предсказания выбирает лучший вариант, и метаданные фото обновляются.
Хотя функция может быть полезной для многих, некоторые пользователи обеспокоены тем, что она активируется по умолчанию и отправляет данные на серверы Apple. Более того, Apple не делала публичного объявления об этой функции. Важно отметить, что эта функция не принадлежит Apple Intelligence; её можно найти в настройках iPhone, таких как iPhone 14 Pro, и при желании отключить.
