В наших домах более 100 миллионов устройств с поддержкой Alexa. Но являются ли они забавной экономией времени или началом оруэлловского кошмара
Dorian LynskeyWed 9 Oct 2019 06.00 BST
Последнее изменение: среда, 9 октября 2019 г., 08:25 BST
Однажды в 2017 году Алекса вышла из-под контроля. Когда Мартин Джозефсон, живущий в Лондоне, вернулся домой с работы, он услышал, как его голосовой помощник Amazon Echo Dot выдает фрагментарные команды, по-видимому, основанные на его предыдущих взаимодействиях с устройством. Похоже, он повторял просьбы забронировать билеты на поезд для поездок, которые он уже совершил, и записать телепередачи, которые он уже смотрел. Джозефсон не сказал слова пробуждения — «Алекса» — чтобы активировать его, и ничто из того, что он сказал, не остановит его. По его словам, это было «кафкианское».
Это было особенно интересно, потому что Джозефсон (имя изменено) был бывшим сотрудником Amazon. Тремя годами ранее он вызвался сидеть в комнате, декламируя в микрофон ряд явно бессмысленных фраз с неизвестной целью. Только когда Amazon выпустила Echo в США в 2014 году, он понял, над чем работал. Он купил Dot, более дешевую и меньшую модель Echo, после того, как она была запущена в 2016 году, и находил ее достаточно полезной до того дня, когда она вышла из строя. Когда вспышка Дота утихла, он отключил ее и выбросил в мусорное ведро. «Я чувствовал себя немного глупо, — говорит он. «Поработав в Amazon и увидев, как они используют данные людей, я понял, что не могу им доверять».
Точка не должна была вести себя как дадаистский сержант-инструктор. С другой стороны, голосовые помощники часто делают то, что не должны делать. В прошлом году клиент Amazon в Германии по ошибке отправил около 1700 аудиофайлов с чужого Echo, предоставив достаточно информации, чтобы назвать и найти несчастного пользователя и его девушку. (Amazon приписала это «досадное происшествие» человеческой ошибке.)
В Сан-Франциско Шон Киннир утверждал, что его Эхо активировалось само по себе, и весело сказал: «Каждый раз, когда я закрываю глаза, все, что я вижу, это умирающие люди». В Портленде, штат Орегон, женщина обнаружила, что ее Эхо взяло на себя обязательство отправлять записи частных разговоров одному из сотрудников ее мужа. В заявлении Amazon говорится, что Echo, должно быть, неправильно расслышал слово пробуждения, неправильно расслышал запрос на отправку сообщения, неправильно расслышал имя в своем списке контактов, а затем неправильно расслышал подтверждение отправки сообщения, и все это во время разговора о деревянных полах. Алекса, не очень.
Технологии часто вызывают двойственное отношение: мы знаем, что Facebook и Google слишком много знают о нас, но продолжаем пользоваться их услугами, потому что они чертовски удобны. Однако голосовые помощники необычайно поляризованы. Люди, которые считают их зловещими и агрессивными (включая меня), считают энтузиастов самодовольными, в то время как те, кто находит их полезными и благоприятными, видят в скептиках параноидальных технофобов. Есть один вопрос, связанный с более серьезными проблемами, касающимися наших отношений с технологической отраслью: следует ли вам пускать Alexa в свой дом?
В январе старший вице-президент Amazon по устройствам Дэвид Лимп сообщил, что компания продала более 100 млн устройств с поддержкой Alexa. В прошлом году в США, где у каждого пятого взрослого есть домашний голосовой помощник, Alexa занимала 70% рынка США по сравнению с 24% доли Google Assistant. Таким образом, она лучше всего подходит для того, чтобы стать тем, что Шошана Зубофф в своем бестселлере «Эпоха слежки за капитализмом» называет «Единым голосом»: доминирующей экосистемой, которая дала бы своему оператору «способность предвидеть и монетизировать все моменты всех событий». людей во все дни». Зубофф называет рождение Alexa «пороговым событием».
Alexa, однако, выросла в эпоху растущего скептицизма по поводу силы и морали технологических компаний «большой пятерки»: Amazon, Apple, Facebook, Google/Alphabet и Microsoft. Такие события, как утечка информации об Эдварде Сноудене и скандал с Cambridge Analytica, бросили тень на утопические обещания Силиконовой долины. Руководители менее склонны упрощать вопросы конфиденциальности. Технические журналисты скорее будут критиками, чем болельщиками. Политики более склонны привлекать компании к ответственности.
Amazon’s Echo Dot. Фотография: Сэмюэл Гиббс/The Guardian
Этот год был особенно сложным. За последние шесть месяцев Bloomberg, Guardian, Vice News и бельгийский новостной канал VRT постепенно выявили, что все «большие пятерки» использовали людей-подрядчиков для анализа небольшого процента записей голосовых помощников. Хотя записи являются анонимными, они часто содержат достаточно информации, чтобы идентифицировать пользователя или поставить его в неловкое положение, особенно если то, что они подслушивают, является конфиденциальной медицинской информацией или непреднамеренным секс-видео. Разоблачения стали последней каплей для многих скептиков Alexa. «Мы живем в техно-антиутопии, которую создали сами. Если у вас все еще есть Alexa или любой другой голосовой помощник, вы предупреждены», — написал автор Gizmodo Мэтт Новак.
Поработав в Amazon и другой компании из большой пятерки, Джозефсон считает такое сопротивление этим компаниям оправданным. «По моему мнению, они совершенно не заинтересованы в том, чтобы задаться вопросом, какое влияние окажут эти продукты. Относиться к ним как к людям, обладающим этой властью, — нелепая ситуация, которую мы не допустили бы ни в одной другой отрасли. Откровенно говоря, они не являются надежными хранителями данных, которые собирают каждый день без нашего ведома».
Голосовое управление впервые захватило общественное воображение в 60-х годах благодаря HAL 9000, разумному компьютеру в 2001: Космическая одиссея и бесконечно полезному компьютеру Starship Enterprise в «Звездном пути». Последний был основным ориентиром для команд, разрабатывавших Amazon Echo и Google Assistant. «Яркий свет, сияющий свет, до которого еще много лет, много десятилетий, — это воссоздание компьютера из «Звездного пути», — сказал Лимп на конференции в 2017 году.
В реальном мире распознавание голоса не стало обычным явлением до тех пор, пока Apple не запустила своего голосового помощника Siri на телефоне в 2011 году. Alexa идет гораздо дальше, колонизируя дом пользователя. Три десятилетия назад дальновидный ученый-компьютерщик Марк Вайзер назвал такую беспрепятственную экосистему «вездесущими вычислениями». В 2015 году Эрик Шмидт из Google предсказал день, когда Интернет станет «постоянной частью вашего присутствия», что сделает ваше поведение в реальной жизни таким же картографируемым, как то, что вы делаете на своем ноутбуке или телефоне. Вы никогда не будете в автономном режиме.
Редактор Gizmodo Адам Кларк Эстес поначалу был в восторге от первой крупной аппаратной инновации после iPad от Apple четыре года назад. Однако чем больше он узнавал об этой технологии, тем меньше она ему нравилась. Его собственное Эхо просыпалось без предупреждения. Записи стали использоваться в качестве доказательств в судебных делах. ФБР отказалось подтвердить или опровергнуть использование Alexa в целях наблюдения. «Мне становилось все более очевидным, что сторожевые псы правы», — говорит он. «По сути, это устройство для прослушивания телефонных разговоров».
Голосовые помощники олицетворяют противоречие между эффективностью и конфиденциальностью. Технология все еще глубоко несовершенна; более чем в одной из 10 расшифровок, проанализированных одним из источников Bloomberg, Алекса проснулась случайно. Точная интерпретация голосовых команд с учетом различных языков, акцентов, тонов, контекстов и степени окружающего шума требует гораздо большей вычислительной мощности, чем может содержать одно устройство. Поэтому большая часть работы выполняется в облаке, благодаря чему люди-мониторы могут собирать и анализировать голосовые записи. «Вы строите инфраструктуру, которая впоследствии может быть нежелательным образом использована крупными транснациональными корпорациями и государственными органами наблюдения, а также скомпрометирована злоумышленниками», — говорит доктор Майкл Вил, преподаватель цифровых прав и регулирования на юридическом факультете UCL в университете. Колледж Лондона.
Не все голосовые помощники одинаковы. Apple, чья прибыль не зависит в первую очередь от сбора данных, использует больше встроенных вычислений и шифрования на обоих концах. «Apple лучше всех заботится о конфиденциальности, — говорит Эстес. «В то же время я думаю, что все согласны с тем, что Siri — отстой». Amazon Echo и Google Assistant гораздо надежнее, потому что бизнес-модели этих компаний зависят от знания о вас гораздо большего для микротаргетинга рекламы. Им нравится представлять сбор данных как средство улучшения обслуживания, при этом преуменьшая огромную коммерческую выгоду.
Google и Amazon, конечно, могли бы улучшить технологию, заплатив людям за ее тестирование — именно такую работу проделал Джозефсон в 2012 году — вместо того, чтобы относиться к своим клиентам как к бесплатной базе данных исследований и разработок. Или они могли рекламировать тот факт, что люди могут изучать записи. «Это должно быть на коробке», — говорит доктор Джереми Гиллула, директор проекта Electronic Frontier Foundation, группы, выступающей против неправомерного использования технологий. Великодушная интерпретация мотивов технологических компаний — безрассудный утопизм, но Гиллула утверждает, что если бы они были действительно наивны в отношении последствий своих технологий, то они не пошли бы так далеко, чтобы скрыть их. «Сомневаюсь, что они думали, что всем будет все равно. Я думаю, они пытались держать это в секрете, потому что, если бы пользователи знали, что происходит, они могли бы перестать покупать устройства. Это было взвешенное деловое решение».
В ответ представитель Amazon говорит: «Доверие клиентов находится в центре всего, что мы делаем, и мы очень серьезно относимся к конфиденциальности клиентов. Мы постоянно пересматриваем наши методы и процедуры, чтобы гарантировать, что мы предоставляем клиентам лучший опыт и варианты конфиденциальности. Мы предоставляем клиентам несколько средств контроля конфиденциальности, в том числе возможность просматривать и удалять свои голосовые записи. Чтобы помочь улучшить Alexa, мы вручную просматриваем очень небольшую выборку запросов Alexa, чтобы убедиться, что Alexa правильно поняла и ответила. Клиенты могут отказаться от включения своих голосовых записей в этот процесс проверки».
Тем не менее, снова и снова было продемонстрировано, что в своей рекламе и хитро сформулированных политиках конфиденциальности технологические компании обычно скрывают масштабы и характер сбора данных. «Google и Amazon показали нам, что они склонны брать столько, сколько могут, пока кто-нибудь не поймает их рукой в банке с печеньем», — говорит Эстес. «Ненавижу драматизировать, но я не думаю, что мы когда-нибудь будем чувствовать себя в безопасности от их методов сбора данных. Государственное регулирование — единственное, что может остановить дальнейший ущерб».
Правительство США не хотело действовать. В июле 2015 года Электронный информационный центр конфиденциальности (Epic), давно существующая некоммерческая организация, занимающаяся «демократическими ценностями в век информации», призвала к расследованию «всегда включенных» устройств, включая голосовых помощников. Ответа они еще не получили. «Рыночные решения в этой области не работают, потому что компаниям разрешено скрывать дефекты собственных продуктов», — говорит Марк Ротенберг, исполнительный директор Epic. Он добавляет: «Если бы вы или я разместили в чужом доме устройство, способное перехватывать частную переписку, мы бы нарушили Федеральный закон о прослушивании телефонных разговоров».
Если вы живете в авторитарной стране, почему бы просто не направить аудиопоток напрямую в государственное агентство по наблюдению?
В июле конгрессмен-демократ Сет Моултон представил Закон об использовании автоматического прослушивания, который будет наказывать компании, чьи голосовые помощники и умные дверные звонки (например, Ring от Amazon) записывают разговоры без разрешения, но Гиллула считает это «довольно слабым законодательством». В Европе, имеющей горький непосредственный опыт массовой слежки при тоталитарных режимах, у регуляторов зубы острее. Недавно Йоханнес Каспар, влиятельный уполномоченный Гамбурга по защите данных, вынудил Google приостановить транскрипцию голосовых записей на всей территории ЕС, в то время как Apple и Facebook одновременно остановили транскрипцию во всем мире. (Amazon просто разрешила пользователям отказаться от наблюдения со стороны человека.) Управление Комиссара по информации Великобритании расследует, нарушает ли надзор со стороны человека Общее положение о защите данных. «У нас уже есть значительное регулирование в этой области, но ключевым моментом является правоприменение», — говорит Виле. «Как и все европейские органы по защите данных, Управление Комиссара по информации недофинансировано и перегружено и нуждается в значительных инвестициях и поддержке для защиты основных прав граждан».
Без эффективного регулирования нет защиты от более агрессивного использования голосовых помощников. По определению всегда включены, даже когда не бодрствуют, устройства постоянно слушают, хотя и не всегда передают. Гиллула говорит, что нет никаких технических препятствий для того, чтобы позволить неактивным устройствам, например, отслеживать просмотр телевизора пользователями, реагируя на высокие сигналы, встроенные в шоу и рекламу, или определять, кто находится в доме в любой момент времени. «По сути, это превращается в постоянное наблюдение», — говорит Гиллула. «Я надеюсь, что компании никогда не пойдут по этому антиутопическому пути, но я видел, как они говорят: «О, это особенность: знайте, когда ваши дети дома!» Привлекательная особенность заключается в том, как начинается большинство этих вещей». /p>
То, где они заканчиваются, воодушевило не только защитников конфиденциальности, но и писателей. Антиутопические последствия голосовых помощников появляются в научной фантастике, в том числе в фильмах Спайка Джонза «Она», «Черное зеркало» и «Годы и годы». За ними маячит «неусыпное ухо» телеэкрана Джорджа Оруэлла в «1984»: «Вы должны были жить — жили по привычке, ставшей инстинктом, — в предположении, что каждый ваш звук был подслушан». Эхо-шоу, умный помощник с экраном и камерой, широко сравнивали с телекраном, когда он был представлен два года назад. «Алекса, покажи мне антиутопию», — пошутил Вайс. В сатирическом романе Джоанны Кавенны «Зед» писательница исследует «странный аспект дисфункциональных слуг» реальных голосовых помощников (все они имеют женские голоса по умолчанию) и социально-политические последствия One Voice: в Zed, технологической монополии. , Жук, вездесущ и необъясним. «Демократическая идея заключается в том, что у нас должны быть прозрачные корпорации и правительства, в то время как у людей есть конфиденциальность», — говорит она. «У нас все наоборот. Люди беспокоятся, потому что это не обсуждается на зрелом, демократическом уровне».
Хоакин Феникс в фильме Спайка Джонза «Она». Фотография: Sportsphoto Ltd/Allstar
Кавенна опасается, что штаты США, далекие от принятия законов для защиты конфиденциальности пользователей, будут стремиться получить доступ к записям голосового помощника во имя предотвращения преступности и национальной безопасности. В прошлом году судья в Нью-Гэмпшире попал в заголовки газет, приказав Amazon предоставить следователям эхо-записи двойного убийства. «Это ставит их в очень затруднительное положение между их клиентами и правительством», — говорит Кавенна. «Мы очень зависим от политического режима».
Ротенберг соглашается: «Если вы авторитарная страна, почему бы просто не направить аудиопоток прямо на правительственное наблюдение агентство и утверждают, что это для снижения уровня преступности в семье? Страшно представить, но можно представить».
Сегодня голосовые помощники не являются самой серьезной угрозой конфиденциальности только потому, что они необязательны. Сканер распознавания лиц может шпионить за вами в общественном месте, но Алексу, как вампира, необходимо пригласить к себе домой. Единственная по-настоящему эффективная сила, которой вы можете обладать над этой технологией, — это не использовать ее. Но осознанный выбор скомпрометирован вводящим в заблуждение маркетингом и подрывается попытками Amazon внедрить Alexa в бесчисленное множество продуктов, включая автомобили, телевизоры, наушники, микроволновые печи, термостаты и часы, при этом заключая сделки со строительными компаниями и гостиничными сетями, и все это с прицелом на стать Единым Голосом. «Голосовое управление навязывается потребителям, нравится им это или нет», — говорит Эстес.
Мы еще не там. Технологические компании полагаются на миф о технологической неизбежности, чтобы скрыть принятые ими бизнес-решения и возможности других моделей. Бросить им вызов — значит бороться с будущим. Ерунда, говорит Кавенна. «Является ли это неизбежным следствием технологий? Нет, это идеологическое применение технологий. Если вы строите здание, вам не нужно строить паноптикум. Это не должно быть то, что мы имеем сейчас. Они часто будут утверждать, что если вы против этого, то вы неолуддит. Этот миф позволил многим людям невероятно разбогатеть».
Ни у кого из людей, с которыми я разговаривал, нет домашнего голосового помощника, и они никому не советуют его приобретать, но все они согласны с тем, что можно разработать устройство, которое предоставляет самые популярные услуги, соблюдая при этом конфиденциальность пользователя. Если бы вся индустрия последовала примеру Apple, сделав мониторинг людей добровольным, а не отказным, это было бы сильным началом. Затем, по мере увеличения вычислительной мощности, внутри устройства можно будет выполнять больше задач. Но, конечно, это означало бы потерю этих сочных, монетизируемых данных. «Многие вещи, которые вы действительно хотите делать, не должны требовать Интернета, и как только вы отключите доступ к облаку, проблемы с конфиденциальностью исчезнут», — говорит Эстес. «Всегда есть потенциал для того, чтобы что-то улучшить, и всегда будет борьба, чтобы добиться этого».
Джереми Гиллула настолько убежден, что безопасное, полностью возможно, голосовой помощник, управляемый пользователем, который он разрабатывает самостоятельно, используя программное обеспечение с открытым исходным кодом.
«Я доберусь до цели», — весело говорит он. «Я еще не доволен на 100 %, но это будет включать и выключать свет».
Свежие комментарии