Британская финансовая отрасль в значительной степени зависит от автоматизированных систем
На жаркие выходные в июне прошлого года, Сара в машину Ватсон подошел к Герцу киоске в аэропорту, прилетев домой на свадьбу друга. Это был один утром, и она с нетерпением ждала едешь к дому ее матери.
БЕЗ КРЕДИТНОЙ КАРТЫ, информации в машину Уотсон был запущен через автоматизированную систему, чтобы увидеть, если она представляет опасность. Несмотря на ее хорошей кредитной балл и банковский баланс, 26-летний юрист был лишен предоплаты седан.
Дорогой Убер путешествие позже, она вернулась на следующее утро, чтобы перевести бронирования и при этом, спросил у менеджера, Что случилось. Разговор становился напряженным, и он держал компьютерную распечатку, в которой говорилось, что она “не смогла предоставить конкретные причины, почему мы отклонили ваш запрос на оплату с помощью дебетовой карты”.
Он спросил ее, если она могла читать, в машину, — отвечает Ватсон. Она указала на билет и попросил его показать, где именно он объяснил отказ, случайно опрокинув бутылку воды на столе. Менеджер “сделал несколько шагов назад от стойки, как будто он боялся”. Расстроен, она предложила, что он “боится черных людей”.
После этого менеджер сказал ей, что он будет отказывать ей любые услуги и позвонил в полицию аэропорта, что дает им описание пары.
“Моя первая реакция была чисто смущения, а второй был гнев. Он чувствовал, как если бы вся система была афера”, — говорит она.
С тех пор, в машину Ватсон безуспешно пытался выяснить, какой информацией автоматизированной системы, используемой, чтобы решить, у нее был риск: это потому, что она была женщиной, она была черной, или просто глюк? Герц не ответила на просьбу прокомментировать ситуацию, хотя машину Уотсон сказал, что ей было сказано, у компании было исследовано ее взаимодействие с их сотрудником и не обнаружила нарушений.
Это отсутствие прозрачности, которые заставили правительство назначить исследователям понять въелась алгоритмическим уклоном в промышленности. В докладе Центра по вопросам этики, сведения и инновации отложили из-за коронавируса, но он надеется, он будет опубликован позднее в этом году.
Что такое алгоритмическая предвзятость?
Британские потребители были подвержены автоматизированного принятия решений в течение многих лет. На бумаге, это имело смысл сдавать решения о том, как вероятно, кто-то ре-оскорблять, Excel в определенную роль или погасить кредит своевременно, чтобы машин, избавляя человека подсознательные предрассудки из уравнения. Но в последующие годы, очень исторические предубеждения мы пытались бороться ползут в.
“Что-то должно быть сделано”, — говорит профессор Павел Резник Мичиганского университета Школы информация. “Там должен быть режим прозрачности”.
Ученые предупреждали в течение многих лет, что алгебра не может дискриминировать, но данные, которые он использует, может быть предвзятым. Например, если банк имеет историю кредитования белых мужчин и их данные обучается на эти данные, алгоритм, скорее всего, кредитовать эту группу. Алгоритмы являются точными, но они не всегда честные.
“Когда вы взаимодействуете с системами, которые делают автоматический выбор в отношении вас, от вашего имени, они делают ошибки”, — говорит профессор Резник.
Они делают меньше ошибок, в среднем, чем у человека, но ставка чисто на которого они изготовлены, это означает, что объем ошибок выше – и они не получают исправлены или переподготовку, как человек может. “Это не может быть понятно, является ли это случайной ошибкой, или же это что-то несправедливо для вас на основе признака”, — говорит он. “Я думаю, что это одна из вещей, которая делает его очень расстраивает. Я отклонил на этот кредит, потому что я черный? Иногда ты, иногда тебя не было.”
В Великобритании законы против дискриминации обеспечивает защиту от дискриминации, будь то человек или алгоритмическом. Но ученые и чиновники теперь опасаются, что банки сами могут не знать масштаб проблемы, потому что системы уже прошли обучение на неполной или нерепрезентативных данных. Кроме того, они могут состоять из солянка из стороннего программного обеспечения, подпитывается разнородных брокеров данных.
“Конечно, предвзятость есть – это просто невероятно трудно воспринимать”, — говорит Джин Бартон, который сидит на научный совет международная ассоциация профессионалов частной жизни.
С первого взгляда | Яблоко карты
В прошлом году, мужчина и женщина одинакового финансового состояния были даны абсолютно разные кредитные лимиты, применяя для нового Apple Карты. Дэвид Ханссон, инженер-программист, описанные карту как “сексистские” и штата Нью-Йорк начала расследование.
Как он узнал? Пара поженились. В самом деле, несмотря на Ханссон получает лимит в 20 раз выше, чем с женой, она на самом деле был лучше кредитный рейтинг.
«Голдман Сакс», которая сотрудничает с Apple, чтобы предложить карту, отрицали свою вину, утверждая, что он никогда не использовал пол в качестве маркера. Но, возможно, это был вопрос.
Вы никогда не можете быть слишком осторожным, когда дело доходит до оценки кредитоспособности женились на женщинах с @AppleCard. Они могут внезапно сделать все в истерику и совершают случайные акты потребительства! https://t.co/N64vtVRD8q
— DHH (@dhh) 9 ноября 2019
По иронии судьбы, британские банки чувствуют себя новых европейских законов о конфиденциальности это намного сложнее, чтобы избавиться от предвзятости, потому что они отстранены от сбора расы, пола или инвалидности для проверки своих систем являются справедливыми.
Исследователи говорят, что компании чувствуют себя ограниченными, когда они пытаются делать эмпирические оценки справедливости, поскольку сведения не доступны, либо не собрать, либо из-за политики компании, или из-за толкования GDPR. Это означает, что не может быть проверка, чтобы увидеть, если некоторые другие данные тенденции приводят банке, чтобы дать более высокие кредитные лимиты для мужчин, даже если в системе не использовать свой пол в расчетах.
Чистый, прозрачный наборов данных может помочь, но информация является собственностью компании, поэтому компании не будут открыты для совместного его, чтобы попробовать и создать более представительным наборам. Прозрачность также может быть проблематичным, поскольку это может быть недоразвита, что профессор Резник описывает как «Гоча» культуры, где малые проблемы могут быть подобраны в СМИ, даже если они switfly исправлена, и что может привести к закрытию еще больше. Это, плюс раскрывая внутреннюю работу, как проприетарных систем банка, судья справедливости может быть автогол, добавляет он.
Финансовый омбудсмен принимает жалобы, основанные на алгоритмических решений, которые можно посмотреть онлайн, некоторые из которых выявить усложнения систем, используемых крупнейших брендов.
Великобритания стала чем-то вроде пионера в предвзятости «песочница», программа, утвержденная управлением по финансовым поведения органа, который помогает стартапам или крупных компаний как Barclays играть с синтетическими данных и гипотетические модели, которые могут быть проверены на вещи, как уклон. Но это дело добровольное.
Лорд Клемент-Джонс, председатель парламентской группы по искусственному интеллекту, говорит, что он расстроен по поводу отсутствия ответа от отрасли, несмотря на стимулирующие программы. Теперь, более чем когда-либо, говорит он, в этой отрасли необходимо доказать, что он работает на глубоко укоренившиеся проблемы, которые постоянно возвращаются, чтобы преследовать нас.
“Мы просто повторяя предрассудки семидесятых? Это был именно тот вопрос, который мы задали в Палате лордов два года назад”, — говорит он. “И он до сих пор не ответил.”
Свежие комментарии