Широкое использование государственными органами систем профилирования рисков в правоохранительной деятельности, сфере социального обеспечения и миграции несовместимо с международным правом в области прав человека и должно быть запрещено, заявила Amnesty International в новом докладе.
Профилирование рисков — это оценка вероятности того, что человек или группа людей нарушит закон или правило. Государства используют его для выявления потенциальных правонарушителей ещё до того, как было совершено какое-либо правонарушение. Такие оценки всё чаще автоматизируются с использованием технологий искусственного интеллекта и во многих случаях приводят к нарушениям прав человека. Это первый случай, когда профилирование рисков было всесторонне оценено с точки зрения международных стандартов в области прав человека.
«Этот доклад показывает, как системы профилирования рисков влияют на права людей, и предлагает научные и правовые аргументы, которые правозащитники, государственные служащие, надзорные органы, адвокаты и судьи могут использовать, чтобы оспаривать применение таких систем государствами и другими субъектами», — заявил Александр Лауфер, исследователь Amnesty International Нидерланды по вопросам технологий и прав человека.
Этот доклад показывает, как системы профилирования рисков влияют на права людей, и предлагает научные и правовые аргументы, которые правозащитники, государственные служащие, надзорные органы, адвокаты и судьи могут использовать, чтобы оспаривать применение таких систем государствами и другими субъектами
Александр Лауфер, исследователь Amnesty International Нидерланды по вопросам технологий и прав человека
Такие системы, например, использовались в Дании при расследовании мошенничества с социальными пособиями, во Франции — в системе рассмотрения заявлений на получение вида на жительство, в Нидерландах — в системе выявления мошенничества в социальной сфере, а в Австралии — в автоматизированной схеме взыскания задолженностей.
Системы профилирования рисков часто представляются как способ, с помощью которого государства могут оптимизировать предоставление услуг, повысить экономическую эффективность, предотвращать преступления, включая мошенничество, и контролировать миграцию. Эти утверждения, основанные на представлении о нехватке ресурсов, были опровергнуты как обоснование государственной политики, поскольку они являются эмпирически неподтверждёнными и политически удобными предположениями, превращающими бедность и другие социальные проблемы из политических вопросов в проблему «эффективности», которую предлагается решать посредством автоматизированного распределения ограниченных ресурсов и надзора.
Тем людям, которые подпадают под прицел системы профилирования рисков в таких значимых сферах, как правоохранительная деятельность, социальное обеспечение и иммиграция, причиняется серьёзный вред. Люди испытывают психологический стресс, подвергаются стигматизации и ложным обвинениям в преступлениях, что потенциально может привести к бездомности, депортации, несправедливому отказу в социальных пособиях или даже тюремному заключению.
Дискриминация и интерсекциональные последствия
В докладе также подчёркиваются часто игнорируемые структурные и интерсекциональные последствия дискриминационного применения профилирования рисков, несмотря на то что правительства представляют его как объективный инструмент. Эта технология нарушает право на равенство и недискриминацию и приводит к дискриминации по признаку расы и этнической принадлежности, гендера, социально-экономического положения и инвалидности.
Сильнее всего страдают маргинализованные группы. Представители расовых меньшинств, мусульмане, беженцы и мигранты, люди с инвалидностью или хроническими заболеваниями, а также люди с низкими доходами чаще получают ярлык «подозрительных», подвергаются постоянному надзору и в конечном счёте становятся жертвами вредящих им решений.
«Ситуацию усугубляет широко распространённая непрозрачность, которая оставляет людей бессильными и неспособными оспорить эти системы и решения, затрагивающие их права. Это также создаёт риски для других прав человека, таких как право на справедливое судебное разбирательство, презумпция невиновности, право на неприкосновенность частной жизни и защиту данных, социальное обеспечение, достаточный жизненный уровень и полная реализация человеческого достоинства», — заявил Александр Лауфер.
Эти дискриминационные последствия выходят за рамки предвзятости и индивидуальных прав. Хотя снижение уровня преступности или мошенничества может быть законной целью применения таких систем, они всё равно могут использоваться для прикрытия инвазивного надзора за целыми сообществами и приводить к несоразмерному вреду для прав человека.
«То, как применяются эти инструменты, может быть следствием уже существующих стереотипов и предубеждений, в рамках которых маргинализованные группы рассматриваются как изначально преступные или опасные. Отдельные люди или группы превращаются из статистических, гипотетических подозреваемых в реальных подозреваемых, что закрепляет уже существующие предубеждения или порождает новые. Это результат существующей системной дискриминации», — заявил Александр Лауфер.
Сомнения в эффективности
Amnesty International также установила, что во многих государственных процессах создания систем профилирования рисков отсутствуют строгие научные методы, которые обычно предотвращают получение вводящих в заблуждение результатов или их неправильную интерпретацию. Правительства часто описывают профилирование рисков как экономически эффективный способ борьбы с преступностью, мошенничеством в сфере социального обеспечения и нерегулярной миграцией, однако существует крайне мало научных доказательств, подтверждающих эти заявления. Напротив, исследования показывают, что такие инструменты научно сомнительны и неизменно неточны.
Как показывают исследования, предсказание того, совершит ли конкретный человек преступление или мошенничество в сфере социального обеспечения, является научно крайне проблематичной задачей. Данные, необходимые для выполнения этой задачи с достаточным качеством и точностью, не существуют и никогда не будут существовать. Например, такие сложные формы поведения, как преступность или мошенничество в сфере социального обеспечения, чрезвычайно трудно измерять, прогнозировать и проверять. Поэтому для прогнозирования такого поведения приходится использовать ненадёжные и предвзятые косвенные показатели: например, повторный арест для прогнозирования повторного правонарушения или непреднамеренные ошибки в сфере социального обеспечения вместо мошеннических заявлений. Это ставит представителей расовых меньшинств и маргинализованных сообществ под угрозу.
Следовательно, научная обоснованность моделей профилирования рисков фундаментально слаба, а сами они могут причинять серьёзный вред людям, на которых направлены. Это, в свою очередь, делает профилирование рисков трудно оправданным.
«Попытки предсказывать мошенничество или преступность часто фактически означают автоматическое превращение маргинализованных сообществ и отдельных людей в подозреваемых вместо принятия решений на основе доказательств», — заявил Александр Лауфер.
Попытки предсказывать мошенничество или преступность часто фактически означают автоматическое превращение маргинализованных сообществ и отдельных людей в подозреваемых вместо принятия решений на основе доказательств
Александр Лауфер, исследователь Amnesty International Нидерланды по вопросам технологий и прав человека
«Невозможно создать объективный или нейтральный алгоритм профилирования рисков. Данные о людях никогда не бывают объективными. Когда государства используют прошлые социальные данные, чтобы предсказать, кто совершит преступление, например мошенничество, они неизбежно нацеливаются на людей, принадлежащих к исторически угнетённым или маргинализованным группам, тем самым воспроизводя и усугубляя прошлую несправедливость. Не существует технического способа исправить общественные проблемы», — добавил он.
Amnesty International и другие организации задокументировали тематические исследования, показывающие, что системы профилирования рисков непропорционально часто связывают людей, сталкивающихся с одной или несколькими формами дискриминации или маргинализации, с более высоким уголовным или финансовым риском.
Запретить профилирование рисков
Профилирование рисков в сфере миграции, выявления мошенничества в системе социального обеспечения и контроля преступности должно быть запрещено. Системы прогностического профилирования и оценки рисков — как основанные на данных, так и основанные на правилах — должны быть запрещены в сферах с высокими рисками нарушения прав человека даже в тех случаях, когда окончательные решения принимают люди. Государства также должны принять новые или изменить существующие законы, чтобы обеспечить соблюдение этого запрета. До тех пор, пока такие законы не будут приняты, власти не должны использовать эти системы и должны прекратить их разработку, производство и продажу.