СОСТЯЗАТЕЛЬНЫЕ ПРИМЕРЫ
2018
Представьте себе значок, который можно прикрепить к рубашке, или картинку, которую можно приклеить на знак остановки, чтобы обмануть ИИ-устройство (например, умную камеру наблюдения или беспилотный автомобиль) и заставить его думать, будто вы или знак — это любой другой объект на ваше усмотрение. Такой сценарий не выдумка, и он в действительности представляет угрозу для ИИ-систем на основе машинного обучения, а также для визуальных и аудиосистем, принимающих решения.
В 2017 г. исследователи из Google разработали круглые вставки с красочными психоделическими узорами, чтобы отвлечь классификаторы изображений с ИИ. Такие вставки могут обмануть ИИ-систему и заставить ее думать, что банан — или любой другой объект — это, например, тостер. Для этого достаточно просто поместить вставку рядом с объектом. Ранее с помощью других приемов экспериментаторы уже обманывали ИИ-системы, выдавая черепах за винтовки, а винтовки — за вертолеты. И хотя видоизмененные состязательные примеры со вставками хорошо заметны человеческому глазу, странные узоры и конструкции (скажем, граффити на стене здания или сложную трехмерную скульптуру) легко принять за обычное творчество — так что никто даже не догадается, что они призваны сбить с толку беспилотник, чтобы тот, например, принял больницу за военную цель.
В других экспериментах ИИ-системы неверно классифицировали знаки остановки как знаки ограничения скорости. В ряде работ уже анализировались потенциально опасные изменения, незаметные для человека, такие как подмена нескольких пикселей в изображении. В 2018 г. ученые из Калифорнийского университета в Беркли разработали состязательные примеры для систем распознавания речи. Иными словами, исследователи могли создать форму звуковой волны, почти идентичную реальной, и тем самым обмануть программу преобразования речи в текст, чтобы та превратила аудиосигнал в любую фразу по желанию исследователей.
Опыты с состязательным машинным обучением предполагают манипулирование тренировочными данными в ходе обучения ИИ. Хотя некоторые состязательные примеры можно нейтрализовать, потребовав от ИИ использовать сразу несколько систем классификаторов или запрограммировав их так, чтобы при обучении они не реагировали на состязательные примеры, во многих сферах применения ИИ сохраняются потенциальные риски.
СМ. ТАКЖЕ , , ,
Исследования показали: если поместить круглые психоделические пятна в поле зрения ИИ-системы, можно обмануть ее и заставить «думать», что банан — это тостер. Это указывает на возможные риски при использовании ИИ в некоторых сферах
2018
Представьте себе значок, который можно прикрепить к рубашке, или картинку, которую можно приклеить на знак остановки, чтобы обмануть ИИ-устройство (например, умную камеру наблюдения или беспилотный автомобиль) и заставить его думать, будто вы или знак — это любой другой объект на ваше усмотрение. Такой сценарий не выдумка, и он в действительности представляет угрозу для ИИ-систем на основе машинного обучения, а также для визуальных и аудиосистем, принимающих решения.
В 2017 г. исследователи из Google разработали круглые вставки с красочными психоделическими узорами, чтобы отвлечь классификаторы изображений с ИИ. Такие вставки могут обмануть ИИ-систему и заставить ее думать, что банан — или любой другой объект — это, например, тостер. Для этого достаточно просто поместить вставку рядом с объектом. Ранее с помощью других приемов экспериментаторы уже обманывали ИИ-системы, выдавая черепах за винтовки, а винтовки — за вертолеты. И хотя видоизмененные состязательные примеры со вставками хорошо заметны человеческому глазу, странные узоры и конструкции (скажем, граффити на стене здания или сложную трехмерную скульптуру) легко принять за обычное творчество — так что никто даже не догадается, что они призваны сбить с толку беспилотник, чтобы тот, например, принял больницу за военную цель.
В других экспериментах ИИ-системы неверно классифицировали знаки остановки как знаки ограничения скорости. В ряде работ уже анализировались потенциально опасные изменения, незаметные для человека, такие как подмена нескольких пикселей в изображении. В 2018 г. ученые из Калифорнийского университета в Беркли разработали состязательные примеры для систем распознавания речи. Иными словами, исследователи могли создать форму звуковой волны, почти идентичную реальной, и тем самым обмануть программу преобразования речи в текст, чтобы та превратила аудиосигнал в любую фразу по желанию исследователей.
Опыты с состязательным машинным обучением предполагают манипулирование тренировочными данными в ходе обучения ИИ. Хотя некоторые состязательные примеры можно нейтрализовать, потребовав от ИИ использовать сразу несколько систем классификаторов или запрограммировав их так, чтобы при обучении они не реагировали на состязательные примеры, во многих сферах применения ИИ сохраняются потенциальные риски.
СМ. ТАКЖЕ , , ,
Исследования показали: если поместить круглые психоделические пятна в поле зрения ИИ-системы, можно обмануть ее и заставить «думать», что банан — это тостер. Это указывает на возможные риски при использовании ИИ в некоторых сферах
