Под вредоносными входными данными может подразумеваться вредоносное ПО, когда антивирусное ПО реализуется с использованием машинного обучения.
В настоящее время растет интерес к использованию нейронных сетей для выявления вредоносного ПО, поскольку присущая программному обеспечению вариабельность и постоянное развитие вредоносного ПО не позволяют четко определить, какие признаки программного обеспечения могут указывать на наличие угрозы.
Термин «вредоносный образ» (adversarial example) впервые использован Шегеди и его коллегами для описания примеров, подобных тем, что представлены на рис. 1.2. Иногда он подразумевает входные данные, созданные с целью заставить модель возвращать неверный результат, вне зависимости от того, удается ли таким данным действительно обмануть нейросеть или нет. Однако обычно этот термин подразумевает только те входные данные, которые сумели обмануть нейросеть.
Вредоносные входные данные также могут представлять собой определенные метки на дорожном знаке, которые будут восприниматься человеком как граффити, но в то же время заставят автономное транспортное средство интерпретировать знак неправильно.
сфере обработки изображений концепция вредоносных входных данных подразумевает создание оптических иллюзий, которым подвержен только искусственный интеллект. Так, вредоносное изображение может быть сгенерировано путем добавления в изображение кошки множества, казалось бы, неважных пикселей, которые заставят ИИ относить данное изображение к категории «собака», но не внесут в него каких-либо заметных изменений признаков, которые, по мнению человека, являются характерными для собаки.
озможно, из-за того, что нейронные сети основаны на нейробиологических моделях и имитируют свойства человеческого интеллекта, мы и предположили, что они практически «думают», как люди.
Международной конференции по репрезентационному обучению (International Conference on Learning Representations, ICLR). Эта работа показала, что алгоритмы глубокого обучения можно обманом заставить выдавать некорректные результаты.
Начиная с 2010 года в рамках данного проекта проводится ежегодный конкурс ILSVRC (ImageNet Large Scale Visual Recognition Challenge — конкурс по широкомасштабному распознаванию образов в ImageNet), призванный стимулировать исследования в области программного обеспечения для визуального распознавания объектов.
При реализации проекта ImageNet использовался краудсорсинг для ручного аннотирования каждого изображения.
ImageNet
ImageNet (www.image-net.org) — это база данных со ссылками на изображения, созданная для стимулирования прогресса в области машинного зрения.
