автордың кітабынан сөз тіркестері Как учится машина. Революция в области нейронных сетей и глубокого обучения
Все происходящее напомнило мне старый анекдот: «Конечно, это хорошо работает на практике. Но работает ли это в теории?»
3 Ұнайды
Моя интуиция подпитывается чтением книг. Я просто пожираю книги. Я исследую работы тех, кто был до меня. Вы никогда ничего не создадите в одиночку
2 Ұнайды
глубокое обучение — это неотъемлемая часть будущего искусственного интеллекта. Однако на сегодняшний день эти системы не способны к логическим рассуждениям. В то же время подходы к ИИ, основанные на логике, в нынешнем их состоянии несовместимы с обучением. Наша важнейшая задача на ближайшие годы — сделать эти два подхода совместимыми друг с другом.
2 Ұнайды
Идея состояла в том, чтобы предварительно обучить слои сверточной сети извлекать общие шаблоны без их привязки к конкретной задаче. В результате этого слой сети создает представление, из которого можно восстановить входные данные слоя. Эта технология называется «автоэнкодер», особенность ее заключается в минимизации количества включенных нейронов.
1 Ұнайды
В чем состоит деятельность исследователя? Откуда берутся его идеи? Что касается меня, то я уделяю много внимания интуитивным догадкам. Дальше наступает очередь математики. Я знаю, что другие ученые действуют диаметрально противоположным образом. Я проецирую в свою голову пограничные случаи, которые Эйнштейн называл «мысленными экспериментами», благодаря которым вы сначала представляете ситуацию, а затем пытаетесь рассмотреть ее следствия для лучшего понимания проблемы.
Моя интуиция подпитывается чтением книг. Я просто пожираю книги. Я исследую работы тех, кто был до меня. Вы никогда ничего не создадите в одиночку. Идеи живут, дремлют, и они возникают в чьей-то голове, потому что пришло время. Так рождаются исследования. Они продвигаются неравномерно, то прыжками, то шажками, а порой — даже пятясь. Но деятельность эта всегда коллективна. Образ одинокого исследователя, делающего в своей лаборатории мировое открытия, — не более, чем романтическая фантастика.
1 Ұнайды
Теорема о том, что «бесплатного обеда не бывает» резюмирует это правило следующим образом: обучающаяся машина, способная обучаться всему, на самом деле вообще не может ничему научиться. Дело в том, что ей понадобится неоправданно большое количество обучающих примеров, чтобы перестать перебирать все точки и начать находить основное правило, то есть обобщать. Аналогично, люди с прекрасной памятью часто менее склонны к самостоятельному выявлению правил и закономерностей.
Представьте себе многочлен бесконечной степени, с огромной способностью к обучению: ошибка обучения всегда равна 0; сколько бы оценок он ни получил, многочлен может пройти через все точки. Но он никогда не сможет обобщить. Многочлен выучит все наизусть, как плохой ученик учится без понимания. Учитель повторяет ему таблицу умножения, и тот, вместо того
Это новый способ написания программ, использующий преимущества дифференцируемости модулей, автоматического дифференцирования графа модулей и обучения методом градиентного спуска. Некоторые видят в этом настоящую революцию
Для обнаружения известных пропагандистских видео или изображений террористов используются методы, схожие с эмбеддингом [104]. Они помечаются сразу после публикации и добавляются в черный список запрещенных тем. Первая сверточная сеть обучается создавать вектор, представляющий изображение или видео. Затем другая система просто обнаруживает сходство с видео, которые находятся в этом черном списке [105]
Рассуждения — это лишь малая часть человеческого разума. Мы часто думаем по аналогии, мы действуем интуитивно, опираясь на представления о мире, постепенно приобретаемые через опыт. Восприятие, интуиция, опыт, наборы усвоенных навыков — все это результат обучения.