Оглавление

Университет искусственного интеллекта и лично Роман Фролин и Альфа Моргенштерн для DATA SCIENTIST

Предисловие

Если по чистой рандомности, Уважаемый Читатель, Вы — confutatos держать в руках сей текст, ведь главная проблема, уважаемый Читатель — не в сложности текста или в каких-то математических формулах и/или недостатке времени, нет! Главная засада, в том, что сейчас никто более двух фраз не читает. И не только ZETы, то бишь молодежь, которую все олдскульные ругают, а и сами олдскулы — тоже ничего не читают, хотя и ворчат на ZETов и игреков

Поэтому книга будет минимальна, всего три страницы, а там — уж Приложения всякие для комикадзе

Университет искусственного интеллекта, а где? Уважаемые дамы и господа Читатели, позвольте привести вполне благожелательный интернет-референс =

https://lk.neural-university.ru/learning-program

А где?

Где ии?

Что есть суть ИИ?

Вот такая ситуация встречается достаточно часто. И в этом есть свои плюсы и минусы, естественно.

И искусственно, конечно, натюрлих, natuerlich, естественно.

Почему, Дорогой Читатель?

Для ответа на этот вопрос надобно дать минут 5—10 на раздумывание, так что придется занять ваше внимание одной любопытной иллюстрацией, вослед за Альфабанком моргенштейном, моргенштаммом, пришедшей ко мне из Англии.

Как утверждают Пауль и Томас, финансовые экстримы происходят в стохастическом моделировании… не только биржевой торговли опционами, но и в реальных дилах.

Дело в том, что это Springer Verlag. То есть книжку в 600 стр. не омериканские гении писали, а настоящие немецкие профессора. Мы вчера с учеником из Англии разбирали страницу с гипергеометрическим распределением — это невиданное математическое удовольствие. ОЧЕНЬ ПЛОТНЫЙ ТЕКСТ и 600 стр. Но вернемся к искусственному интеллекту, что это такое, когда появился и зачем он нужен?

Я предлагаю идти по-простому, — шаг за шагом. А что может быть проще, чем ответить на третий вопрос ответом = «Для дополнительных денег».

И ведь действительно, например в компании ИИ будут внедрять, если заранее известно, что это сулит увеличение прибыли.

Однако, по утверждению Романа Фролина — не во всех, а в примерно в 20%.=

// Ратко Фролич Администратор// К сожалению, всякий датасайнс для корп. Не уверен, что CRM есть хотя бы у 20% предприятий.//

https://www.facebook.com/groups/273555102754420/permalink/3616917598418137/

вот общий ход дискашина =

Возникает вопрос — почему?

И на этот вопрос есть разные ответы. А вот не сделать ли мне ответы на этот вопрос –домашним заданием для DATA SCIENTIST?

Самые крутые из них — могут прямо написать свой (не списанный у КОГО-ТО) ответ в рунет = во Вконтактике в группе = Секретная масонская интернет-группа DATASCIENCE=

По ссылке = https://vk.com/club202434888 Без проблем, гайз.

Правила там просты как пряник = // Перед каждым высказыванием КАЖДЫЙ Дискутант пишет количество минут, которые он ЗАТРАТИЛ перед тем, как что-нибудь ЛЯПНУТЬ, Ляпкин-Тяпкин ты наш молчаливый! Вот я думаю, надо ли обязательно разрешать женщинам прибавлять натуральное число к этой цифре? Загадка… Но женщины — вообще народ загадочный. //

Смелых из племени DATA SCIENTIST очень мало, как показал прошедший март месяц, это — еще одна тайна загадочной русской души.

А вот посмотрим, из Читателей данной книги –много ли будет настоящих DATA SCIENTIST?

И ведь, главная проблема, уважаемый Читатель — не в сложности тескта или в каких-то математических формулах и/или недостатке времени, нет! Главная засада, в том, что сейчас никто более двух фраз не читает. И не только ZETы, то бишь молодежь, которую все олдскульные ругают, а и сами олдскулы — тоже ничего не читают, хотя и ворчат на ZETов и игреков

Поэтому книга будет минимальна, — всего одно предисловие и всего одна глава- Первая, она же единственная! а там — уж Приложения всякие для комикадзе

Приложение 1. Необходимая математика для DATA SCIENCE.

Приложение 2. Секретная масонская 3d-DataScience для продвинутых чайников. Главные 6 разделов искусственного интеллекта

Буду необыкновенно рад Вашей критике, уважаемые дамы и господа,

Всегда Ваш

Покорный слуга

Математик. Никифоров.

Москва, 30 марта 2021г. Начальство изволили дать выходной! Да хранят Его (Начальство) Боги Олимпа!

1 Глава. Дефиниции ИИ= Искусcтвенного Интеллекта = AI/eng

Первая дефиниция, которую я предлагаю Вам, уважаемый Читатель, -моя, вот она =

В моей книге ((с) 2021) «Секретная масонская 3d-DataScience для продвинутых чайников Главные 6 разделов искусственного интеллекта» вводится

Первая рабочая дефиниция ИИ

=по-операбельные и функциональные цепочки логических конструкций как представление компетенций «руководителя» и «ис-

Полнителя»=. Полнитель таким образом заполняет пустоту формы, представленную Боссом.

Таким образом, в ИИ присутствуют не только БИГДАТы, но и по-необходимости некоторые алгоритмы, лучше всего –разветвленные, а не как примитивные нейросети, коим весьма и весьма модно потчевать толпы лохов, да еще и без преподавания им Теоремы Колмогорова.

Особый объект БИГДАТы — Особый объект больших массивов данных — временные ряды (time-series). Теорема об автокорреляции стационарного процесса. АКФ и АКЧФ в задачах моделирования и прогнозирования. Прекрасная Теорема. У Артамонова (МГИМО). Сейчас напишу.

Лучше всего прочитать это в учебничке (2011 оригинал, а русский перевод 2015, около 800 стр.) «Введение в эконометрику». Найдите этот хороший учебничек, если мосх есть. Вполне возможно, что сам учебничек, рАвно как и старину Доугерти (Оксфорд, также «Введение в эконометрику») можно втолкнуть в неёросеть и такая сетка сможет стать весьма популярной для студентов как волшебная шпора.

Вторая — в отличие от первой по-операбельной скорее функциональная. В книге 1 Вводится

Вторая рабочая дефиниция ИИ

как =Принятие решений в условиях неопределенности.=

Попросту написать дефиниции, это, согласитесь скучно, вослед за Альфабанком надо устроить какой-то хайп, чем мы сейчас и займемся!

Для начала хайпа процитируем дураков и с высоты своего самомнения и тщеславия (а как без этого издавать книги — никто не понимает) будем смотреть свысока на всех тех, кто ими обязан пользоваться, потому что жене начальника так взбрендило в блондинистую милую впрочем, гловку.

Сверх-мега-супер-пупер важные и модные дефиниции из США = в «протоколах сионских гартнеровских мудрецов»

https://www.gartner.com/en/information-technology/glossary/artificial-intelligence

Artificial intelligence (AI) applies advanced analysis and logic-based techniques, including machine learning, to interpret events, support and automate decisions, and take actions.

Не могли разве они что-нить поумнее придумать, чем банальный набор вумных слов, под который подходит обычная стиральная машина?

В этой дефиниции нету ничего ни умного, ни логического, что отличает именно ИИ от обезьяны, которая также умеет to interpret events, support and automate decisions, and take actions.

Скажу еще больше = неизвестно кто (гринго билл-бомж) применяет анализ (ну и обезьяны также применяют) чтобы интерпретировать события (а собаки разве не интерпретируют?) поддержать ЧЬИ_ТО решения (чьи? вот главный вопрос BLM) ну и потом — задрав штаны бежать за комсомолом. Ну ни о чем эта дефиниция…

Еще хуже с БИГДАТОЙ. Вот чего они родили.

Big data is high-volume, high-velocity and/or high-variety information assets that demand cost-effective, innovative forms of information processing that enable enhanced insight, decision making, and process automation.

(www.gartner.com › big-data= Definition of Big Data — Gartner Information Technology Glossary)

Тут хрень какая-то, причем они обманывают сами себя =// that enable enhanced insight, decision making, and process automation. // — Критерий инсайта есть? Так как они допустили поражения США в Сирии? Перемены Эрдогана? Избрание Трампа? Где ИНСАЙТ? Это — опять всего-навсего описательная хрень, самообман… Скучно с ними :) ГДЕ понимание, принятие решений, если сейчас они плачут на весь мир, что 30 млн. граждан США недоедают? Где они применили ИИ эффективно? Ну где четкое и ясное определение?

Мне не нравится это знаменитая американская самоуверенность, которая не гожа для настоящей аналитики. Я много лет работал с американскими дефинициями маркетинга и брендинга и убедился в их поверхностности. Здесь я вижу тот же почерк. Надо искать дефиниции у немцев, французов…

Некоторые «защитники Анжелы Дэвис» пытаются оправдать жуликов = // Смотри. Сейчас это новая область. Как железные дороги при Вандербильде. Никто толком не знает, какие паровозы будут по ним ездить через сто лет. Что это будут электровозы, а потом монорельс, а потом hyperloop. Никто.//

Приходится отвечать. [00:23, 11.03.2021] Математик. Никифоров: Вот именно. эти хрены гарднеры ТОЛКОМ НИ ХРЕНА НЕ ЗНАЮТ И НЕ ПОНИМАЮТ. Ты повторил мою мысль. Разве я буду спорить?

[00:36, 11.03.2021] Адвокат американских дефиниций. Поэтому каждый строит свою дорожную карту развития BD и AI, и видит на ней разные маршруты, и разные технологии. Например, FAIR = Facebook AI Resrarch -департамент fb. Moгу предположить, что описание дорожной карты FAIR имеет результатом их собственную классификацию AI и BD. И по этой самой дорожной карте формулируются дефиниции процессов развития BD и AI.

Карт этих дофига. Различия карт у fb и Apple в Купертино, google и MS, Amazona и IBM велики. Мне тренды каждого больше дают, чем дефиниции. Поcледним ещё предстоит сильно меняться. Под «поездом» давно не понимается «паровоз», но скоро и «электровоз» уйдёт в небытие.

[00:43, 11.03.2021] Математик. Никифоров: само собой. Они — не ученые, а обычные шарлатаны и шабашники, лишь бы бабло нахапать, поэтому не гнушаются и продаже краденого. Не гнушаются трампа в твиттере забанить, да и вообще я честно говоря думаю, в этих воровских малинах более политики и чистогана, чем подлинного знания. Я там в бесплатной версии задал вопрос = //как должен быть устроен мозг, чтобы понимать дефиниции?// — НИКТО. Вообще НИКТО не ответил из 40 человек — с высшим образованием, и по-видимому, даже НЕ ЗАМЕТИЛ такого мелкого вопроса. Спрашивается — можно такого человека подпускать к математическому моделированию, анализу данных, да и просто к данным?))

Ахахахаха- советский DATASCIENCE!!!

Охохохохо = советская BIGDATA!!!.

Третья рабочая дефиниция ИИ

настолько сложна, что я ее еще не опробировал на камикадзе, поэтому писать здесь имеет мало смысла, ведь могут и побить, зато я вам дам Четвертое Доказательство Бытия Божия как Аллегорию, то есть по древнегреческому образцу. А про третью намекну, что она относится к Первой Большой классической задаче DATA SCIENCE =

БКЗ1 DATA SCIENCE = На вход питона подается текст «Героя нашего времени», прога должна дать ответ «В чем смысл жизни?»

Ну вот к примеру можно вспомнить графики Курта Воннегута в координатах (время по оси Х, уровень счастья-несчастья по оси Y).

https://www.youtube.com/watch?v=EEL-PIZVO08

Например, постепенное затухание жизненных сил описывается кратко и понятно одной формулой exp (-k* t), которую сразу видно на графике, где t — время, а что может быть понятнее этой переменной? Или атомный взрыв- той же экспонентой, только с положительным аргументом exp (k*t), качания на качелях или супружескую эмоциональную жизнь — одним уравнением x’' = — k*x. И траекторией y= sin (t). Как тут не вспомнить один из лучших учебников по Микроэкономике Вэриана, где автор долго и добросовестно уговаривает американцев выучить производные, чтобы одной строчкой записывать то, что иначе надо на целую страницу разъяснять.

Совсем недавно мне нужно было консультировать магистерскую диссертацию по «Применение DATA SCIENCE в классификации архетипов американских киносценариев», там была взята за основу тройка хэппи-ендов и тройка трагедий в тех же координатах, что и у Курта Воннегута.

Теперь давайте предположим, что у нас есть случайная величина Z по всему сценарию как оценка (счастья-несчастья) в данный момент времени t. Ну и соответственно выборка Z (n). Как нам найти главного героя? Если есть только реплики? Я предложил ввести аналогичные Х1 (t), X2 (t) и т. д. Конечно, чтобы определить главного героя DATA SCIENCE будем вычислять ковариацию и/или корреляцию corr (Z, Xi). То есть достаточно всего одного числа — по выборке. А как определить врага главного героя? Надо искать отрицательную максимальную корреляцию. А если корреляция близка к нолю? Это кто, как вы думаете, Уважаемый Читатель?

Четвертая рабочая дефиниция ИИ

Гете здесь увлекся своей министерской дипломатией и конечно соврал, иногда он писал гораздо точнее. Впрочем, если будете во Франкфурте на Майне, обязательно посетите его дом-музей, тем более что он совсем недалеко от всех банков майнхэттена, да, впрочем и от всех увеселительных бордельеро города.

На самом-то деле не сами числа показывают, они сами не имеют воли, конечно, показывает Кто-то другой.

Вот свежий пример прошлой недели 27 марта 2021 года.

Кто? Evergreen — всего лишь Исполнитель этого ИИ.

Приложение 1. Необходимая математика для DATA SCIENCE

Математика для DATA SCIENTIST.

Анализ данных и математическое моделирование (путеводитель)

http://www.litres.ru/pages/biblio_book/?art=64462791

ISBN 9785005344953

https://ridero.ru/books/matematika_dlya_data_scientist/freeText

Аннотация

Представлен курс математики для специализации DATA SCIENTIST, включающий в себя такие разделы как Алгебра, Математический анализ бесконечно малых переменных величин, Комбинаторика, Теория вероятностей и математическая статистика, а также Дифференциальные уравнения и Анализ данных.

16+ В соответствии с ФЗ от 29.12.2010 №436-ФЗ

ISBN 978-5-0053-4495-3 © Леонид Гербертович Никифоров, 2021

Содержание

1. Алгебра 5

2. Математический анализ бесконечно малых переменных величин

3. Комбинаторика, теория вероятностей и математическая статистика

4. Дифференциальные уравнения 20

5.Анализ данных 25

1. Алгебра

1.1 Комплексные числа. Геометрическое представление,

алгебраическая и тригонометрическая форма записи, извле-

чение корней, корни из минус единицы.

1.2 Метод Жордано-Гаусса к системам линейных уравне-

ний. Прямоугольные матрицы как способ представления си-

стем линейных уравнений. Приведение матриц и систем ли-

нейных уравнений к ступенчатому виду.

1.3 Ранг матрицы. Линейная зависимость строк (столб-

цов). Основная лемма о линейной зависимости, базис и ранг

системы строк (столбцов). Ранг матрицы. Критерий совме-

стимости и определенности системы линейных уравнений

в терминах рангов матриц. Фундаментальная система реше-

ний однородной системы линейных уравнений.

1.4 Определители. Определитель квадратной матрицы,

его основные свойства. Критерий равенства определителя

нулю. Формула разложения определителя матрицы по стро-

ке (столбцу).

1.5 Операции над матрицами. Операции над матрицами

и их свойства. Теорема о ранге произведения двух матриц.

Определитель произведения двух квадратных матриц. Об-

ратная матрица, ее явный вид (формула), способ выражения

с помощью элементарных преобразований строк.

1.6 Вектора, векторные пространства. Векторное про-

странство, его базис и размерность. Преобразование коор-

динат в векторном пространстве. Подпространства как мно-

жество решений систем однородных линейных уравнений

Связь между размерностями суммы и пересечения двух под-

пространств.

1.7 Линейные отображения и линейные операторы. Ли-

нейные отображения, их запись в координатах образ и яд-

ро линейного отображения, связь между их размерностями.

Сопряженное пространство и сопряженные базисы. Измене-

ние матрицы линейного оператора при переходе к другому

базису.

1.8 Билинейные и квадратичные функции. Билинейные

функции, их запись в координатах. Изменение матрицы би-

линейной функции при переходе к другому базису. Ор-

тогональное дополнение к подпространству относительно

симметрической билинейной функции. Связь между сим-

метрическими билинейными и квадратичными функциями.

Существование ортогонального базиса для симметрической

билинейной функции. Нормальный вид вещественной квад-

ратичной функции. Закон инерции.

1.9 Евклидовы пространства. Неравенство Коши-Буня-

ковского. Ортогональные базисы. Ортогонализация Гра-

ма-Шмидта. Ортогональные операторы.

1.10 Собственные векторы и собственные значения. Соб-

ственные векторы и собственные значения линейного опе-

ратора. Собственные подпространства линейного оператора,

их линейная независимость. Условие диагонализируемости

оператора.

Литература.

— Беклемишев Д. В. Курс аналитической геометрии и ли-

нейной алгебры. М. ФИЗМАТЛИТ, 2005. — 304 с.

— Кострикин А. И. Введение алгебру, ч. I, II, 2000, Физ-

мат. лит.

— Курош А. Г. Курс высшей алгебры. 1975, Наука.

— Сборник задач по алгебре под редакцией Кострики-

на А. И. / И. В. Аржанцев, В. А. Артамонов, Ю. А. Бахтурин

и др. — МЦНМО Москва, 2009.

Для заметок по ссылкам на ресурсы в интернете

и на задачи и/или на другие ресурсы (в печатной версии)

2. Математический анализ бесконечно малых переменных величин

2.1 Функции. Элементарные функции. Анализ функций,

экстремумы, монотонные периоды. Переход к другим коор-

динатам и замена переменных.

2.2 Пределы и непрерывность. Пределы последовательно-

стей и функций. Задачи на дефиниции пределов последо-

вательностей и функций. Непрерывные функции. Теорема

Больцано.

2.3 Ряды. Числовые и функциональные ряды. Признаки

сходимости (Даламбера, Коши, интегральный, Лейбница).

Абсолютно и условно сходящиеся ряды.

2.4 Дифференцирование. Дифференцирование функций.

Формула Тейлора.

2.5 Функции многих переменных. Частные производные.

Градиент и его геометрический смысл. Гессиан. Метод гра-

диентного спуска. Поиск экстремумов функций от многих

переменных.

2.6 Интегрирование. Определенный и неопределенный

интегралы. Методы интегрирования функций. Первообраз-

ные различных элементарных функций. Кратные интегралы

(двойные, тройные), замена координат, связь с повторными.

2.7 Элементы функционального анализа: нормированные,

метрические пространства, непрерывность, ограниченность.

Литература

— Архипов Г. И., Садовничий В. А., Чубариков В. Н. Лек-

ции по мат. анализу. Изд-во Университет, 1999.

— Зорич В. А. Математический анализ. Часть I. М.: Наука,

1981. 544 с. Часть II. М.: Наука, 1984. 640 с.

— Кудрявцев, Л.Д., Курс математического анализа (в трех

томах). Т. 1. Дифференциальное и интегральное исчисления

(функций одной переменной. Т. 2. Ряды. Дифференциаль-

ное и интегральное исчисления (функций! многих перемен-

ных. Т. 3. Гармонический анализ. Москва, Изд-во Высшая

школа, 1981.

— Демидович, Б. П, Сборник задач и упражнений по. ма-

тематическому анализу. Изд-во АСТ, 2007.

3. Комбинаторика, теория вероятностей и математическая статистика

3.1 Основные правила комбинаторики. Правило подсче-

та количества комбинаторных объектов. Принцип Дирихле.

Примеры.

3.2 Множества. Круги Эйлера, операции на множествах.

Формула включений и исключений. Примеры.

3.3 Сочетания. Размещения, перестановки и сочетания.

Бином Ньютона. Треугольник Паскаля. Сочетания с повто-

рениями.

3.4 Основные понятия теории вероятностей. Определение

вероятностного пространства, простейшие дискретные слу-

чаи (выборки с порядком и без него, упорядоченные и неупо-

рядоченные), классическая вероятностная модель. Случай-

ная величина (RANDOM VALUE), функция распределения,

функция плотности вероятности.

3.5 Условные вероятности. Определение условной веро-

ятности, формула полной вероятности, формула Байеса.

3.6 Математическое ожидание, дисперсия, корреляция.

Определение математического ожидания, дисперсии, кова-

риации и корреляции, их свойства.

3.7 Независимость событий. Попарная независимость

и независимость в совокупности.

3.8 Основные теоремы теории вероятностей. Неравенство

Чебышева. Закон больших чисел. Теорема Муавра-Лапласа.

Центральная предельная теорема.

3.9 Распределения. Стандартные дискретные и непрерыв-

ные распределения, их математические ожидания, диспер-

сии и свойства:

— биномиальное;

— равномерное;

— нормальное;

— пуассоновское;

— показательное;

— геометрическое.

3.10 Статистические критерии. Критерий Стьюдента.

Критерий Пирсона и др.

3.11 Оценки параметров. Оценка методом МНК. Оценка

методом максимального правдоподобия.

3.12 Доверительные интервалы. Примеры применения

к оценке доверительного интервала к среднему по выборке.

Класс задач по доверительным интервалам в регрессиях ме-

тодом МНК.

Литература

— Гнеденко, Б. В. Курс теории вероятностей, УРСС. М.: 2001

— Гнеденко Б. В., Хинчин А. Я. Элементарное введение в теорию вероятностей, 1970

— Ширяев, А. Н. Вероятность, Наука. М.: 1989

— Севастьянов Б. А., Курс теории вероятностей и. математической статистики, Ч М.: Наука, 1982

— Севастьянов, Б. А., Чистяков, В. П, Зубков, А. М. Сборник задач по теории вероятностей, М.: Наука, 1986

Для заметок по ссылкам на ресурсы в интернете и на задачи и/или на другие ресурсы (в печатной версии)

4. Дифференциальные уравнения

Глава I. Общие понятия. Интегрируемые типы уравнений

первого порядка, разрешённых относительно производной

§1. Введение

§2. Метод разделения переменных

§3. Однородные уравнения

§4. Линейные уравнения

§5. Уравнение Якоби

§6. Уравнение Риккати

Глава II. Вопросы существования решений уравнения

первого порядка, разрешённого относительно производной

§1. Теорема существования (Коши и Пеано)

§2. Особые точки

§3. Интегрирующий множитель

Глава III. Уравнения первого порядка, не разрешённые от-

носительно производной

§1. Уравнения первого порядка n-й степени

§2. Уравнения, не содержащие явно одного из перемен-

ных

§3. Общий метод введения параметра. Уравнения Лагран-

жа и Клеро

§4. Особые решения

§5. Задача о траекториях

Глава IV. Дифференциальные уравнения высших поряд-

ков

§1. Теорема существования

§2. Типы уравнений n-го порядка, разрешаемые в квадра-

турах

§3. Промежуточные интегралы. Уравнения, допускающие
понижение порядка

§4. Уравнения, левая часть которых является точной про-

изводной

Глава V. Общая теория линейных дифференциальных

уравнений

§1. Определения и общие свойства

§2. Общая теория линейного однородного уравнения

§3. Неоднородные линейные уравнения

§4. Сопряжённое уравнение

Глава VI. Частные виды линейных дифференциальных

уравнений

§1. Линейные уравнения с постоянными коэффициента-

ми и приводимые к ним

§2. Линейные уравнения второго порядка

Глава VII. Системы обыкновенных дифференциальных

уравнений

§1. Нормальная форма системы дифференциальных урав-

нений

§2. Системы линейных дифференциальных уравнений

§3. Существование производных по начальным значени-

ям от решений системы

§4. Первые интегралы системы обыкновенных дифферен-

циальных уравнений

§5. Симметричная форма системы дифференциальных

уравнений

§6. Устойчивость по Ляпунову. Теорема об устойчивости

по первому приближению

Литература. В. В. СТЕПАНОВ КУРС ДИФФЕРЕНЦИ-

АЛЬНЫХ УРАВНЕНИЙ

http://alexandr4784.narod.ru/skdu.html

Для заметок по ссылкам на ресурсы в интернете и на за-

дачи и/или на другие ресурсы (в печатной версии)

5.Анализ данных

5.1 Основные задачи машинного обучения: классифи-

кация, регрессия, ранжирование, кластеризация. Обучение

с учителем и без учителя.

5.2 Предобработка и очистка данных. Работа с пропущен-

ными значениями.

5.3 Категории и признаки. Предикаты подмножеств. Ра-

бота с категориальными признаками.

5.4 Переобучение: как его обнаружить и как с ним бороть-

ся. Разделение на обучающую и тестовую выборки. Методы

регуляризации.

5.5 Сравнение моделей. Метрики в задачах классифика-

ции и регрессии. Методология подбора гиперпараметров.

5.6 Основные модели классификации и регрессии: линей-

ные модели, решающие деревья. Ансамбли алгоритмов.

Литература. Основной продвинутый список литературы,

рАвно как и его обсуждение — лучше всего доступен в моей

группе во Вконтакте = https://vk.com/club202434888

Для заметок по ссылкам на ресурсы в интернете и на за-

дачи и/или на другие ресурсы (в печатной версии)

Настоящий текст курса «Математика для DATA

SCIENTIST» имеет тенденцию развиваться при пожеланиях

слушателей, ведется постоянное в моей группе во Вконтакте

= https://vk.com/club202434888__

Приложение 2. Секретная масонская 3d-DataScience для продвинутых чайников

Главные 6 разделов искусственного интеллекта

Курс знакомит умного читателя с понятиями и алгоритмами искусственного ин-

теллекта (ИИ) и современными цифровыми технологиями на описании по-опера-

бельного, функционального наполнения различных систем ИИ, включая

DataScience и машинное обучение. Вводятся метрики доходности и рисков внед-

рения ИИ и обосновывается введение синтетического показателя AIY (соотноше-

ние доходности и-риска). Обсуждаются вопросы внедрения ИИ в условиях конку-

ренции на рынке. Вводится вторая рабочая дефиниция ИИ.

18+ В соответствии с ФЗ от 29.12.2010 №436-ФЗ

ISBN 978-5-0053-4210-2 © Leonid Nikiforov, 2021

1. ДЕФИНИЦИИ

как должен быть устроен мозг, чтобы понимать дефиниции?

Этого никто не знает и самые умные карьеристы никогда не задают таких глупых вопросов.

При чем здесь Аристотель?

Алгоритм= чем отличается от алгоритмического Алкоголя? Недоступно для обычного DATA SCIENCE.

Данные, информация = см. Теоремы Шеннона.

Критерии Стьюдента, Пирсона =

http://cito-web.yspu.org/link1/metod/theory/node44.html

Теоремы =

Математический анализ = Математический анализ бесконечно малых переменных величин. Лучше всего по учебнику Сергей Михалыча, конечно.

Дефиниция продвинутого DATA SCIENCIST — см. ЭПИЛОГ.

А ежели нет — то кому-то пора лечиться =

2. ЦЕЛИ ПРОДВИНУТЫХ ЧАЙНИКОФФ

Деньги

Имидж

Жена приказала=

Теща приказала=

Сдуру=

Карьера

…=

…=

Деньги, карты, два ствола!

3. ПУТИ

4. ЯМЫ

Тупо влом

Тупо неврубаюсь

Вру сам себе

Начал, но надрался

Денег хочу, а знания бесполезны!

…=

5. ЯМКИ

Дефки, как всегда

Пошел в баню

…=

6. МУЖИКИ, А ЗАЧЕМ ВАМ «ЭТО

ВСЁ»?

не скажу

сам не знаю

…=

7. ЗАБУДЬТЕ ВСЁ И ДАВАЙ СНАЧАЛА?

С понедельника

В выходные

…=

8. ПОЛЕЗНЫЕ ШПАРГАЛКИ ПО ДИФФЕРЕНЦИАЛЬНЫМ

УРАВНЕНИЯМ И ДРУГИМ МАТЕМАТИЧЕСКИМ ДИСЦИПЛИНАМ

Ну этого добра хоть отбавляй

Дифференциальные уравнения

Конечно, Емелин =

http://mathprofi.com/knigi_i_kursy/

С великой благодарностью!

9. КАК ЛЕГЧЕ ВСЕГО ВЕСТИ СВОИ

ЖУРНАЛЫ ДАННЫХ

Нужно выбрать несколько форм, самых удобных

Бумажные

Электронные — писать во Вконтактик

https://vk.com/club202434888

Нам этом систематика заканчивается, далее — тушите свет,

мужики!

Прорвутся только самые умные. Остальные — не нойте

и не обижайтесь. Ползите под юбку мамки и там плачьте.

Курс Никифорова Л. Г. =Искусственный интеллект и практи-

ческие шаги по внедрению в 2021 г. для руководителей

Курс знакомит участников с понятиями и алгоритмами Ис-

кусственного Интеллекта (ИИ) и современными цифровыми

технологиями на описании по-операбельного, функционального

наполнения различных систем ИИ, включая DataScience и ма-

шинное обучение. Вводятся метрики доходности и рисков

внедрения ИИ и обосновывается введение синтетического по-

казателя AIY (соотношение доходности и-риска). Приводятся

примеры создания показателя при различных уровнях толе-

рантности к риску. Обсуждаются вопросы внедрения ИИ

в условиях конкуренции на рынке. Вводится вторая рабочая

дефиниция ИИ как Принятие решений в условиях неопреде-

ленности. Приводятся примеры на языках python и R структур

данных и операций с ними. Подчеркивается особая роль визу-

ализации даже больших массивов данных и приводится список

команд для построения графиков на языках python и R. Рас-

сматриваются самые распространенные математические крите-

17

рии при обработке больших массивов данных — критерии

Пирсона, Фишера, Стьюдента Дарбина-Уотсона и др. На про-

стых и конкретных примерах разбирается современный подход

к построению систем создания стационарных Баз Знаний. Рас-

сматривается взаимосвязь ИИ с цифровыми технологиями об-

работки данных. После окончания курса, слушатели не обяза-

тельно и не сразу станут разработчиками систем ИИ в полном

смысле этого большого технологического процесса, но хорошо

поймут, как мыслят и как работают разработчики современных

систем ИИ, и смогут стать постановщиками задач и стратегами,

использующими DataScience и современные цифровые техно-

логии в деятельности своей организации. Курс включает в себя

лекционно-учебные занятия, самостоятельную подготовку

участников с помощью предоставленных материалов, выполне-

ние домашних заданий, (а также подготовку и защиту мини-

проекта.)

После завершения данного курса слушатели смогут:

— Организовывать внедрение технологий ИИ в практику

своей деятельности.

— Эффективно взаимодействовать с разработчиками техно-

логий ИИ и BigDATa & DataScience обработки данных, в том чис-

ле способность читать скрипты на языках python и R.

— Формулировать и ставить задачи в области ИИ, а также

таких составляющих как BigDATa & DataScience для разработчи-

ков современных цифровых решений.

— Подготавливать и создавать простые и надежные синтети-

ческие показатели AIY= y — lambda*Risk в практических техно-

логиях ИИ, цифровых технологиях и их составляющих

— Уметь давать задания для составления компьютерных

программ для решения задач ИИ.

Продолжительность курса: 30—45 академических часов

(6 дней).

Содержание курса:

ТЕМА 1: ЧТО ТАКОЕ

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ

(ИИ ИЛИ AI).НЕОБХОДИМО

И ДОСТАТОЧНО

— 1.1.Необходимые и достаточные сведения об ИИ. ГЛАВ-

НЫЕ СОСТАВЛЯЮЩИЕ БЛОКИ ИИ. (экономический расчёт вари-

антов затрат на ИИ в 2021г.). Первая рабочая дефиниция ИИ —

по-операбельные и функциональные цепочки логических кон-

струкций как представление компетенций «руководителя» и «ис-

полнителя». Распространение по пространству и времени в 2000

— 2020 гг.

— 1.2. Первое необходимое понимание ИИ, BIG Data,

DataMining — чтобы не переплатить в затратах. Как найти спо-

соб увеличения экономии затрат. Связь доходности внедрения

ИИ с рисками от их деятельности. Необходимость и достаточ-

ность применения функций риска наряду с целевыми функция-

ми оптимизации доходности. Примеры на рынке труда, рынке

ритейла, рынке интернет-услуг и т. д. Как преодолеть противоре-

чия в показателях доходности и риска?.

— 1.3. Необходимые и достаточные базы данных Первое

необходимое понимание ИИ, BIG Data, DataMining — чтобы

не переплатить в затратах. Как способ увеличения экономии за-

трат..

— 1.4. Необходимые и достаточные алгоритмы ИИ с точки

зрения выгоды фирмы. (в 2021г.)

— 1.5. Дз1. Необходимые функции и компетенции ИИ для

эффективного решения первоочередные задач (фирмы в 2021—

2025 гг.).Домашнее задание №1-advanced+ на примере финан-

совых рынков — портфеля марковица по соотношению «доход-

ность-риск».

Ключевые слова: ИИ, риск, доходность, алгоритмы, теория

игр, равновесие по Нэшу, равновесие по Парето

ТЕМА 2: МАССИВЫ ДАННЫХ,

СПОСОБЫ ПОСТРОЕНИЯ БАЗ

ДАННЫХ, СТРУКТУРЫ ДАННЫХ

BIGDATA

— 2.1. Структуры данных в ИИ, BIG Data, DataMining. Увели-

чение потоков данных, оцифровка сегментов рынка и отраслей

покупательских процессов.

— 2.2. Четыре нормальных формы баз данных по Дейту.

Представление данных в языках программирования Python, R,

C++, Matlab.

— 2.3. Процессы накопления данных. Необходимость кор-

ректной визуализации баз данных для увеличения экономиче-

ской эффективности. Получение оценок экономической эффек-

тивности административно-программными методами.

— 2.4. Основные операторы представления больших масси-

вов данных, датасетов и баз данных в языках R, Рython, fortran

etc. Практические примеры скриптов..

— 2.5. Дз-№2. Применение визуализации эффективного

процесса накопления баз данных в 3—5 отраслях покупатель-

ского поведения. Применение операторов языков R, Python, C+

+, fortran. Домашнее задание №2-advanced+.Построение струк-

тур данных. на примере различных секторов экономики. Интер-

нет-кафе, мясокомбинат, ресторан, прачечная/химчистка, авиа-

перевозки, складская логистика.

ТЕМА 3: МАШИННОЕ ОБУЧЕНИЕ

И УТОЧНЕНИЕ ПОНИМАНИЯ

ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

— 3.1. Необходимость и достаточность применения Алгорит-

мов математического моделирования и ML при обработке баз

данных. Линейная алгебра, математический анализ, теория ве-

роятностей, математическая статистика, дискретная математика,

анализ бесконечно малых величин, теория игр, комбинаторика,

линейное программирование, алгоритмы максимизации и др.

— 3.2. Закономерность появления синтетического критерия

{Доходность — Риск} для построения систем ИИ. Понятие «толе-

рантность к риску». Применение синтетического показателя

в России и США. Как практически конструировать YTM? Учет

предметной области (сегмента рынка цифровых технологий)

и характеристик пользователя-руководителя/исполнителя. Риски

так называемых «жадных алгоритмов» теории игр. Основные ха-

рактеристики «равновесия по Нэшу»и «равновесия «по Парето»

в условиях конкурентного рынка..

— 3.3. ИНТЕГРАЛЬНОЕ понимание баз данных и алгоритмов.

Необходимость Второй ДЕФИНИЦИИ ИИ = принятие решений

в условиях неопределённости. Построение синтетического пока-

зателя AIY= y — lambda*Risk, где lambda — толерантность к рис-

ку. Примеры в РФ и США.

— 3.4. Программные средства и основные алгоритмы в зада-

чах ИИ. Задача распознования образов, задача расстояний, за-

дачи поиска, алгоритмы сегментации и др.

— 3.5. Дз3. Примеры построения синтетического показателя

YTM (ДОХОДНОСТИ К СРОКУ) на выбранных 3—5 сегментах по-

требительского поведения как жертвах ВАШЕГО ИИ Домашнее

задание advanced+№3. От простого к сложному. Как составить

алгоритм внедрения ИИ на крупной фирме с min рисков и max

доходности.

ТЕМА 4: ОСНОВНЫЕ КРИТЕРИИ

МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ

BIGDATA & DATASCIENCE КАК

НЕОБХОДИМОЕ И ДОСТАТОЧНОЕ

В ИИ.

— 4.1. НЕОБХОДИМОСТЬ математической статистики для об-

работки больших массивов данных. Способы постановки и про-

верки простых и сложных статистических Гипотез. (Мой 35-лет-

ний опыт постановки и проверки Гипотез на больших массива

данных.)

— 4.2. Основные критерии математической статистики —

Пирсона, Стьюдента, Фишера, DURBIN-WATSON, тест Чоу, тест

Рамсея и др. Подробное рассмотрение и необходимая визуали-

зация для (начальства) референтных вышестоящих ЛПР.

— 4.3. РЕГРЕССИИ как способ проверки Гипотез математиче-

ского моделирования о причинах и следствиях экономических

закономерностей и покупательского поведения. Теорема Гаусса-

Маркова и необходимые условия её применения.

— 4.4. Способы устранения «недостатков и недостаточности»

данных для применения Теоремы Гаусса-Маркова — гетероске-

дастичности и автокорреляции остатков. Отрицательные послед-

ствия недостаточного учёта автокорреляции для прогнозов по-

купательского поведения. Практические примеры построения

бинарных моделей logit/probit.

— 4.5. Дз4. Построение доверительных интервалов

в нескольких простых и сложных регрессиях на базе материа-

лов Академии Внешней Торговли. Методы. Домашнее задание-

advanced+ №4. Как просто и буквально на листке бумаги постро-

ить регрессию для 2020 точек?

ТЕМА 5: НЕЙРОСЕТИ И ТЕОРЕМА

КОЛМОГОРОВА. ОБУЧЕНИЕ

И ПЕРЕОБУЧЕНИЕ НС. РИСКИ

НЕЙРОСЕТЕЙ

— 5.1 Доверительные интервалы и их применение в процес-

сах обработки больших массивов данных. Взаимосвязь критери-

ев Фишера и Стьюдента, доверительные эллипсы как основа

экономически эффективного способа обработки больших масси-

вов данных.

— 5.2. Нейросети как способ решения задачи определения

расстояния. Задачи распознования образов в НС и их преобра-

зование к задаче расстояний.

— 5.3 Теорема Колмогорова и стохастический градиентный

спуск в нейросетях. Применение 1-ой дефиниции к нейросетям.

Второй дефиниции к НС. Разбор примеров по необходимости

и достаточности компетенций и результатов. Применение к ма-

шинному обучению.

— 5.4. Принципы нейросетей и что такое обучение и переобучение

НС. Как построить нейросеть наиболее экономно и наглядно (эффек-

тивно) по затратам по различным типам задач (распознавание, обу-

чение, вычисление категорий).

— 5.5. Дз5 Придумать 3—5 постановок,

только постановок задач НС.

Домашнее задание-advanced+ №5.

Подготовка выпускного проекта по применению математических

методов в ИИ.

ТЕМА 6: ВРЕМЕННЫЕ РЯДЫ

(TIME-SERIES). ПОСТРОЕНИЕ

СТАЦИОНАРНЫХ БАЗЗНАНИЙ.

НЕОБХОДИМЫЕ СВЕДЕНИЯ

ИЗ ТЕОРИИ СЛУЧАЙНЫХ

ПРОЦЕССОВ

— 6.1. Особый объект больших массивов данных — времен-

ные ряды (time-series). Теорема об автокорреляции стационар-

ного процесса. АКФ и АКЧФ в задачах моделирования и прогно-

зирования.

— 6.2. Построение стационарных БазЗнаний. Необходимые

сведения из теории случайных процессов: стационарные про-

цессы, случайное блуждание, белый шум, стационарные процес-

сы с трендом по времени. Прогнозируемость, необходимость

и достаточность стационарных процессов для построения устой-

чивых и предсказуемых алгоритмов и БазЗнаний BigDATA

и DataScience. Как посчитать ДОСТАТОЧНЫЕ СТАТИСТИКИ для

описания каждой кусочно-стационарной выборки.

— 6.3. Рассмотрение процесса построения стационарных Ба-

зЗнаний с точки зрения руководителя и исполнителя. Рассмотре-

ние рисков построения Баз Знаний. Как достигнуть наиболее

выгодного/прибыльного алгоритма построения стационарных

БазЗнаний. Конкретные примеры dataset’ов для тестирования

необходимых и достаточных компетенций в задаче создания

первичных Баз Знаний + ИИ.

— 6.4. Вычисление автокорреляционной функции временного

ряда в разных пакетах, а также на языках R, Python, C++. Учет ав-

токорреляции при прогнозировании покупательского поведения.

— 6.5. Домашнее задание №6. Пример на языке R –готовый

алгоритм прогнозирования к использованию. Пример на языке

Python — готовый алгоритм прогнозирования к использованию.

Использование программного пакета GRETL. Домашнее зада-

ние-advanced+ №6. Апробация 2—3 аксиоматик (по полному

учету нескольких компетенций в принятии управленческих ре-

шений, делегируемых ИИ).

Слушатели

Все руководители и специалисты, планирующие внедрение

ИИ, BigData, DataScience и современных цифровых технологий

работы с данными, и желающих получить о них представление.

Предварительная подготовка

Не требуется. Для умных. Для ленивых — всё равно ничего

не поможет… Папику пожалуйтесь.

Но если вы читаете, значит, вы — умный. Так что нет про-

блем, мужики. Я научу, не бойтесь.

Никифоров Леонид Гербертович

1979—1985гг. МФТИ. Факультет управления и прикладной

математики.

1985—1988 аспирантура АН СССР.

1988—1993 — бухгалтер, главный бухгалтер, фин. директор,

Москва.

1994—1999 — работа в коммерческих банках, Москва. Глав-

ный экономист, нач. аналитического отдела, нач. отдела разви-

тия и маркетинга,

главный специалист внутреннего аудита.

2005—2006 начальник отдела маркетинга «Инженерного

центра», СПб.

2005—2006 преподаватель кафедры Высшей математики

СПбПолитехнического Университета.

2008—2010 преподаватель курсов прикладной математики

повышения квалификации «Юридической школы на Фонтан-

ке».

2009 консультант по брендингу группы «РОЭЛ» -консалтинг,

Москва.

27

2009—2012 экономический анализ данных группы «Здоро-

вье нации», Москва.

2000—2020 частный репетитор, Санкт-Петрбург, Москва.

Преподаватель Бизнес-школы INC GROUP в области DATA

SCIENCE, BigDATA, Искусственного интеллекта

Более 20 лет опыта преподавания высшей математики, тео-

рии вероятностей, мат. статистики, маркетингу потребительских

рынков,

эконометрики, DataScience и т. п.

Разработка и проведение более 100 эконометрических мо-

делей Анализа данных на уровне курсовых, дипломных работ и

кандидатских/докторских диссертаций.

Автор более 30 научных статей по анализу данных, матема-

тическому моделированию, искусственному

интеллекту и эконометрики (по темам рынка ценных бумаг,

отраслевому анализу, маркетингу потребительских рынков,

брендингу и т.д.).

++++++++++++++++++++++++++++++++++++

Тема 6: Временные ряды (time-series). Построение стацио-

нарных БазЗнаний. Необходимые сведения из теории случай-

ных процессов.

— 6.1. Особый объект больших массивов данных — времен-

ные ряды (time-series). Теорема об автокорреляции стационар-

ного процесса. АКФ и АКЧФ в задачах моделирования и прогно-

зирования.

Лучше всего прочитать это в учебничке (2011 оригинал,

а русский перевод 2015, 900 стр.) «Введение в эконометрику».

Найдите этот хороший учебничек, если мосх есть.

Страничка для ваших заметок.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

Теорема об автокорреляции стационарного процесса. АКФ

и АКЧФ в задачах моделирования и прогнозирования.

Прекрасная Теорема. У Артамонова (МГИМО). Сейчас напишу.

6.2. Построение стационарных БазЗнаний. Необходимые

сведения из теории случайных процессов: стационарные про-

цессы, случайное блуждание, белый шум, стационарные процес-

сы с трендом по времени. Прогнозируемость, необходимость

и достаточность стационарных процессов для построения устой-

чивых и предсказуемых алгоритмов и БазЗнаний BigDATA

30

и DataScience. Как посчитать ДОСТАТОЧНЫЕ СТАТИСТИКИ для

описания каждой кусочно-стационарной выборки.

Стационарные процессы и randomwalk + белый шум ibid.

ДОСТАТОЧНЫЕ СТАТИСТИКИ понятно — мат. ожидание

и дисперсия.

.

.

— 6.3. Рассмотрение процесса построения стационарных Ба-

зЗнаний с точки зрения руководителя и исполнителя. Рассмотре-

ние рисков построения Баз Знаний. Как достигнуть наиболее

выгодного/прибыльного алгоритма построения стационарных

БазЗнаний. Конкретные примеры dataset’ов для тестирования

необходимых и достаточных компетенций в задаче создания

первичных Баз Знаний + ИИ.

— 6.4. Вычисление автокорреляционной функции временного

ряда в разных пакетах, а также на языках R, Python, C++. Учет ав-

токорреляции при прогнозировании покупательского поведения.

— 6.5. Домашнее задание №6. Пример на языке R –готовый

алгоритм прогнозирования к использованию. Пример на языке

Python — готовый алгоритм прогнозирования к использованию.

Использование программного пакета GRETL. Домашнее зада-

ние-advanced+ №6. Апробация 2—3 аксиоматик (по полному

учету нескольких компетенций в принятии управленческих ре-

шений, делегируемых ИИ).

Для вопросов Вконтактик