Как устроен ChatGPT
Қосымшада ыңғайлырақҚосымшаны жүктеуге арналған QRRuStore · Samsung Galaxy Store
Huawei AppGallery · Xiaomi GetApps

автордың кітабынан сөз тіркестері  Как устроен ChatGPT

Степан
Степандәйексөз келтірді4 күн бұрын
ChatGPT всегда пытается создать «разумное продолжение» любого текста, который у него есть на данный момент.
Комментарий жазу
Степан
Степандәйексөз келтірді4 күн бұрын
й недоумевают, как чат-бот выполняет интеллектуальную работу, которая прежде считалась доступной исключительно человеку. Как он это делает? Моя цель — дать вам хотя бы общее пред­ставление о том, что происходит внутри ChatGPT, а затем исследовать, как ему удается так хорошо создавать то, что выглядит как осмысленный текст. Хочу сразу сказать, что я собираюсь сосредоточиться на общих при
Комментарий жазу
Грубо говоря, идея состоит в том, чтобы просмотреть большие объемы текста (в данном случае пять миллиардов слов из интернета), а затем выяснить, насколько похожи контексты разных слов. Так, например, «аллигатор» и «крокодил» будут встречаться в похожих предложениях, и это означает, что они окажутся рядом друг с другом в эмбеддингах. Напротив, «репа» и «орел», как правило, не встречаются в одном предложении, поэтому в эмбеддинге они будут расположены далеко друг от друга.
Комментарий жазу
переходе на свой родной язык — Wolfram Language.
Комментарий жазу
переходе на свой родной язык — Wolfram Language
Комментарий жазу
На самом деле мы можем характеризовать наборами чисел не только слова, но и последовательности слов или даже целые блоки текста. Именно так и работает ChatGPT. Он берет готовый текст и генерирует вектор эмбеддинга. Затем высчитывает вероятности последующих слов. Далее генерирует список чисел, которые, по сути, дают вероятности для каждого из 50 тысяч или около того возможных слов.
Комментарий жазу
orthotox
orthotoxдәйексөз келтірді3 апта бұрын
Другими словами, существует окончательный компромисс между возможностями и обучаемостью: чем сильнее вы хотите, чтобы система по-настоящему использовала свои вычислительные возможности, тем больше она будет демонстрировать вычислительную несводимость и тем меньше поддаваться обучению. А чем легче что-то поддается фундаментальному обучению, тем меньше оно способно выполнять сложные вычисления.
Комментарий жазу
Иными словами, если изображение больше похоже на единицу, чем на двой­ку, мы хотим, чтобы оно оказалось единицей, и наоборот. Эти «зоны притяжения» и называются аттракторами (от англ. attract — привлекать, притягивать).
Комментарий жазу
Итак, на каждом этапе ChatGPT создает список слов с указанием вероятности их присутствия на данном месте.
Комментарий жазу
Итак, давайте предположим, что у нас есть предложение «Самое лучшее в ИИ — это его способность…». Представьте, что вы прочитываете миллиарды страниц текста, на­писанных людьми (скажем, веб-страницы в интернете и оцифрованные книги), и находите все аналогичные предложения, а затем смотрите, какое слово чаще всего встречается в них на месте многоточия. ChatGPT делает что-то подобное, за исключением того, что (как я объясню позже) он не просматривает тексты бук­вально — он ищет фрагменты, которые «совпадают по смыслу». Результатом его работы является список слов, которые логически могут следовать за основным словом, ранжированных по степени вероятности их присутствия в этом предложении
Комментарий жазу