December 20, 2023

ВВЕДЕНИЕ В НЕЙРОСЕТИ. Часть 2

В 1-ой статье мы с вами немного обсудили общую шумиху по поводу нейросетей и то, как я и мои ученики применяют нейросети в своей работе. Надеюсь, у меня получилось замотивировать вас на дальнейшее изучение нейросетей и применение их на практике.

Эта статья состоит из двух частей:


  • В первой части я хочу устроить небольшой ликбез по терминологии, ибо это супер-важно, поверьте! Если вы будете путаться в терминах, не понимать разницы, между понятиями "искусственный интеллект", "машинное обучение", "нейросети", "GPT" и т.д., то дальше вам будет сложнее изучать материал и понимать, о чем пишут "умные ребята". Ну и как минимум знание терминологии позволит вам не оказаться в глупой ситуации при общении со специалистами.
  • Во второй части я покажу, в чем разница получения доступа к LLM (текстовым) нейросетям, почему одни пользуются "официальным ChatGPT" через Телеграм и без VPN (и почему это не совсем правильно), другие - через русифицированные сайты, где тоже не нужен VPN (и это тоже неправильно), а третьи - заходят напрямую в интерфейс ChatGPT, с VPN, и получают результаты дешевле и лучше, чем остальные.

По итогу прочтения 2-ой статьи вы:


  • Четко будете разбираться в терминах, что к чему относится и как что называется.
  • Поймете, как сейчас пользоваться нейросетью GPT, какие способы есть и какой лучше всего выбрать.

Ну что, приступим?


Давайте начнем с того, что термины "искусственный интеллект" (ИИ) и "нейросети" были изобретены не в 21-ом веке. И исследования в этой области начались... аж в 40-х годах!

1940-е годы считаются формальной точкой отсчета начала исследований в области ИИ. Это время часто связывают с работами Алана Тьюринга, особенно с его знаменитым вопросом "Могут ли машины думать?" и разработкой теста Тьюринга в 1950 году.

1956 год - считается годом рождения ИИ как отдельной дисциплины. В этом году на летней школе в Дартмутском колледже в США группа ученых, включая Джона Маккарти, Марвина Мински, Аллена Ньюэлла и Герберта Саймона, сформулировала основные идеи и цели исследования ИИ.

Дальше была череда многих исследований в области ИИ и нейросетей, о которых тоже интересно рассказать, но не в рамках этой статьи (не все такие душнилы, как я))

Важно понимать, что корни того бума, который мы наблюдаем сейчас, начали прорастать почти столетие назад.

2010-е годы и далее начался новый виток интереса и развития ИИ. И связан он с успехами в области глубокого обучения, увеличением вычислительных мощностей и доступности больших объемов данных. Это привело к прорывам в таких областях, как распознавание речи, обработка естественного языка и автономное вождение.

Т.е. до 2010-го года по сути исследователям тупо не хватало "железа" для того, чтобы развернуть всю мощь своих задумок. И как только технологический прогресс начал уверенно шагать по планете, всё заиграло новыми красками.

P.S. Вообще рекомендую детальнее изучить этот вопрос и погрузиться в историю. Как минимум - это интересно, как максимум - даст вам представление о том, что же там "под капотом" и как эта шайтам-машина, которую мы именуем как "искусственный интеллект", вообще появилась. А имея хотя бы общее представление о начинке, можно эффективнее применять изучаемый предмет на практике, плюс - щеголять своей эрудированностью предсказывать тенденции того, что будет дальше.

***

Интеллект. Искусственный Интеллект. Машинное обучение. Нейросети

Поговорим немного о терминах и понятиях, чтобы дальше говорить уже на одном языке как минимум.

"Интеллект" — это способность приходить к решению при помощи вычислений. Интеллект разного вида и уровня есть у людей, многих животных и некоторых машин. В человеческом контексте интеллект включает в себя такие способности, как логическое мышление, восприятие, творческое воображение и обучение на основе опыта.

"Искусственный интеллект” (ИИ) — это широкий раздел компьютерных наук, который занимается созданием машин, способных имитировать и выполнять задачи, которые традиционно требуют человеческого интеллекта. ИИ охватывает все, от простых программ, способных решать конкретные задачи, до сложных систем, способных мыслить и учиться.

“Машинное обучение” (МО) — это подраздел ИИ, который сосредоточен на разработке алгоритмов и технологий, позволяющих компьютерам учиться из данных без явного программирования для конкретной задачи. МО использует статистические методы для обработки и анализа данных, позволяя машинам улучшать свои способности и знания на основе опыта.

“Нейронные сети” — это класс алгоритмов машинного обучения, вдохновленных структурой и функционированием человеческого мозга. Нейронные сети состоят из слоев искусственных нейронов, каждый из которых имитирует нейрон человеческого мозга. Эти нейроны связаны друг с другом и могут обучаться на основе данных, изменяя силу связей (веса) в ответ на информацию, которую они обрабатывают.


Таким образом мы имеем:


  • Искусственный интеллект — название всей области, как биология или химия.
  • Машинное обучение — это раздел искусственного интеллекта. Важный, но не единственный.
  • Нейросети — один из видов машинного обучения. Популярный, но есть и другие, не хуже.
Источник: https://vas3k.blog/blog/machine_learning

НЕЙРОСЕТЬ — это математическая модель, которая имитирует работу человеческого мозга.

Это умные алгоритмы, которые «думают» как люди.

Компьютерная программа имитирует работу мозга, в котором миллиарды нейронов обмениваются сигналами, чтобы помогать нам мыслить, учиться и воспринимать мир. Только в нейросетях вместо нейронов информацией обмениваются вычислительные элементы.

Вернемся к истории


В 1943 году американский нейропсихолог, нейрофизиолог - Уоррен Мак-Каллок и американский нейролингвист, логик и математик - Уолтер Питтс предложили понятие искусственной нейронной сети.

23 июня 1960 года, в Корнеллском университете был продемонстрирован первый нейрокомпьютер — «Марк-1», который был способен распознавать некоторые буквы английского алфавита.

Долго ли, коротко ли...

Дальше происходило много научных экспериментов, доработок, прорывов, что в итоге привело к тому, что мы имеем сейчас.

Чтобы не отвлекаться от основной темы, но при этом не упустить важное, предлагаю сразу перейти к уже набившему оскомину - GPT - одной из моделей нейросетей, которую чаще всего сейчас используют на рынке в плане языковых моделей. О ней мы и будем дальше говорить.


GPT. История

GPT разработана компанией OpenAI, которая специализируется на исследованиях в области искусственного интеллекта. OpenAI была основана в 2015 году группой известных предпринимателей и исследователей, включая Илона Маска и Сэма Альтмана.

  • GPT-1 (первая модель) была представлена в 2018 году
  • GPT-2 представлена в 2019 году
  • GPT-3 запущена в 2020 году
  • GPT-4 была представлена в марте 2023 года
Это тоже важная информация, ибо кого потом винить в том, что универсальный искусственный интеллект (AGI - artificial general intelligence) завоюет мир и Скайнет унижтожит всё человечество?))

GPT это тип (модель) искусственного интеллекта, работающего на основе модели машинного обучения. В простых терминах, это программный "мозг", который обучен понимать и генерировать текст на основе огромного объема данных.

GPT — это аббревиатура, расшифровывается как "Generative Pre-trained Transformer"

  • G — "Generative", что значит "генеративный" или "создающий". Это означает, что GPT может создавать новый текст, придумывать ответы на вопросы, сочинять истории — в общем, производить новый контент, похожий на то, что мог бы создать человек.
  • P — "Pre-trained", означает "предварительно обученный". Прежде чем GPT начинает помогать людям, его обучают на большом количестве текста из интернета. Это обучение помогает ему понять, как обычно люди пишут и говорят, чтобы он мог правильно и уместно реагировать на разные запросы.
  • T — "Transformer", переводится как "трансформер". Это особый метод обработки текста, который использует GPT, чтобы понять связи между словами в предложении и общем контексте разговора. Эта "схема" работает как "руководство по сборке" для программы. Она подсказывает, как из "деталек" собрать не просто какой-то текст, а текст, который будет похож на настоящий, написанный человеком. Трансформер учитывает не только слова, которые идут рядом, но и весь контекст: что было сказано раньше, что, возможно, будет сказано потом.

Как всё это работает вместе? Объясняю на пальцах

Теперь, когда мы разобрались с каждым словом в названии GPT, давайте поймем, как все эти части работают вместе.

"Конструктор" из слов (generative)

Представьте, что у вас есть большая коробка с "Лего". В этой коробке много разных деталек: красных, зеленых, больших, маленьких и так далее. Из этих деталек можно собирать разные вещи: дома, машины, самолеты. Вот программа GPT тоже имеет свою "коробку" — только вместо деталек из "Лего" у неё есть слова и фразы на разных языках. Из этих "деталек" она может "собирать" новые предложения и тексты.

Учимся, учимся и ещё раз учимся! (pre-trained)

Прежде чем начать с вами разговор, программа проводит много времени в обучении. Обучается она на большой базе данных с текстами. Программа "читает" эти тексты и учится, как люди общаются между собой. Она запоминает, какие слова часто встречаются рядом, как строятся предложения и какие есть правила грамматики. Именно поэтому она может понимать, что вы ей пишете, и отвечать так, чтобы это было понятно вам.

Как сделать текст "по-человечески"? (transformer)

Вот здесь на помощь приходит "трансформер". Эта "схема" работает как "руководство по сборке" для программы. Она подсказывает, как из "деталек" собрать не просто какой-то текст, а текст, который будет похож на настоящий, написанный человеком. Трансформер учитывает не только слова, которые идут рядом, но и весь контекст: что было сказано раньше, что, возможно, будет сказано потом.

Зачем это всё нужно?

Ответ прост: чтобы сделать общение с программой максимально естественным. Чтобы вы могли задать ей вопрос и получить понятный и полезный ответ. Или чтобы программа могла помочь вам с вашим бизнесом, написать контент-план, сценарий для рилс, перевести текст с одного языка на другой, составить структуру продающего сайта и т.д.


Надеюсь, теперь вам понятен сам термин GPT и что это означает. Это тоже важно, чтобы дальше не возникало путаницы.


Что под капотом GPT и как он учится?

И да, это тоже важно понимать, чтобы иметь представление о возможностях этой нейросети и какие запросы ей можно отправлять.

Как уже было сказано выше, основная "магия" GPT основана на обучении на огромном количестве данных.

Для обучения нейронки создатели скармливали ей гигабайты текстовых данных:

Для примера:

При создании GPT-2 в OpenAI использовали Reddit — крупнейший англоязычный форум — откуда извлекли тексты по ссылкам из популярных сообщений, около 8 миллионов таких ссылок, а общий объем текстов составил 40 Гб.

Для сравнения: полное собрание сочинений Шекспира, включающее все его пьесы и стихотворения, состоит из 850.000 слов. Это количество информации, которое могло бы занять около 2800 страниц в книге, весит всего 5,5 мегабайт на компьютере — в 7300 раз меньше объема данных, использованных для обучения GPT-2.

P.S. Если человек будет читать круглосуточно без перерывов, ему понадобится почти 40 лет, чтобы осилить столько текста, сколько смогла обработать модель GPT-2 для своего обучения.

GPT-4 изучил более 570 GB текстового контента. Это примерно 5.7 млрд страниц текста.

P.S. Одному человеку, способному прочитать 1000 страниц в день, понадобилось бы 4 тысячи лет, чтобы изучить такой объем данных.

На чем училась нейросеть GPT?

  • Веб-страницы: Тексты с миллионов веб-страниц, которые могут включать статьи, блоги, форумы и другой публично доступный контент.
  • Книги: Литературные произведения различных жанров и стилей, что помогает системе понимать разнообразие языковых конструкций и словарный запас.
  • Новостные статьи: Предоставляют актуальную информацию и различные стили изложения, от формального до разговорного.
  • Научные работы: Включают техническую и специализированную терминологию, а также формальные структуры текста.
  • Учебники: Обучающие материалы по широкому кругу тем помогают модели понимать образовательный контент.
  • Сценарии и диалоги: Тексты из фильмов, сериалов и пьес помогают модели улучшить навыки ведения диалогов.
  • Инструкции и руководства: Обучают модель пониманию и созданию инструкций и объяснений по шагам.
  • Технические документы: Документация по программному обеспечению и техническим продуктам способствует пониманию технического языка и процессов.

Революция в обучении GPT модели произошла 30 ноября 2022-го года, когда появился ChatGPT снованный на модели GPT-3.5, который стал доступен через удобный веб-интерфейс и напоминал диалоговое окно мессенджера.

Уже знакомый многим интерфейс ChatGPT

Т.е. если раньше доступ к нейросети GPT мы могли получать только через API (интерфейс программирования приложений). Чтобы использовать GPT через API, нужны определённые технические знания. Например, нужно уметь работать с кодом, понимать, как отправлять запросы на сервер, как обрабатывать полученные ответы и интегрировать их в свои приложения или вебсайты.

ChatGPT предлагает более простой и дружественный интерфейс. Вам не нужно знать программирование или разбираться в технических деталях. Вы просто пишете свой вопрос или комментарий, и получаете ответ.

Чтобы начать общение с ChatGPT, достаточно зайти на сайт или в приложение. Нет необходимости разбираться с кодом или настройками сервера.

Таким образом:

GPT — это технология, общее название для серии моделей искусственного интеллекта, которые способны генерировать текст на основе полученных данных.

ChatGPT — это конкретное применение технологии GPT, настроенное для ведения диалогов. Это модель, которая оптимизирована для общения с пользователем в формате вопрос-ответ, имитации беседы.

Также ChatGPT 4 - это:

  • Чат-бот с искусственным интеллектом, способный работать в диалоговом режиме, работающий на LLM (большая языковая модель) GPT.
  • Обучен на ГИГАНТСКОМ количестве информации и содержит триллионы параметров.
  • Не просто “большая библиотека” и “поисковик” по ней, а именно ИИ, который способен обрабатывать данные и выдавать более релевантную информацию через пред-обучаемые модели, трансформер и обратную связь от вас.

На пальцах:

"Под капотом" мы имеем большого умного робота (большую языковую модель GPT), с сотнями гигабайт информации, всей Википедией, книгами, библиотеками, инструкциями и т.д. - разговаривающего на разных языках.

Теперь немного про доступ к GPT

Доступ к этой модели мы можем получить 3-мя способами:

  • через API (больше для программистов),
  • через веб-интерфейс ChatGPT (условно, для "гуманитариев", я здесь же)
  • или через посредников (различные чат-боты Telegram, сайты сторонних разработчиков, подключенные через API к модели GPT).

Давайте разберем немного подробнее каждый способ, его плюсы и минусы.

Начнем с доступа через официальный сайт OpenAI и вебинтерфейс ChatGPT (про регистрацию подробно расскажу в 3-ей статье).


ChatGPT

Официальный (прямой) доступ к GPT через вебинтерфейс ChatGPT вы можете получить по прямой ссылке - https://chat.openai.com

Тут вы проходите процедуру регистрации (о ней в 3-ей статье) и начинаете общение с GPT в диалоговом окне (вопрос-ответ).

Вам доступна бесплатная версия 3.5 и платная 4-я (20$).

Преимущества:

  • Общение напрямую с GPT, без посредников (не нужно переплачивать Х2-Х10 от того, что просят посредники).
  • Множество диалогов. Под каждую задачу можно создавать разные диалоги, тем самым не смешивая в одном диалоге запрос на рецепт карбонары и вопрос по квантовой физике (это важно).
  • В платной версии - работа напрямую с разными форматами документов (PDF, Excel, png и т.д.) + можно рисовать картинки (Dall-E 3).

Недостатки:

  • Каждый раз при входе нужно использовать VPN.
  • Органиченное количество запросов что в бесплатной, что в платной версии (40 запросов за 3 часа в платной версии GPT-4).

Лично я пользуюсь, конечно же, вебверсией ChatGPT напрямую, с оплаченной подпиской на месяц. Вас тоже научу, не волнуйтесь ;)


Доступ через API OpenAI

Как я и писал выше, раньше доступ к GPT-модели можно было получить только через API. Долго объяснять, что это такое, рекомендую изучить самостоятельно, чтобы не тратить ваше время.

Главное, что нужно запомнить - общение с GPT через API (платформу для разработчиков) требует немного знания программирования. Да, в целом это не rocket science, можно разобраться. Но для начинающих специалистов, экспертов и тех, кто не планирует создавать свои решения на основе GPT (своих ботов-консультантов, интеграции с сайтом, Гугл-таблицами и т.д.), это не нужно.

Если интересно, можете зарегистрироваться на платформе для разработчиков от OpenAI тут и изучить интерфейс.

По сути через эту платформу работают те, кто создает свои кастомные (индивидуальные) решения на базе модели GPT.

В частности через эту платформу работают посредники, которые перепродают вам доступ к ChatGPT втридорого.

Преимущества:

  • Можно создавать свои настраиваемые решения под проекты.
  • Можно отправлять неограниченное количество запросов к GPT. Вы платите не за месяц использования, а за конкретное количество токенов (слов), поэтому можете гененировать столько контента, сколько захотите, без ограничений (были бы деньги на счете).

Недостатки:

  • Работа через платформу требует дополнительных знаний в программировании.
  • За использование GPT через API вы платите деньги отдельно от вебверсии ChatGPT (хотя через нее по факту дешевле).

Посредники

Сейчас каждый день можно наблюдать рекламу типа "Получи доступ к официальному ChatGPT без VPN и регистрации! Общайся в Телеграм-боте, создавай диалоги, рисуй картинки" и т.д.

Пример таких ботов

По факту всё это - посредники, которые на базе GPT (через подключение по API) создали свои решения (вы также можете, но это программирование, помним) и выдают их за "официальный ChatGPT". Ну, по факту да, через них вы "общаетесь" с GPT-моделью. Но за то, чтобы работать без VPN, через их решения, вы платите гораздо больше, чем если бы вы общались напрямую через вебинтерфейс ChatGPT.

В Телеграме нет НИ ОДНОГО бота, который бы разработала компания OpenAI, ни одного официального решения. Все боты, которые предлагают вам доступ к ChatGPT - это посредники. И в них ничего плохого нет, иногда это и правда удобнее, чем постоянно заморачиваться с VPN. Но есть свои плюсы и минусы.

Преимущества:

  • Не нужно подключать постоянно VPN.
  • Не нужно регистрироваться.
  • Как правило есть сразу несколько вариантов нейросетей "под капотом" - и тексты писать, и картинки рисовать, и музыку сочинять, и т.д. (т.е. не только GPT, но и тот же Midjourney или Stable Diffusion - нейронки для рисования картинок по текстовым запросам, и т.д.).

Недостатки:

  • Переплата за использование сервисов без VPN. Условно, за 1000 слов, созданных через вебинтерфейс ChatGPT, вы платите 10 копеек, а за те же 1000 слов в боте Телеграм (или на сайтах посредников) - 2,8 рубля. Наценка 2800% (это условный пример, я недавно натолкнулся на одного такого посредника, кто перепродавал токены от GPT с такой наценкой).
  • Как правило всё общение вы ведете в одном диалоговом окне. Особенно если это касается ботов в Телеграм. В итоге у вас в одном и том же окне идут запросы на приготовление курицы и на объяснение смысла жизни. Это и неудобно, и неправильно. Модель GPT обучается и на ваших текстах тоже, и в итоге через 20-30 запросов нейросеть уже не понимает, что вы от нее хотите и в каком виде.

Если подытожить:

  • Я лично пользуюсь вебверсией ChatGPT. Зарегистрировался на официальном сайте, оплачиваю через посредников (ибо иностранной карты нет), общаюсь в разных диалоговых окнах по разным задачам и создаю магию именно там.
  • Посредниками тоже можно пользоваться, но помните про переплату, это раз, и общение в одном диалоге по разным задачам, это два.
  • Доступ через платформу для разработчиков может также получить каждый. Регистрация такая же простая, как и в ChatGPT. Но тут уже "для продвинутых" и кто хочет копнуть глубже. Большинству будет достаточно вебверсии ChatGPT.

***

В этой статье я попытался на пальцах объяснить, как работают языковые нейросети, какие способы доступа есть к GPT-модели и что лучше всего использовать.

В третьей части я дам пошаговую инструкцию по регистрации в двух нейросетях, которыми чаще всего пользуюсь сам (ChatGPT и ClaudeAI) и через которые пишу посты, конспекты, лид-магниты, книги, составляю контент-планы, перевожу тексты с разных языков, делаю сценарии для рилсов и видео на Ютубе, и т.д.

После прочтения 3-ей статьи вы уже сможете не только легко пройти регистрацию, но и начать работать с нейросетями напрямую, без посредников, решая свои насущные задачи по проектам.

Вернуться в чат Телеграм 👉 НАЖАТЬ