ВВЕДЕНИЕ В НЕЙРОСЕТИ. Часть 2
В 1-ой статье мы с вами немного обсудили общую шумиху по поводу нейросетей и то, как я и мои ученики применяют нейросети в своей работе. Надеюсь, у меня получилось замотивировать вас на дальнейшее изучение нейросетей и применение их на практике.
Эта статья состоит из двух частей:
- В первой части я хочу устроить небольшой ликбез по терминологии, ибо это супер-важно, поверьте! Если вы будете путаться в терминах, не понимать разницы, между понятиями "искусственный интеллект", "машинное обучение", "нейросети", "GPT" и т.д., то дальше вам будет сложнее изучать материал и понимать, о чем пишут "умные ребята". Ну и как минимум знание терминологии позволит вам не оказаться в глупой ситуации при общении со специалистами.
- Во второй части я покажу, в чем разница получения доступа к LLM (текстовым) нейросетям, почему одни пользуются "официальным ChatGPT" через Телеграм и без VPN (и почему это не совсем правильно), другие - через русифицированные сайты, где тоже не нужен VPN (и это тоже неправильно), а третьи - заходят напрямую в интерфейс ChatGPT, с VPN, и получают результаты дешевле и лучше, чем остальные.
По итогу прочтения 2-ой статьи вы:
Ну что, приступим?
Давайте начнем с того, что термины "искусственный интеллект" (ИИ) и "нейросети" были изобретены не в 21-ом веке. И исследования в этой области начались... аж в 40-х годах!
1940-е годы считаются формальной точкой отсчета начала исследований в области ИИ. Это время часто связывают с работами Алана Тьюринга, особенно с его знаменитым вопросом "Могут ли машины думать?" и разработкой теста Тьюринга в 1950 году.
1956 год - считается годом рождения ИИ как отдельной дисциплины. В этом году на летней школе в Дартмутском колледже в США группа ученых, включая Джона Маккарти, Марвина Мински, Аллена Ньюэлла и Герберта Саймона, сформулировала основные идеи и цели исследования ИИ.
Дальше была череда многих исследований в области ИИ и нейросетей, о которых тоже интересно рассказать, но не в рамках этой статьи (не все такие душнилы, как я))
Важно понимать, что корни того бума, который мы наблюдаем сейчас, начали прорастать почти столетие назад.
2010-е годы и далее начался новый виток интереса и развития ИИ. И связан он с успехами в области глубокого обучения, увеличением вычислительных мощностей и доступности больших объемов данных. Это привело к прорывам в таких областях, как распознавание речи, обработка естественного языка и автономное вождение.
Т.е. до 2010-го года по сути исследователям тупо не хватало "железа" для того, чтобы развернуть всю мощь своих задумок. И как только технологический прогресс начал уверенно шагать по планете, всё заиграло новыми красками.
P.S. Вообще рекомендую детальнее изучить этот вопрос и погрузиться в историю. Как минимум - это интересно, как максимум - даст вам представление о том, что же там "под капотом" и как эта шайтам-машина, которую мы именуем как "искусственный интеллект", вообще появилась. А имея хотя бы общее представление о начинке, можно эффективнее применять изучаемый предмет на практике, плюс -щеголять своей эрудированностьюпредсказывать тенденции того, что будет дальше.
Интеллект. Искусственный Интеллект. Машинное обучение. Нейросети
Поговорим немного о терминах и понятиях, чтобы дальше говорить уже на одном языке как минимум.
"Интеллект" — это способность приходить к решению при помощи вычислений. Интеллект разного вида и уровня есть у людей, многих животных и некоторых машин. В человеческом контексте интеллект включает в себя такие способности, как логическое мышление, восприятие, творческое воображение и обучение на основе опыта.
"Искусственный интеллект” (ИИ) — это широкий раздел компьютерных наук, который занимается созданием машин, способных имитировать и выполнять задачи, которые традиционно требуют человеческого интеллекта. ИИ охватывает все, от простых программ, способных решать конкретные задачи, до сложных систем, способных мыслить и учиться.
“Машинное обучение” (МО) — это подраздел ИИ, который сосредоточен на разработке алгоритмов и технологий, позволяющих компьютерам учиться из данных без явного программирования для конкретной задачи. МО использует статистические методы для обработки и анализа данных, позволяя машинам улучшать свои способности и знания на основе опыта.
“Нейронные сети” — это класс алгоритмов машинного обучения, вдохновленных структурой и функционированием человеческого мозга. Нейронные сети состоят из слоев искусственных нейронов, каждый из которых имитирует нейрон человеческого мозга. Эти нейроны связаны друг с другом и могут обучаться на основе данных, изменяя силу связей (веса) в ответ на информацию, которую они обрабатывают.
Таким образом мы имеем:
НЕЙРОСЕТЬ — это математическая модель, которая имитирует работу человеческого мозга.
Это умные алгоритмы, которые «думают» как люди.
Компьютерная программа имитирует работу мозга, в котором миллиарды нейронов обмениваются сигналами, чтобы помогать нам мыслить, учиться и воспринимать мир. Только в нейросетях вместо нейронов информацией обмениваются вычислительные элементы.
Вернемся к истории
В 1943 году американский нейропсихолог, нейрофизиолог - Уоррен Мак-Каллок и американский нейролингвист, логик и математик - Уолтер Питтс предложили понятие искусственной нейронной сети.
23 июня 1960 года, в Корнеллском университете был продемонстрирован первый нейрокомпьютер — «Марк-1», который был способен распознавать некоторые буквы английского алфавита.
Долго ли, коротко ли...
Дальше происходило много научных экспериментов, доработок, прорывов, что в итоге привело к тому, что мы имеем сейчас.
Чтобы не отвлекаться от основной темы, но при этом не упустить важное, предлагаю сразу перейти к уже набившему оскомину - GPT - одной из моделей нейросетей, которую чаще всего сейчас используют на рынке в плане языковых моделей. О ней мы и будем дальше говорить.
GPT. История
GPT разработана компанией OpenAI, которая специализируется на исследованиях в области искусственного интеллекта. OpenAI была основана в 2015 году группой известных предпринимателей и исследователей, включая Илона Маска и Сэма Альтмана.
- GPT-1 (первая модель) была представлена в 2018 году
- GPT-2 представлена в 2019 году
- GPT-3 запущена в 2020 году
- GPT-4 была представлена в марте 2023 года
Это тоже важная информация, ибо кого потом винить в том, что универсальный искусственный интеллект (AGI - artificial general intelligence) завоюет мир и Скайнет унижтожит всё человечество?))
GPT — это тип (модель) искусственного интеллекта, работающего на основе модели машинного обучения. В простых терминах, это программный "мозг", который обучен понимать и генерировать текст на основе огромного объема данных.
GPT — это аббревиатура, расшифровывается как "Generative Pre-trained Transformer"
- G — "Generative", что значит "генеративный" или "создающий". Это означает, что GPT может создавать новый текст, придумывать ответы на вопросы, сочинять истории — в общем, производить новый контент, похожий на то, что мог бы создать человек.
- P — "Pre-trained", означает "предварительно обученный". Прежде чем GPT начинает помогать людям, его обучают на большом количестве текста из интернета. Это обучение помогает ему понять, как обычно люди пишут и говорят, чтобы он мог правильно и уместно реагировать на разные запросы.
- T — "Transformer", переводится как "трансформер". Это особый метод обработки текста, который использует GPT, чтобы понять связи между словами в предложении и общем контексте разговора. Эта "схема" работает как "руководство по сборке" для программы. Она подсказывает, как из "деталек" собрать не просто какой-то текст, а текст, который будет похож на настоящий, написанный человеком. Трансформер учитывает не только слова, которые идут рядом, но и весь контекст: что было сказано раньше, что, возможно, будет сказано потом.
Как всё это работает вместе? Объясняю на пальцах
Теперь, когда мы разобрались с каждым словом в названии GPT, давайте поймем, как все эти части работают вместе.
"Конструктор" из слов (generative)
Представьте, что у вас есть большая коробка с "Лего". В этой коробке много разных деталек: красных, зеленых, больших, маленьких и так далее. Из этих деталек можно собирать разные вещи: дома, машины, самолеты. Вот программа GPT тоже имеет свою "коробку" — только вместо деталек из "Лего" у неё есть слова и фразы на разных языках. Из этих "деталек" она может "собирать" новые предложения и тексты.
Учимся, учимся и ещё раз учимся! (pre-trained)
Прежде чем начать с вами разговор, программа проводит много времени в обучении. Обучается она на большой базе данных с текстами. Программа "читает" эти тексты и учится, как люди общаются между собой. Она запоминает, какие слова часто встречаются рядом, как строятся предложения и какие есть правила грамматики. Именно поэтому она может понимать, что вы ей пишете, и отвечать так, чтобы это было понятно вам.
Как сделать текст "по-человечески"? (transformer)
Вот здесь на помощь приходит "трансформер". Эта "схема" работает как "руководство по сборке" для программы. Она подсказывает, как из "деталек" собрать не просто какой-то текст, а текст, который будет похож на настоящий, написанный человеком. Трансформер учитывает не только слова, которые идут рядом, но и весь контекст: что было сказано раньше, что, возможно, будет сказано потом.
Зачем это всё нужно?
Ответ прост: чтобы сделать общение с программой максимально естественным. Чтобы вы могли задать ей вопрос и получить понятный и полезный ответ. Или чтобы программа могла помочь вам с вашим бизнесом, написать контент-план, сценарий для рилс, перевести текст с одного языка на другой, составить структуру продающего сайта и т.д.
Надеюсь, теперь вам понятен сам термин GPT и что это означает. Это тоже важно, чтобы дальше не возникало путаницы.
Что под капотом GPT и как он учится?
И да, это тоже важно понимать, чтобы иметь представление о возможностях этой нейросети и какие запросы ей можно отправлять.
Как уже было сказано выше, основная "магия" GPT основана на обучении на огромном количестве данных.
Для обучения нейронки создатели скармливали ей гигабайты текстовых данных:
При создании GPT-2 в OpenAI использовали Reddit — крупнейший англоязычный форум — откуда извлекли тексты по ссылкам из популярных сообщений, около 8 миллионов таких ссылок, а общий объем текстов составил 40 Гб.
Для сравнения: полное собрание сочинений Шекспира, включающее все его пьесы и стихотворения, состоит из 850.000 слов. Это количество информации, которое могло бы занять около 2800 страниц в книге, весит всего 5,5 мегабайт на компьютере — в 7300 раз меньше объема данных, использованных для обучения GPT-2.
P.S. Если человек будет читать круглосуточно без перерывов, ему понадобится почти 40 лет, чтобы осилить столько текста, сколько смогла обработать модель GPT-2 для своего обучения.
GPT-4 изучил более 570 GB текстового контента. Это примерно 5.7 млрд страниц текста.
P.S. Одному человеку, способному прочитать 1000 страниц в день, понадобилось бы 4 тысячи лет, чтобы изучить такой объем данных.
На чем училась нейросеть GPT?
- Веб-страницы: Тексты с миллионов веб-страниц, которые могут включать статьи, блоги, форумы и другой публично доступный контент.
- Книги: Литературные произведения различных жанров и стилей, что помогает системе понимать разнообразие языковых конструкций и словарный запас.
- Новостные статьи: Предоставляют актуальную информацию и различные стили изложения, от формального до разговорного.
- Научные работы: Включают техническую и специализированную терминологию, а также формальные структуры текста.
- Учебники: Обучающие материалы по широкому кругу тем помогают модели понимать образовательный контент.
- Сценарии и диалоги: Тексты из фильмов, сериалов и пьес помогают модели улучшить навыки ведения диалогов.
- Инструкции и руководства: Обучают модель пониманию и созданию инструкций и объяснений по шагам.
- Технические документы: Документация по программному обеспечению и техническим продуктам способствует пониманию технического языка и процессов.
Революция в обучении GPT модели произошла 30 ноября 2022-го года, когда появился ChatGPT снованный на модели GPT-3.5, который стал доступен через удобный веб-интерфейс и напоминал диалоговое окно мессенджера.
Т.е. если раньше доступ к нейросети GPT мы могли получать только через API (интерфейс программирования приложений). Чтобы использовать GPT через API, нужны определённые технические знания. Например, нужно уметь работать с кодом, понимать, как отправлять запросы на сервер, как обрабатывать полученные ответы и интегрировать их в свои приложения или вебсайты.
ChatGPT предлагает более простой и дружественный интерфейс. Вам не нужно знать программирование или разбираться в технических деталях. Вы просто пишете свой вопрос или комментарий, и получаете ответ.
Чтобы начать общение с ChatGPT, достаточно зайти на сайт или в приложение. Нет необходимости разбираться с кодом или настройками сервера.
GPT — это технология, общее название для серии моделей искусственного интеллекта, которые способны генерировать текст на основе полученных данных.
ChatGPT — это конкретное применение технологии GPT, настроенное для ведения диалогов. Это модель, которая оптимизирована для общения с пользователем в формате вопрос-ответ, имитации беседы.
- Чат-бот с искусственным интеллектом, способный работать в диалоговом режиме, работающий на LLM (большая языковая модель) GPT.
- Обучен на ГИГАНТСКОМ количестве информации и содержит триллионы параметров.
- Не просто “большая библиотека” и “поисковик” по ней, а именно ИИ, который способен обрабатывать данные и выдавать более релевантную информацию через пред-обучаемые модели, трансформер и обратную связь от вас.
На пальцах:
"Под капотом" мы имеем большого умного робота (большую языковую модель GPT), с сотнями гигабайт информации, всей Википедией, книгами, библиотеками, инструкциями и т.д. - разговаривающего на разных языках.
Теперь немного про доступ к GPT
Доступ к этой модели мы можем получить 3-мя способами:
- через API (больше для программистов),
- через веб-интерфейс ChatGPT (условно, для "гуманитариев", я здесь же)
- или через посредников (различные чат-боты Telegram, сайты сторонних разработчиков, подключенные через API к модели GPT).
Давайте разберем немного подробнее каждый способ, его плюсы и минусы.
Начнем с доступа через официальный сайт OpenAI и вебинтерфейс ChatGPT (про регистрацию подробно расскажу в 3-ей статье).
ChatGPT
Официальный (прямой) доступ к GPT через вебинтерфейс ChatGPT вы можете получить по прямой ссылке - https://chat.openai.com
Тут вы проходите процедуру регистрации (о ней в 3-ей статье) и начинаете общение с GPT в диалоговом окне (вопрос-ответ).
Вам доступна бесплатная версия 3.5 и платная 4-я (20$).
- Общение напрямую с GPT, без посредников (не нужно переплачивать Х2-Х10 от того, что просят посредники).
- Множество диалогов. Под каждую задачу можно создавать разные диалоги, тем самым не смешивая в одном диалоге запрос на рецепт карбонары и вопрос по квантовой физике (это важно).
- В платной версии - работа напрямую с разными форматами документов (PDF, Excel, png и т.д.) + можно рисовать картинки (Dall-E 3).
- Каждый раз при входе нужно использовать VPN.
- Органиченное количество запросов что в бесплатной, что в платной версии (40 запросов за 3 часа в платной версии GPT-4).
Лично я пользуюсь, конечно же, вебверсией ChatGPT напрямую, с оплаченной подпиской на месяц. Вас тоже научу, не волнуйтесь ;)
Доступ через API OpenAI
Как я и писал выше, раньше доступ к GPT-модели можно было получить только через API. Долго объяснять, что это такое, рекомендую изучить самостоятельно, чтобы не тратить ваше время.
Главное, что нужно запомнить - общение с GPT через API (платформу для разработчиков) требует немного знания программирования. Да, в целом это не rocket science, можно разобраться. Но для начинающих специалистов, экспертов и тех, кто не планирует создавать свои решения на основе GPT (своих ботов-консультантов, интеграции с сайтом, Гугл-таблицами и т.д.), это не нужно.
Если интересно, можете зарегистрироваться на платформе для разработчиков от OpenAI тут и изучить интерфейс.
По сути через эту платформу работают те, кто создает свои кастомные (индивидуальные) решения на базе модели GPT.
В частности через эту платформу работают посредники, которые перепродают вам доступ к ChatGPT втридорого.
- Можно создавать свои настраиваемые решения под проекты.
- Можно отправлять неограниченное количество запросов к GPT. Вы платите не за месяц использования, а за конкретное количество токенов (слов), поэтому можете гененировать столько контента, сколько захотите, без ограничений (были бы деньги на счете).
- Работа через платформу требует дополнительных знаний в программировании.
- За использование GPT через API вы платите деньги отдельно от вебверсии ChatGPT (хотя через нее по факту дешевле).
Посредники
Сейчас каждый день можно наблюдать рекламу типа "Получи доступ к официальному ChatGPT без VPN и регистрации! Общайся в Телеграм-боте, создавай диалоги, рисуй картинки" и т.д.
По факту всё это - посредники, которые на базе GPT (через подключение по API) создали свои решения (вы также можете, но это программирование, помним) и выдают их за "официальный ChatGPT". Ну, по факту да, через них вы "общаетесь" с GPT-моделью. Но за то, чтобы работать без VPN, через их решения, вы платите гораздо больше, чем если бы вы общались напрямую через вебинтерфейс ChatGPT.
В Телеграме нет НИ ОДНОГО бота, который бы разработала компания OpenAI, ни одного официального решения. Все боты, которые предлагают вам доступ к ChatGPT - это посредники. И в них ничего плохого нет, иногда это и правда удобнее, чем постоянно заморачиваться с VPN. Но есть свои плюсы и минусы.
- Не нужно подключать постоянно VPN.
- Не нужно регистрироваться.
- Как правило есть сразу несколько вариантов нейросетей "под капотом" - и тексты писать, и картинки рисовать, и музыку сочинять, и т.д. (т.е. не только GPT, но и тот же Midjourney или Stable Diffusion - нейронки для рисования картинок по текстовым запросам, и т.д.).
- Переплата за использование сервисов без VPN. Условно, за 1000 слов, созданных через вебинтерфейс ChatGPT, вы платите 10 копеек, а за те же 1000 слов в боте Телеграм (или на сайтах посредников) - 2,8 рубля. Наценка 2800% (это условный пример, я недавно натолкнулся на одного такого посредника, кто перепродавал токены от GPT с такой наценкой).
- Как правило всё общение вы ведете в одном диалоговом окне. Особенно если это касается ботов в Телеграм. В итоге у вас в одном и том же окне идут запросы на приготовление курицы и на объяснение смысла жизни. Это и неудобно, и неправильно. Модель GPT обучается и на ваших текстах тоже, и в итоге через 20-30 запросов нейросеть уже не понимает, что вы от нее хотите и в каком виде.
Если подытожить:
- Я лично пользуюсь вебверсией ChatGPT. Зарегистрировался на официальном сайте, оплачиваю через посредников (ибо иностранной карты нет), общаюсь в разных диалоговых окнах по разным задачам и создаю магию именно там.
- Посредниками тоже можно пользоваться, но помните про переплату, это раз, и общение в одном диалоге по разным задачам, это два.
- Доступ через платформу для разработчиков может также получить каждый. Регистрация такая же простая, как и в ChatGPT. Но тут уже "для продвинутых" и кто хочет копнуть глубже. Большинству будет достаточно вебверсии ChatGPT.
***
В этой статье я попытался на пальцах объяснить, как работают языковые нейросети, какие способы доступа есть к GPT-модели и что лучше всего использовать.
В третьей части я дам пошаговую инструкцию по регистрации в двух нейросетях, которыми чаще всего пользуюсь сам (ChatGPT и ClaudeAI) и через которые пишу посты, конспекты, лид-магниты, книги, составляю контент-планы, перевожу тексты с разных языков, делаю сценарии для рилсов и видео на Ютубе, и т.д.
После прочтения 3-ей статьи вы уже сможете не только легко пройти регистрацию, но и начать работать с нейросетями напрямую, без посредников, решая свои насущные задачи по проектам.