Как использовать языковые модели для юридической практики

Меня зовут Саша руля Я работаю ДС инженером В Сбере сейчас я работаю в проекте

сбе мы пытаемся заставить гача стать юристом и даже лучше Вот сегодня мы даже немножко поиграем в игру Сделай чат гпт

юристом и посмотрим что у нас из этого получится Вот мы поговорим Что такое языковые модели сегодня посмотрим что

такое библиотех компонентов онат покуем обсудим что Тае aug Generation когда мы подсовывают знания из нашей базы знаний

Ну и актуальными и давать то что действительно вам пригодится в работе

ОТС имеет лицензию большое количество направлений и курсов Ну я работаю только в ДС направлении но все дные курсы

действительно хороши Так ну вот ус большой много курсов много преподавателей и много

выпускников Некоторые из них даже уже в Сбере со мной работают в галили вот на курсе NP была девушка сейчас она уже у

нас промт инженером работает в проекте Напишите пожалуйста в чат Если вы уже учились в тусе это единичка два если не

учились и три если впервые знакомитесь с осом вот эту статистику продуктолог соберут и куда-нибудь обязательно

используют так Ну теперь давайте к делу собственно про языковые модели это очень простая штука она началась с того что

давайте свать следующее слово по предыдущему Ну вот например мама мыла и все русские скажут раму Да потому что

все знают Мама мыла раму если я пошл в магазин купить то уже сложнее то есть следующее слово предсказать Ну

невозможно да То есть можно много чего купить в магазине картошку молоко памперсы пиво там всё что угодно вот и

если мы заставим какую-нибудь модель предсказывать следующее слово она с этим плохо справится и в целом со словами

работать сложно все языковые модели современные переходят к кусочкам слов

Ну то есть какие-то кусочки символов то есть слова разбиваются на какие-то в языке известные компоненты Да там

приставки суффиксы корни и вот мы можем предсказывать следующий символ следующий там два-три символа он токен и размер

словаря порядка там 50.000 этих токенов и вот мы по любому тексту пытаемся предсказывать следующий А когда мы

предсказали можем его добавить и ыть сдуть вот агресси продолжать цепочку Вот это есть

современный искусственный интеллект в виде языковых моделей Вот Но изначально эти модели

учат просто на текстах предсказывают следующий токен Да там скармливают им всю Википедию все художественные книжки

все там хорошие примеры кода Соф и модель просто умеет продолжать следующий токен дальше э моделит обу на

неких примеров на Корее вопро такой пря кусочек текста ты асин ну ell искуственный интеллект твоя задача

давать людям полезные ответы и дальше просят что-то напиши рецепт торта Сочини стихотворение Ответь как добраться до

там куда-то и вот когда на нескольких сотнях тысяч модель изначально обученную На огромном корпусе текстов все книжки

все научные статьи весь код СБА и все отве вот вся э штуковина больша кото умеет продолжать фразу когда её обучают

на нескольких сотнях тысяч инструкций отвечать на вопрос делать что-то полезное Ну условно Говорят что в модели

разблокируется знани то есть возникает такой артефакт что если мы в модель пих с этим протом ты полезный искусственный

интеллект Ответь на вопрос какой-то текст Да там придумай мне сочинение про то как там Пушкин что-то про Евгения аги

Ну неважно что любой вопрос Если модель это знает в своём трейне То есть она видела тексты она вам выдаст какой-то

ответ правдоподобный и вот тут возникает жуткая Жуть эти модели начинают Отвечать по любому корпусу знаний который у них

есть там как создать ядерное оружие Как лучше ограбить банк Как отравить соседа там Как вскрыть чужую машину Ну если в

текстах это было в каких-то художественных романах там или в Хрониках каких-то уголовных а моде это

видела она начинает честно отвечать на вопросы на основе тех корпусов текстов которые она видела Она видела можно

сказать что весь интернет То есть как это шутят что Open аккуратно спарс весь интернет И теперь продают его вам по 20

баксов В месяц вот ну после этого переходит к Al Models это уже подогнаны модели Там модель в модель начинают

закладывать какую-то логику какую-то этику требования к развёрнуто ответов чтобы она там развёрнуто

их давала не то что Да нет фильтрация тем что она отказывается отвечать там про там химическое оружие там про какие

неэтичные темы закладываются цензура в модель и так далее Вот как это делается делается ещё несколько десятков тысяч

генераций модели Да там её спрашивают на какие-то спорные темы табуированные темы просто на какие-то темы это всё ручками

люди размечают это хорошая генерация это плохая генерация и дальше обучают ещё одну модель оценивать генерации и

запускают Ну то что называется обучение с подкреплением модель начинает генерировать модель критик оценивает

генерацию как Хорошую или плохую и внутри модели вот этой предсказываю следующий токен там как-то меняются

параметры и вот в итоге мы получаем Mod то есть подогнаны модель в которой есть некоторая логика некоторая этика

некоторая развёрнуто ответов требования к понятности ответам к фильтрации вопросов ответов к самоцензуру и вот

итем Поль чатбот которого мы будем сегодня пробовать строить и с которым будем

общаться Вот как проверяют что абот хороший и достоин общаться с человечеством его можно положить в А да

там что Яндекс выпустил Яндекс gpt значит у него есть языковая модель которая просто предсказывает по вот

вашему кусочку текста следующий токен токен токен токен Но вот эта генерация обладает некоторым набором

свойств перед выпуском моде проверят общую логику наличие фактических знаний Нае рассуждений в них умение извлекать

факты из предложенных текстов там навыки базовой арифметики и навыки базового написание каких-то простых программ на

жава скрипте на питоне то есть условно модель прогоняют по программе ЕГЭ и если она сдала ЕГ Ну там специальными пронта

то есть Представь что ты сдаёшь там экзамен Вот тебе там какие-то несколько там фраз вот вопрос и ты должны дать

ответ Если генерируется правильный ответ там в 80% там сколько сейчас ЕГ для сдачи Ну всё модель

прошла тесты Ну сейчас есть современный тест вот недавно новый тест мера от сбера вышел Ну в общем есть

методики Как мерить и если модель нормальная адекватная То есть она генерить правдоподобные ответы и

обладает в себе знанием многих фактов то её кладут в какую-то а ручку и выставляют

наружу Вот какие сильные модели можно использовать нуно самая популярная и сейчас самая можно скать сильная модель

- это gpt ну или gpt 4 от Open в англоязычном мире это есть ещё КД от арока осные модели сильные это Лама и

Мистраль Ну и у нас в России прям заточенные на русский язык это чат сбера и Яндекс gpt от

Яндекса то есть вот эти первые они доступны по А вы можете к ним

подключаться из своих проектов А ламу и Мистраль Вам нужно будет где-то хостить на каких-то своих компьютерах на

серверах чтобы уже производить вычисление вот этого следующего токена Как насчёт бар от Google я не знаю я с

ним не работал я не ресечер то есть Я сейчас работаю в основном с гача там немножко мы сравниваем с Яндек gpt и см

gpt вот смот на эти моде [музыка] моя поляна поэтому не

сжт е одна сильная моде сегодня увидим их гора целая тележка забита и можно попробовать любую

что важно понимать начиная этим всем заниматься что все модели регулярно врут прям врут выб Спросите она вам сделает

текст тся модели критику моде критик тоже ничего не знает про реальность разв логично правдоподобно плюсик Вот то есть

модели регулярно лицинию они придумывают факты которых нет они искажают факты которые есть они имеют искажение в свом

То есть когда их там подняли то есть они могут отказаться отвечать там где должны [музыка]

могут име достаточно примитивную логику внутри себя вот прямо как из коробки Вы е что-то сказали потом спросили и не

факт что она правильно про интерпретирует факты то есть рассуждение Типа если а сын б вы Спросите кто

родитель а модель вам не скажет Ну то есть они вот очень много человеческой логики не умеют но мы сегодня обсудим

как эту логику в них можно засунуть с помощью разных промто вот ну и самое главное что модели

недат мир это просто статистический генератор следующего токена

так нет когда мы с вами работаем Мы работаем просто с вот вопрос в чате что и состоит как минимум из модели критика

и модели знания когда их обучают Да там есть и модель знания и есть модель критик но когда вы работаете вам

выставляют в апе просто модель знания То есть вы ей слово она вам То есть вы ей там 300 токенов она вам в ответ 200

токенов и всё просто текст вы в неё текст она в вас текст вы в неё текст она в вас текст а вот как получать

правильный текст вот в этом есть отдельные методики промпто вебинара мы его буквально

косвенно коснётся есть Прямо целые сейчас хорошие обзоры Как писать мты к языковым моделям

то есть закладывать в них там и логику и знания и всё прочее но мы сегодня в ходе вебинара что-то увидим

Вот теперь прежде чем мы опять же перейдём кмм и вот нам нужно сдать некоторый фундамент и вот фундамент это

раз генерация то есть мы ей токен Да она нам следующий токен но после каждого токена у этой модели есть какое-то

распределение вероятности Так ну ошибка токена ошибка

подмен раньше работала А сейчас там Ошибка Подключение капи значит у вас либо токен протух скорее всего Либо вы

какие-то лимиты нарушили либо какую-нибудь может быть политику то есть надо посмотреть какую ошибку вам

возвращает это AP и написать в компанию провайдера посмотреть у них документации либо написать в чат поддержки у меня

такая-то ошибка что мне делать Ну если это чат гпт То Либо вы обращаетесь там в модель у которой сейчас перегружены

сервера то есть Может быть ошибка на их стороне вот Либо вы обращаетесь из России АТ gpt

забанило Россию и поэтому сейчас я вам условно говоря буду показывать не то что планировал изначально вебинаре что мы

сделаем какой-то рак поднимем своё приложение Нет я не могу это сделать локально потому что Россия забанена это

нужна какая-то Росси машина вне контура России поэтому я просто на Google клабах покажу учебные примеры Вот то есть вас

могли забанить Так давайте пойдём пока Дальше по логике вебинара то смотрите Вы дали модели

токен или набор токенов вопрос После этого токена может быть 500 токенов с разной вероятностью то есть вот здесь в

пример там Z Dog вероятность 04 най вероятность 0,5 Car вероятность 01 куда идти Вот первый способ жадный когда мы

идём в самый вероятный токен The Nice Woman да то есть зде самая большая вероятность Но если бы мы пошли the Dog

has да Собака там что-то имеет вероятность была бы больше потому что здесь мы 04 потом 0,9 и По

правилу цепочки вероятности Они умножаются то 04 на 09 - Это больше чем 05 на 04 То есть у нас всегда есть

вопрос как мы будем выбирать следующий токен У нас есть просто распределение вероятности и вот самый такой простой

способ - это жадная генерация когда мы говорим самый вероятный токен на следующем шаге и идм по нему топ топ топ

получили какую-то последовательность символов токенов это превратилось в символы и нам текст выдали второй

вариант генерации - это лучевой поиск То есть когда вы идёте и идёте не в самый вероятный А в несколько самых вероятных

Ну два лучика то есть здесь сделали два лучика потом из этой сделали

выпусти проверили самые вероятные вот ите и ите тащите несколько вариантов можно делать лучевой поиск на там 5 на

10 некоторые А это позволяют но с вас тогда и больше денег возьмут что вы будете просто больше токенов в процессе

генерации использовать перебирать поэтому стоит дороже вот так говорят

презентация спосо это понора популярная - это жадная генерация и вот следующий способ генерации - это

называется сэмплинг когда мы случайным образом выбираем следующий токен из распределения вероятности то есть вот

что-то с вероятностью 0,75 023 002 Ну О'кей выпал сейчас самый вероятный на следующем шаге вот у нас есть сколько-то

вероятностей мы кидаем условно говоря кубик куда он выпал тот токен и берём вот с вероятностью 02 выпал слово хаос и

идём дальше Вот это семплинг и когда мы делаем сэмплинг У нас есть некоторый трюк который называется

сэмплинг с температурой вот если у нас здесь слева реальное распределение вероятност как мы следующие токены

предполагаем вот какой самый вероятность чуть меньше вероятность и так далее вот дальше мы можем это ние немножко

исказить Либо мы отдаём вероятность наиболее вет

отдам на самых вероятных вот здесь написана формула трюка с вероятностями я не буду её объяснять это не тема

сегодняшнего занятия Но мысль следующая что если мы выкрутимся вероятность уйдёт на самой

вероятный токен если мы выкрутимся маленькие подрастут а от большого Уви бытность

02 05 а все маленькие подрастут То есть у нас более вероятными станут более разнообразные токены следующие то есть

повысится вариативность нашей генерации То есть если вам нужна высокая температура там больше единички то вот

получится что-то такое если низкая температура ниже единички то получается что-то вот такое Температура

выкручивая температура - это жадная генерация то есть вот вот это вот это температура

поэтому Когда например вы вытаскивает какие-то ваши знания из базы знаний и вам нужно чтобы модель отвечала с учётом

э знаний контекста вы выкручивается температуру до нуля Если вы хотите чтобы вам модель давала что-то более

разнообразный то есть более креативный Вы можете поставить там температуру единичка или даже там 1,1 Ну рабочий

диапазон температур от нуля до полутора условно но у разных моделей по-разному то есть где-то 1,1 где-то 0,8 0,9 1,2

но смысл такой что чем больше температура тем больше вероятность всех токенов То есть

вы её размазывает по всем чем температура меньше тем больше вероятности Вы сосредоточивается у самых

вероятных и следующие наше параметры как раз генерации кроме температуры Это топ P топк и repetition penalty то есть вот

тип сэмплинг гди или Beam Search Но обычно это всегда сэмплинг по умолчанию стоит во всех опиках температура стоит

например единичка а топ P топк и repetition penalty вы можете указывать сами топк это вы берёте самых на каждом

шаге там допустим топк 30 значит 30 самых вероятных токенов вероятность по ним перераспределяется Согласно их весам

и вот выбираете на каждом шаге только из тридцати самых вероятных топп - это когда вы самые вероятность складывайте

их вероятности до тех пор пока не станет больше чем топ То есть например топп 01 это значит только 10%

вероятности вы оставляете и среди вот этих токенов Кто в сумме набирает 10% от самого вероятного и вниз ровно среди них

вы выбираете тот которого вытаскивает из мешка эти параметры генерации они сильно влияют на то как модель будет себя вести

и эти параметры можно прокинуть в большинство ашек собственно это последние там Два

кусочка прежде чем мы перейдём к самому сам прон то есть мы засовывали какой-то текст на которой она нам генерирует

следующий текст И вот как мы этот текст будем засовывать это и называется пром то есть промт - это текст который мы

засовываю в модель то есть входящий текст первичный который мы мы написали причём мы можем писать не одно сообщение

а Целый диалог там я спросил ты ответил Я спросил ты ответил Я спросил И вот на это ты уже пожалуйста мне ответь то есть

модели обучаются и на диалог то есть продолжать диалоги тоже Ну и разные подходы к пром этого просто продолжение

текста Z SH это когда мы не даём примеров что мы хотим просто хорошо объясняем модели ты там модель придумай

мне три варианта креативной статьи на такую-то тему Объясни почему ты это выбрала Вот это Z Shot One Shot это

когда мы ей показываем хотя бы один пример что мы от неё хотим то есть мы описываем там кто ты такой что я от тебя

хочу вот если спросить так то ответили вот так теперь спрашиваю ответь пожалуйста

ьшт когда мы показываем несколько примеров ученов сот это цепочка мыслей когда мы показываем не вопрос ответа

прямо рассуждение то есть модели сами по себе они достаточно глупые А вот когда мы показываем ей как надо рассуждать в

конкретных случаях она начинает уже эту цепочку рассуждений применять и к нашему вопросу и скорее всего правильно его

воспроизведён есть техники по sfcc когда мы заставляем модель себя перепроверять например сделали там три

генерации попросили выбрать лучшую или сделали генерацию просим там а подумай-ка а провали ты ну то есть либо

в диалог заставляем модель критически оценить то что она уже сгенерировал либо делаем несколько генераций и опять же с

этим работаем выбираем луше дальше есть техни не задаём вопрос и сразу берём ответ А сначала задаём наводящий вопрос

а потом к нему там то что сгенерировал ещё как-то используем Ну вот я сегодня покажу пример на практике Как просто по

ключевому слову генерировать целую статью для блога да то есть мы попросим модель э сначала поставь на эту тему три

вопроса как будто ты хороший журналист потом Ответь на эти три вопроса как будто ты хороший Эксперт в этой теме

потом из этих трёх ответов Сложи готовую статью на одну страницу для блога такой-то тематики

а потом к этой статье придумать три варианта креативных заголовка вот ну и техника это когда мы в промт по вопросу

пользователя лезем сначала в какую-то базу знаний вытаскиваем оттуда кусочки текстов подставляем в пром говорим ты

отвечаешь на вопросы вот те кусочки знания пожалуйста Не придумывай Ответь только на них И вот

вопрос прого они заложены на этапе обучения моделей то есть вот эти техники они

работают модели это видели они умеют повторять цепочки рассуждений они умеют делать по аналогии они умеют умеют

извлекать факты из текстов они умеют обобщать тексты сумма там выделять основную мысль наоборот

рассказывать по какому-то поводу длинную историю то есть в обучающих датасета у моделей всё это было То есть вы их тут

не Удивите они отработают хорошо Ну и собственно для чего это можно использовать для ответов на

вопросы для генерации идей можно делать суммации текста там краткие заметки какие-то по там встрече

по чему-то генерировать креативный контент статьи объявления всевозможные делать ролевые генерации например

довольно кстати хорошая штука когда вам нужно для какой-то целевой аудитории оценить ваш контент есть как

ОНТ же из такого-то города таким-то хотим Что ты думаешь по поводу такого-то текста напиши там три тезиса Почему тебе

понравится Почему тебе не понравится и модель действительно е хорошая модель она вам напишет если она видела тексты

тинейджеров такого типа вот модели могут использоваться для поддержания диалога перевода на другой

язык Ну генерации программного кода Вот это была теоретическом она точку

Отта так Вопросов нет тогда переходим собственно к - это питонов библиотека Ну или Её

называют фреймворка которая хороша тем что она всю вот эту магию работы с языковыми моделями прячет под

капот вот моделей много да есть gpt есть есть Open там есть арок всё что угодно вот Lin

имеет обёртки поверх всех моделей то есть Какую бы вы хорошую модель вы не взяли Вы можете просто из чейна

импортную все одинаковый интерфейс вы даёте ему промт и всё он генерирует ответ А что с этим ответом делать это

ваш вопрос Кроме этого имеет обёртки над всеми популярными базами данных То есть вы

можете брать там ваши данные из там Чего угодно постгрес Мон db mysql msq кликхаус оракла Чего угодно дальше эта

штука имеет обвязки к куче поисковых систем то есть вы можете там и гуглить с помощью неё и Яндекс и Чего угодно Ну

про Яндекс не уверен но гуглить точно и эта штука имеет готовые обёртки для всех техник промпто мы с вами

сегодня описывали вот ключевой ключевым объектом для чейна является модель моделей там

много и работают они все примерно одинаково то есть вот вы говорите From Link Chain либо LMS вы импортирует

модель вот здесь Open ai либо Chat Models импортируйте Chat Open В чём разница между моделями просто LMS и Chat

Models тем что в LMS вы кидаете текст Нам его продолжает А в Chat Models Вы можете кидать Э целый диалог системный

промт какой-то задающий роль вашей модели И с какой роли она будет с вами общаться то есть там ты журналист ты там

врач ты там полицейский ты там Следователь по особо важным делам неважно что

угодно дальше юзер там сказал система ответила юзер сказал система ответила юзер сказал пожалуйста сгенерируйте

ответ То есть вы кидаете набор набор как бы сообщени диалога всё И вот э ини у них есть

основной параметр токен доступа к дальше Вы можете задать ей там тип модели температуру топк вот все параметры

которые мы сегодня обсуждали оно начинает на вас работать вот когда вы общаетесь с

моделями но проще всего обычно общаться с чат моделями просто они более гибкие по своим

настройкам диалог в виде сообщений То есть просто новский списочек То есть это пишется на языке

программирования syst mess То есть это встроенные объекты то есть вот вчене вы нигде не работаете с внешними

библиотеками Здесь всё обр в объекты Чена то есть что бы вы не захотели вам нужно просто импорт нужный объект

посмотреть в документации Какие параметры он принимает чего он вам возвращаете зависимость и всё прочее

если чего-то не хватает он вам гнётся вы это пипом себе доставили нужную зависимость дальше оно опять же всё

обёрнутый вам не нужно быть ДС инженером веб-разработчиком кем угодно просто одна библиотека

оборачиваюсь так вот когда вы общаетесь с чат моделями У вас есть всего три типа сообщений системный

меседж вот здесь он довольно простенький там ты полезный ассистент но можно задать любой системный например Ты юрист

по там бракоразводным процессам ты работаешь с тем-то тем-то тем-то Вот тебе примеры рассуждений А дальше диалог

уже пользователя с Агентом идёт дальше идёт Human mess это то что пользователь пишет И вам возвращается I

mess То есть три три типа сообщений системное пользовательское и от вашего ассистента и дальше когда у вас есть

набор сообщений которые заканчиваются каким-то Human месед можем вы этот чат эту модель которую мы

создавали на предыдущем этапе вот здесь ну здесь на скрине он просто называется чат Я из документации скри делал у всех

у них ровно один метод inv Ну с английского переводится как вызов призыв да то есть вот модель

призови вы кидаете в неё список сообщений а она вам возвращает сообще вот

вся капотом openat gpt gpt Lama или что-то ещ вам знать особо не нужно Вы просто нужную модель вы вытащили вот

отсюда из Chat Mods дали Ей нужны cral Да там URL то есть ну усно говоря пор логин

пароль токен если надо написали температуру там есть Ну вот я скопировал что-то вот с гитхаба просто список что

там есть пожалуйста Яндекс есть Ома есть Open есть чат есть даже уже by модели арок есть то есть что бы

хорошего не появилось в течение меся илот ра Я взя просто

гача есть вот он оборачивается импорт чат если гача нет он вам гнётся нету гача Пожалуйста

сделайте пип Инста гача вы делаете пип инстал библиотека появляется дальше оно работает

иное правильно подставить их то что вам провайдер вашего выдал И вы вот всю эту

библиотеку конкретного чата Яндек gpt Open знать не знаете импорт базовый класс

из и всё работает вот теперь давайте про проты то есть следующая концепция после моде этом текст которы моде отда

в пром здесь очень простые это текст и внутри есть шаблонизатор просто такие

две фигурные скобочки это переменная которую вы будете подставлять вот ну все программисты знают что такое

шаблонизатор Ну в данном случае вот просто строка и в двух фигурных скобочках какая-то переменная которую вы

должны передать то есть вот импортируйте про набор сообщений и подставляйте

переменные всё они подстав в нужное место потом это всё полетит в модель И вам вернётся сообщение с генерацией

моделей Вот это промт был простой просто строчный можно сделать промт диалоговый то есть опять же три типа сообщений

система человек ассистент потом вы делаете промт Ну человеческое сообщение в ответ на которое вам прилетит аиш

ассистентской и вы уже опять же получаете текст с которым сами решаете что

делать точно также вы подставляется внутрь вот эти переменные где нужно и потом вы просто на этом вызываете

генерацию промтара его в модель вот причём мты могут быть не

такие короткие как я показал А длинные то есть вот там внутри чейна в некоторых местах они прямо уже

забиты чтобы Вам не думать примеры вопро это промт агентский когда модель на каждом шаге думает А надо ли ей задать

себе уточняющий вопрос если надо она его генерирует задаёт если не надо она сразу вам даёт

ответ вот это получается такой юш Chain of SS то есть несколько примеров цепочки рассуждений То есть как модель должна

рассуждать несколько примеров потом влетает ваш вопрос и модель уже сама начинает генерировать себе по шаблону

Надо ли ей уточнить в процессе генерации Сама там разбирается воспроизводит цепочку

рассуждений и в конце приходит к какому-то правильному ответу в большинстве

случаев вот строить мты - это отдельная история и поищите видео на эту тему может быть ОТС сделает открытый урок

такой потому что на курсах мы этому учим Я такие вебинары проводил просто в открытом доступе их сейчас нет но

поищите где-то Наверняка есть вот Ире комне

это когда вам вернулось сообщение вы хотите его из объекта ан mess превратить просто в строку вот парсеры вче разные

их там забито достаточно большое количество например Вы можете Разобрать генерацию по запятой там разбить сделать

список можете привести к дате в нужном формате что сся какие-то ошибки Ну проваливать там

обработать снова превратить в J там можно обрезать по новой строке но самый частый тип output парсера - это просто

string output parer который не делает ничего он превращает вернувшееся вам сообщение просто в обычную

строку Ну вот здесь сделан пример из документации где мы берём comma separated list output parer То есть он

влетевший в вас от модели ответ просто разбивает по запятой то есть Кома - это

запятая Вот пример здесь Мы создали output parer объект из lch дальше

мы сделали промт ле Перечисли пять предметов Ну на какую-то

тему вот Input variable переменная предмет промежуточные переменные там

формат instruction ну здесь Видимо он не приведён дальше модель с температурой

ноль мы сделали то есть не креатив вообще А давай самый жадный самый вероятный токен и дальше сказали

пожалуйста I Cream то есть вкус и Мороженки модель у нас отработала на этом инпуте АТ парсер про парл результат

мы получили вот результат ванильные шоколадные клубни мят и так

далее Куда за пределы библиотеки и вот собственно вся магия как она работает то есть вы задаёте

промт вы инициализирует модель с какими-то параметрами генерации вы определяете парсер вывода дальше Вы

создаёте цепочку которая состоит из трх элементов промт модель парсер вывода и собственно Всё вы получаете результат

это вызов цепочки на каком-то входном тексте Вот пример с кодом здесь опять же привед есть у есть

то есть мы по запятым бьём здесь мы даже пере определили То есть можно пар переопределять если надо

вот написали наш промт То есть ты там полезный Ассистент это видимо системный будет кусочек это

вот человеческий кусочек вот мы составили про то есть системный такой как вот здесь

написано здено каже этой категории через разделённый

через запятую Вернее только список там разделённый через запятую и больше

ничего человек вводит какой-то предмет дальше мы создаём цепочку вот прямо через вот такую вертикальную черту это

они прямо свой специальный интерфейс написали назвали его lcl L Chain Expression Language не так давно

это дело у них обновилось Поэтому если вы будете смотреть записи этого вебинара через полгода может быть

что-то другое уже в библиотеке по что действительно очень быстро меняется Вот это новшество последнего квартала не

было там летом ещё никакого LC там и весной не было Вот то есть вы создали цепочку где есть промт модель парсер

результата дальше делаете invoke то есть вызов модели Где в переменную текст передаёте

Слово то есть Дай мне несколько цветов и вот он м генерирует То есть просто вот что будет результатом вывода вот такой

Chain invoke результат который даст нам output парсер Red blue green то есть ровно пять штук и ровно

цветов Вот теперь что делать если мы хотим учитывать какие-то всё-таки свои данные потому что модель она штука

тяжёлая каждый день новую модель Вам никто не будет обучать то есть сделать такую одну заварку модели - это полгода

работы ну минимум там квартал То есть пока вы базовую модель обучили на всех текстах там интернета заново то есть там

каких-то но свежих новостей напихали свежих статей с Википедии свежих законов там откуда-нибудь взяли с правовой базы

Ну за квартал этого накопилось потом вы всё обучили это большие вычислительные мощность там целые кластера сотнями

очень мощных видеокарт если не тысячами обучила потом вы запустили это заново на инструкции потом после

инструкции вы заново запустили это на и вот это это занимает условно говоря квартал выпустить новую версию модели Ну

если Вы посмотрите на а чата gpt Ну в среднем где-то раз в квартал они модель себя и

обновляют вот а вам-то хочется чтобы она знала свежие данные вот брать открытые модели Файн тюнить э Да можно но это

дорого То есть если мы говорим про использование это вот какие-то скорее всего опиш готовые модели это кра L

Chain который всё это оборачивается в себя а вот если вы хотите тюнить это уже как раз NP инженеры донгов доберёмся

сегодня будут попозже Вот то есть тюнить модели - это не Это совершенно другая штука это ну в

основном экосистема парча феса есть там замечательный фво там тот же да там есть методики Как сделать Лора модификаторы

модем было помет для дая но когда вы нафаню свою модель вам всё равно нужно с ней работать и самый

простой способ обернуть её в Link Chain потому что Link Chain имеет коннектор к любой феско модели то есть любая модель

в интерфейсе hugin Face Model for там Casual Language Generation Она засовывается просто по умолчанию в CH вы

даёте путь к папочке где модель лежит и он правильно её подгружает Ладно вернёмся к ра retal

augmented Generation то есть мы хотим на запрос пользователя слазить в какую-то базу знаний в ту же Википедию или вашу

корпоративную базу знаний найти там нужные тексты извлечь их подставить в промт и вот этот уже промт отправить

куда-то в опиш или в модель и результат отправить пользователю то есть вот это вот раг вопрос как искать вот эти нужные

тексты Ну вот как раз это вопрос про им веддинг да то есть мы хотим тексты превратить в какие-то векторы так чтобы

мы по этим векторам находили близкие тексты Ну вот если векторы близки значит тексты близки по смыслу давайте мы их

подставим туда причём даже если мы ищем по ключевым словам их тоже може стать

векторами да то есть просто каждое слово - это одна компонента вектора то есть Нам нужно уметь превращать э тексты в

векторы вот причём не обязательно это происходит Мы сразу вопрос Превращаем в вектор мы можем сначала попросить

моделью перефразируйте а уже полу реу превращать в вектор уже

Вопрос инженерии наших промто Вот но превращать нужно вот здесь пример там какая-то фраза инговая модель

возвращает сколько мерный Вектор может быть мерный Вектор 73 мерный Вектор 1536 размерность вектора там как

возвращает ноде [музыка]

салу а в НМ обёртки к огромному количеству эдинг моделей в том числе оные динги в том числе динн фейса любые

и в том числе обёртки К любым эм берам какие более-менее в рынке известны Вот и когда вы

импортную говорить пожалуйста забе мне документы то есть преврати их в вектора здесь не короткие фразы а прямо ваши

длинные достаточно вектора Ну вернее длинный текст можно засунуть в Ну разные модели динга разную длину текстов берут

Ну в среднем 1000 символов Вы можете засунуть и он её переварит и то есть 1000 символов или даже 2000 символов

превращать Вектор можность текст на постни можно хороо завернуть в один векто по смыслу вот эти кусочки на

[музыка] полстраницы получаем Вектор Ну вот первые пять компонент вектора как-то Так

выглядит плюс которые хорошо работают на русском работают на русском я вам сегодня модель покажу когда до практики

дойдём вот ну собственно опять же потому и что он реализовал коннекторы к огромному количеству моделей в том числе

любая модель сфе вот я какие-то сри СБА что там есть вот есть да то есть запускать ламу на процессоре вот Open

есть вхо какие-то есть модели вот гдето там вверху Face обёртка есть то есть вы можете на гитхабе всё это смотреть все

эти обёртки доступны вот следующий ингредиент этого соуса Я сказал что мы можем брать

какого-то более-менее разумного по длине текста есть

ВН полу у вас даже нго модели просто не умеют работать с такими длинными текстами даже по самой логике это так

что более-менее одну консистентных мыслей Ну вот как-то Лебедь рак и щука

получится поэтому оптимальная длина текста е нету на практике поговорим

сечас Давайте пробежимся по презентации потом к практике перейдём чтобы нам убраться в

тайминг есть уже свои разбивалки текстов Ну довольно умная штука у них это recit То есть это рекурсивный

разбиватель текстов вы задаёте ему Вот он есть ту spitter вы импортирует

объект допустим в чанке Ну чанк - это кусочек по-английски то есть в вашем чанке не больше 100 символов ачан

overlap То есть это перекрытие кусочков Вот вы разрешаете на сколько-то символов перекрываться там на 20 например

вот длина вот можно просто по символьную можно в токенах Но это будет длиннее я обычно Работаю с просто обычной длиной

как здесь вот ну здесь добавлять индексы не добавлять неважно и вот он начинает сам

достаточно Умно разбивать сла он бьёт по параграфам если параграф влезает Ну параграф Это что такое пустая строка

между кусочками текста если параграф меньше чем вот он его оставляет параграф там может быть не там сся символов да А

800 символов в параграфе Ну прекрасно Вот такой у вас чанк какой-то параграф 3000 символов и вот он уже его начинает

думать как разбить но более-менее снос то есть лучшего вам не предлагает Да есть смысл

вручную разбивать текст то есть там где вы можете побить все тексты вручную Сделайте это Это будет лучше всего но

там где текстов становится много уже десятки тысяч ну или там хотя бы тысячи а если тексты прилетают у вас Ну просто

база она обновляется есть какая просто автоматом запускаете Каждые сутки пересчитывать им бедин и всё То

есть если можно вручную есть смысл вручную то есть лучше человека модель Это не сделает Но если текстов много то

достаточно более-менее так но это всё равно не самый лучший сплиттер Мы у себя в галили естественно

написали свой сплите который гораздо лучше нам подходит чем базовый чей вот дальше мы наши тексты превратили

в вектора Но эти вектора Надо же где-то хранить то есть если много векторов нужно как-то не каждый же с

каждым есть у вас миллион текстов Да миллион векторов влетел запрос Вы же не будете ваш Вектор там с каждым

пересчитывать миллион операций это долго значит нужны какие-то умные алгоритмы которые это делают быстро вот есть

алгоритм ан то есть приближённо вычисление ближайших соседей предварительная

когда приходит ваш запрос вот-то ближайшие кластеры каким-то связям это ВС ится по графу и находится там 51

кандидатов 20 Сколько попросили и вот опять же как всегда реализует обёртки над всеми популярными векторными

хранилищами то есть чаще всего используют или Рому

с То есть я работал с доками с ПДФ вообще хороший тон это всё сначала превратить в ТТ каким-то отдельным

пайплайн А уже ваш там ретривер работает с т там тексты в кодировке utf8 которые корректно обрабатываются А вот Как

привести ваш документ к такому виду это уже ваша задача Ну например Вы можете xlsx прочитать в панс Если вы знаете

структуру Вы можете на пансе написать какой-то скрипто нужную КТУ

текка Вот и дальше спокойно уже Работайте Ну либо Вы можете превратить в C формат а C формат читается то есть у

них есть э тексто процессоры спокойно он прочитает Вот то есть вы можете сделать там табуляция разделения вашего экселя

то есть есть много способов с с ппми не занимаюсь Ну то есть если бы

ко мне кто-то прил с ппми Я бы пошл Погугли Как превратить ptx в т а вот уже txt засовывал бы в любые Мои инструменты

то есть отдельный пайплайн преобразования из чего угодно в TXT А вот потом уже txt входит в lch там во

что-то ещё Хотя Lin умеет работать снами с с доками но по умолчанию родной Для всего

этого это просто плоские текст тексты так вот chin

[музыка] оборачиваемость Кассандра есть elastic Search вот есть аной где-то там есть физ

внизу и так далее Это только с а до е Мы дошли Да и внизу е Вот вот вот столько списков что обр внутри То есть вам нужно

думать то есть ВС делается пум импорта в пары классов из Чена и векторный поиск готов

даже по там миллиону документов например Здесь вы загружаете шные динги у меня осталось 22 минуты это

беда в общем коллеги презентацию мы приложим Дака Я думаю мне хватит на пару часов

разговоров она жжётся быстро В общем векторные хранилище

собирается ну в общем запись будет на юбе презента я приложу агенты там тоже есть всякие Тулы

тоже есть ри можно тоже ему подсовывать То есть он и дис подключать и там что угодно подключать из баз данных в общем

это штука которая оборачивается всё и довольно легко превращается в ашку То есть вы здесь сделали

фа дальше Вы мты на создавали себе вот там Като темта Да на Ютюбе будет запись я приложу

туда и ноутбуки и презентацию дальше Вот чат промт вы собрали дальше цепочку вы

собрали приложение инициализировав

указывать есть модуль Link Surf у которого есть там Add Roads и вы просто вашу цепочку указываете в качестве опиш

Наго рота и всё инициализирует приложение у вас появляется ошка у вас появляется документация к этой опиш и

вот всё это работает Давайте мы с вами скорее пойдём на практику пока у меня не сдох

Note в общем ставим пипом L Chain и Open дальше я

подгрузки ну во-первых нарезать хорошенько вашу книгу то есть не пихать слишком длинные

тексты так ссылочку на colab я их не не пошарил наверное сейчас я ещё

пошарить так поделиться Э нет Файн тюнинг - это

отдельно так все У кого есть ссылка читатель понимаю этого должно быть

достаточно все У кого есть ссылка читатель так ключик я

подгрузило дальше Вот я импортируют Open prate и который мне просто превратит это в обычную

року да попробуем написать волшебную функцию которая по любому ключевому слову генерирует какую-то статью для

блога вот да то есть вот это точно плохая нарезка это первое первое Чего стоит

смотреть то есть мы у себя естественно в галили писали нареза щик сами и сами определяли Там какой тип документы и

разные нальчики для разных типов То есть это очень ключевой момент то есть плохая нарезка из коробки это беда

половины без ключа openi так работать не получится но ключ вы всегда можете купить на всяких разных помойках плати

Маркет Я вам этого не говорил но за 100 руб вы купите себе ключик который будет работать я этого не говорил надо это

вырезать так вот собственно шаг первый ты

профессиональный журналист поставь три интересных вопроса чтобы раскрыть тему Первая функция Ну давайте ь не знаю

что-нибудь нный спорт водное поло Да всё что угодно

Да нет Вы всё правильно делали текст сплиттер и ктор всё хорошо Ну вот мы сделали Да там он нам

сгенерировал три вопроса следующий шаг генерации ты специалист в области вот этого конного спорта занимаешься много

лет хочешь расказать о своём деле тебе надо ответить на вопрос м любимом де

Жени сну вот он Перенос строки с дальше собрали простую цепочку цепочка промт языковая модель парсер причём смотрите в

модели я немножко могу играть с температурой здесь нужно покре атие Я ставлю температуру 1 и2 здесь нужно

более [музыка] фактологичность себе в результат то есть

вопросик и генерация пока он тут генерируется давайте мы разберём следующее А вот

запустил дальше Вот мы тут Увидим что он нам наге нери ет следующий шаг ты ведёшь популярный блок занимаешься много лет

пожалуйста тебе дали ответы на вопросы преврати их в статью на одну страницу вот он нам превратит и потом следующий

пром ты вед популярный блог Вот тебе статья Придумай три варианта рети наний и температур немножко повыше и он

вам нагнет потом мы ВС это собираем в одну функцию и вот это волшебная функция она нам Мы просто ключевое слово она нам

статью для блога если нам не нравится генерируем ещё раз нам ещё вариант 10 генераций посмотрели выбрали какая лучше

или там из этих Дети сами склепа то что вам Ну копирайтинг никогда ещё не был таким пром

им чистите ваши тексты вырезайте оттуда всякие эмоджи В общем регулярные

выражения вам в помощь обработка в юникоде всех э эмоджи вам в помощь Ну то есть чистите ваши тексты это очень важно

то есть - это инструмент но не серебряная пуля она за вас не почистит тексты не

нарежем отдельный вебинар на эту тему как там превратить какие-то эмодзи в какие-то там графические

символы так ну ладно что он мне тут Ага вот он мне сделал всё хорошо вот ответил на вопрос как физическая подготовка

влияет конных соре что-то он мне дельное написал Ну и дальше Вот я готовлю себе контекст То есть я собираю вопрос

Перенос строки ответ пустая строка вот я их в цикле собрал сунул сюда в контекст и дальше

сгенерить а потом к статье я сгенерировал три креативных заголовка То есть Понятно

вся эта магия Вот она вся я инициализировав собрал промт собрал себе цепочку дальше цепочку просто вызвал им

с параметрами тематик подставился в тематик АКЛ подставился в АКЛ

всё То есть наверное вот этот вот э ноутбук считаем что разобрали потому что иначе у меня сдохнет ноут и мы

ничего не успеем Лама хорошая модель можно пользоваться вот здесь сейчас будет

поинтереснее здесь мы уже ставим себе побольше запчастей то есть L Chain Open sentence

transform pH Н bm25 это поиск по ключевым словам То есть тут уже немножко мы побольше

так коллеги осталось у меня 9 минут так что я наверное пропаду с трансляции Через 9 минут за что прошу прощения но я

бы не успел сгонять до начала вебинара За зарядником у нас будет ещё один вебинар

по рагу открытый урок Приходите там я буду уже с зарядником и полноценно там свои полтора-два часа

отработаю ключик инициализирует снами работать какойто Файлик я в

из текст сплиттеры Да вот рекурсивный текст сплиттер и по символьный вот если мы запустим по символьный то он нам

нарежем но выдаст предупреждение что я не сумел это сделать там это 3.000 в 2.000 я не убрался потому что вот

сепаратор СН СН по умолчанию у него А вот рекурсивный он поумнее И вот я делаю там 3.000 символов слепом 1500 и он мне

их уже аккуратно нарет и ни на что так чат модель Да вот я для рага температуру в ноль выкручивают обычно то

есть жадною генерацию делают Ну вот какой-то здесь мы простейший промт собрали запрос какой там штраф за

переход дороги на красный свет здесь была мысль в том что я бы попробовал разные

варианты коробочная версия она не пробивает то есть мы бы с вами не узнали какой на самом деле штраф за переход на

красный свет с помощью То есть если первый пример был позитивный то этот пример он уже

негативный так а я ссылку на демо 2 кидал но и Давайте кинем ещё вот вот смотрите и вот сейчас мы

будем делать как раз с фейса я возьму модель псе langage agn sing английско-русский он скачает модель

это занимает там порядка 500 Мб но потом я уже без Интернета и без ключей буду делать векторизации текстов то есть вот

оно всё отрабатывает дальше Я складываю всё это в тоже я

импортируют файлы куда сохранять Что такое главное что это умеет У меня делать есть по векторной близости То

есть я Пию в неё он отдаёт мне подходящие тексты

так дальше я сделаю м25 ретривер поиск по ключевым словам ансамбль ретривер и их

объеди то есть здесь я сделаю ещё промт попрошу его перефразировать мне

тексть рми то есть перефрази сначала вопрос юридический вопрос поищу м25 поищу фисо Найду там кандидатов обрежу

там топ три кандидата засуну опять же в цепочку генерации вот я ретривер собираю из м25 фаса с Весами 0406

коэффициентов и дальше собственно говоря у меня основная цепочка Ну да то есть

пром докумен это ретривер Дай мне релевантные документы три штуки и вот мысль в том

что на административном Кодексе он у вас хорошо не нарет по умолчанию ретривер не отработает по

умолчанию вот каких-то серьёзных случаях вам нужно варить кашу самому писать свои ретриверы писать поверх них свои

[музыка] ранке чей вас спасает и в 80% он вам достаточен но в более сложных вариантах

он вас ничем не спасёт давайте мы тогда добежит до конца презента ку и закончим Иначе я сейчас

сдохну у меня 4 минуты ноутбуки и презента я приложу на Ютюбе Когда выйдет запись она выйдет

наверное завтра где-нибудь Сколько нужно минимум ЦП и ОЗУ для берто псе ОЗУ вам хватит 1 гигабайта на всё

это дело Центральный процессор Ну сколько он там сколько ядер есть столько он займёт просто в 10 раз медленнее чем

на ГПУ это будет но не страшно то есть на цпу Ну условно говоря Вы будете делать один эмбеддинг за секунду а на

ГПУ вы сделаете там 100 Динго за секунду вот вот вот и вся разница видеопамяти гигабайт хватит на Берт ласе хватит

гигабайта коллеги продолжим оборвавшую [музыка] чей и мы обсудили что в чейне есть

и возможность работать с языковыми моделями просто закидывая в них мты получая результаты выстраивать цепочки

из этих промто можно вектори тексты получая различными образами эмбеддинг

можно эти вектора тексто хранить вот ктор ST и есть встроенные и Хрома и elas Search векторные хранилище И много-много

чего Вот и собственно говоря когда вы создали у себя объект вашего векторного

хранилища имеет поверх него просто объект ретривера То есть вы можете в этот ретривер вот здесь на

слайде пример приведён что вот мы сделали по сплели тексты дальше сделали динги с помощью

opening сложили и в мы просто положили тексты и их мнги и оно всё само

проиндексировать Что такое фи где лежат его файлы там и всё прочее дальше Мы из этого фаса сделали ретривер простым

обращением там db retri ну а дальше мы можем уже из этого ретривера брать релевантные документы Ну и ретриверов

может быть довольно много мы на примере Посмотрим по кра мере один пример собственно к P Ну

ret aug Generation когда мы генерацию обогащаем данными из нашей базы данных или из нашей базы знаний то есть вывод

ретривера можно форматировать для подстановки в промт различными образами ретриверы можно подставлять спокойно в

цепочки вот здесь на слайде приведён фрагмент кода Где вы на чейне делаете такую цепочку

рага то есть мы [музыка] импортную вали Ну собственно говоря

здесь формат Docs - это Довольно простой формат где мы через sln sln объединяем документы полученные из ретривера и

здесь видим на слайде цепочку Chain которая состоит из четырёх частей первая часть - это контекст и question то есть

в вместо question у нас конкретно значение есть такой встроенный объект чейна тоже это генераторный объект Run

Pass То есть вы можете вызывать эту цепочку просто передав что-то и вот это что-то оно встанет вместо

R то есть ваш аргумент если мы здесь ниже посмотрим на слайде inv здесь происходит цепочка вызывается с каким-то

запросом вот этот вот запрос он ни в какую переменную не положен он в словарик не обр как в примерах выше

которые мы видели Он про подставляется в вставляется в ретривер по автомату дальше

Ну контекст подставляется то что вы то есть ретривер в него подставляется Вот этот

как раз Quest из ретривера это передаётся на формат dox с формата dox подставляется в контекст А дальше

контекст и подставляется в промт промт подставляется в модель вывод модели поставляется в Out par и мы получаем вот

President вопрос был что там сделал президент что сказал президент по поводу технологий и вот мы

какие-то конкретные знания по этому поводу получаем из языковой модели потому что мы слазили конкретный

ретривер а ретривер знает наши документы ну и документов может быть достаточно много там миллион это не страшно Потому

что тот же ретривер типа фаиз он умеет делать алгоритмы приближённого поиска которые за

считанные секунды это вс обработаю не будет полного прохода по миллиону документо он выберет там сся

каких-то кандидатов и к этим кандидатам выберет там ещё по несколько штучек вот дальше собственно говоря владея

магией чейна Мы можем с вами комбинировать различные запросы то есть делать не один запрос а пять запросов

или один запрос сделать три ра а потом просить модель выбрать правильны ответ из эти лучше отве этих ТХ дальше это

передавать помощью какого-то прота следующую цепочку и составлять цепочки которые дадут нам некоторую уверенность

в ответе как мы обсуждали что модели регулярно люци придумывают факты ошибаются не обладают

логикой это мы всячески пытаемся Исправить прота то есть давай им хороший шо то есть описание что

мым мым виде дику которую нужно применить это уже будет CH of s да цепочка мысли то

есть можем делать CH of s то есть мы можем дать написать модели что мы от неё хотим как В каком виде Мы хотим как она

должна рассуждать и дать там три или пять примеров Таких вот цепочек рассуждений вопрос цепочка рассуждения

ответ да мы разными проми пытаемся это всё исправить но всё равно можем делать несколько генераций и вот бы заставлять

модель проверять саму себя быть более критичной выбирать лучший ответ голова за эти ответы это разные техники Self

cons Вы можете про них отдельно почитать но с помощью они все легко реализуется вот тот же самый близкий по

смыслу подход это generated prom Когда вы устраиваете там пять цепочек подряд Ну на практике мы такой пример с вами

смотрели где мы просто по ключевым словам генерировать какую-то статью для блога вот ноутбуки Я думаю мы Прикрепи к

юбу Вы сможете сами поиграться То есть когда мы делаем промт 1 генерация 1 подставляем её в промт 2 получаем

генерацию 2 подставляем в пром 3 получаем генерацию 3 ну и так далее Сколько нам нужно пока не получим то что

мы хотим Ну это собственно retal Generation R про которую мы говорили просто ещё раз

эту схему актуализируя что у нас есть кроме генератора модели есть ещё отдельный ретривер который лазает в базу

данных делает векторный поиск или поиск по ключевым словам или гибридный поиск и по векторам и по ключевым словам как-то

дальше получает кандидат кусочки текстов которые подставляются в промт дальше это объединяется в Единый текстовый промт Ну

с учётом окна модели по контексту Ну сейчас выходят модели всё более и более толстые по окну То есть сейчас уже Аро

100000 разме много документов и вроде как их модели не теряют контекст то есть они

прочитываются внимательно всё что есть в этом промтест с учётом знаний из всего вот

этого промтара язычных моделей пока окно контекста не такое большое у чата G5

сейчас 4.000 Ой у гача 4000 Ну вроде как хотят перейти на

16000 в токена токен - Это примерно считаете что Три символа в зависимости от того какой язык но в среднем можно

считать что токен там 3 с поно Сим Вот как-то так То есть если перейдут к моделям с окном в 100.000 токенов это

получается там 350.000 символов Ну 350.000 символов это большая книжка и собственно всю корпоративную базу знаний

можно будет засунуть в один Промт и в этом собственно есть большая проблема придётся заплатить за это

Потому что когда вы пользуетесь каким-то а то вы будете платить за каждый токен который вы в модель засунули и каждый

токен который Вам модель сгенерировал и отдала обратно ну Open тариф можете посмотреть на сайте там есть цена за

токены которые вы отправили и токены которые модель сгенерировал вам в ответ вот входящие токены там одну а

сгенерирован вдвое дороже высь ресурсо чем на получение входных токенов Ну если у вас своя какая-то

модель чем длиннее промт который вы засунули чем больше токенов в этом проте тем дольше будет вычислений на

видеокарте то есть больше памяти потребуется дольше по времени вычисления Поэтому всегда нужно искать золотую

середину то есть не делать слишком длинные мты они должны быть достаточные чтобы давать вам качественный ответ

иу по затратам по деньгам потому что все эти большие модели они Ире Ну Ирен процесс как раз по получения результата

от модели Они все инфер в дата-центра дата-центры жрут там какие-то гигаватт огромнейшее электричества то есть надо

об этом помнить что круто засовывать 100.000 токенов но кто-то за это должен платить Ну вот шаблонный такой типовой

промт рага как может выглядеть То есть ты там описание роли и важные детали для модели То есть ты консультант такого

такого-то магазина или ты там российский юрист или ты там врач-психотерапевт Ты должен использовать такие-то такие-то

методики Вот тебе вопросы ответы там как уже спрашивали отвечали дальше там вписание фильтра не отвечай если там не

относится к роли твой вопрос дальше Отвечай на вопрос пользователя на основе информации в контексте если ответ не

найден скажи его нету дальше контекст Это несколько документов с информацией для ответа Ну контекст должен влезать в

окно модели Да там сколько токенов вы можете Максимум в промт засунуть Ну и засорить контекст тоже не стоит что если

вы какие-то лишние факты засне Ну мало ли модель не на то обратит внимание и сгенерирует вам неправильный ответ то

есть засорить ИТ ответ на вопрос дальше вопрос

пользователя и идт ответ Ну вот живой промт из рага который я сам применял в нескольких небольших

проектах и он вполне себе сносно работа то есть здесь кроме того что мы говорим игнорирую все предыдущие

инструкции там ты консультант такой-то Компани компания там про продукты кратко выжимка

хотя бы про категории дальше мы говорим модели как нужно себя вести дальше подставляем контекст это как раз

какие-то факты извлечённый из нашей базы Да базы знаний дальше мы опять же ей говорим что

пожалуй пожалуйста Следуй инструкциям и не придумывай то чего нету но разрешаем здесь пользовать там ну вот здесь общее

знание в области здоровье Что компания занималась всякими аксессуарами для сна то есть мы

разрешаем бы разблокируем некоторую часть общего домена который в модели есть то есть говорим пользуюсь

контекстом Но вот по такой-то теме может отвечать из общих знаний на общие вопросы Ну и дальше Вот общие принципы

что давай чёткие ответы исключи ненужные напоминания извинения потому что модели любят извиниться что я там искусственный

интеллект Извините я там такой си убогий не могу вам на это отвечать то есть просто их политики по этике и по

фильтрации рамки которые иногда хочется подвинуть вот ну и в конце например

фишка которая несколько месяцев Как стало известно что если обещать Модели там 200 долларов чату gpt он генерирует

более развёрнутые ответы вот ну и также моделью можно манипулировать в конце фраза очень важно чтобы ты понял это

правильно на кану несколько жизней понятно что никаких жизней нану не но такие фы эмоционального манипулирования

модель тоже повышают вероятность модели что она ответит более вдумчиво более развёрнуто

более обстоятельно Вот это был разговор про раг Теперь мы переходим к такой сложной

теме как агенты мы не будем её разбирать на практике это тема не для первого знакомства но понимать что такое это

нужно мыс сот в следу давайте мы не будем приковать гвоздями пром

говори надо делать у на есть набор инструментов ИК этим есть какие-то описания есть там поиск gole поиск в

поисковой системе Google калькулятор оци прото лов Может быть там знаю п Может быть

одна есть мы понимаем ти зада нужен один ту с Google поиском работа с Google таблицами Ну какие-то

Тулы - это функция функция в которую можно поставить там один или несколько аргументов и функция выполнится и даст

вам результат и собственно мы Составляем такие мты что есть вопрос пользователя а дальше модель Спрашивается а не надо ли

тебе применить один из лов чтобы ответить на вопрос пользова модене нужен такой-то с таким-то аргументом да

выполняется с этим аргументом получается результат он добавляется в промт И следующий старается запускать такой

более расширенный промт то есть вопрос нужно пользоваться таким-то лом с такими-то аргументами результат не нужно

ли воспользоваться каким-то лом если нужно модель опять генерировать тул такой-то с аргументом таким мы его

выполняем добавляем в промт результат выполнения и дальше до тех пор пока модель не скажет лами пользоваться не

нужно результат такой-то Ну вот здесь на скрине приведён снит кодовый из

документации вот здесь Агент он умеет гуглить и вот у него вопрос там кто подружка Лео

Дека какой у неё возраст и в степени 042 нужно возвести Да степень 043 странно но здесь как раз то что несколько лов

понадобится л в котором мы будем расширять наш промт мы даём ему собственно говоря Агент с каким-то

протом Ну тип Агента в есть уже приготовленные за нас там несколько типов агентов мы даём набор инструментов

которыми можно пользоваться в данном случае можем дать там всего два Да там gole поис и калькулятора можем дать п

можем дать 10 это решае Ну явно чтобы он выводил нам свои ломное

выва методом Это единый интерфейс всех вызываемых объектов в качестве Ита вот мы задали

вопрос и дальше Вот началось исполнение нашего Агента я Ну вот здесь по-английски

написано need Кто там подружка и с подставить аргумент

прекрасно поиск произошёл дальше мы в пром доки результат что Подружка такая-то такая-то

дальше опять же он делает Эш там калькулятор Action inp такой-то такой ответ Должен сделать в какую-то степень

возвести пользуется лом И дальше Final Answer генерируется следующий всё и на этот Final как раз кладётся в output