Как использовать языковые модели для юридической практики
Heads up!
This summary and transcript were automatically generated using AI with the Free YouTube Transcript Summary Tool by LunaNotes.
Generate a summary for freeIf you found this summary useful, consider buying us a coffee. It would help us a lot!
Введение
Дорогие читатели! Сегодня мы погрузимся в мир языковых моделей и обсудим, как современные технологии, такие как GPT и другие, могут быть применены в юридической практике. С помощью этих инструментов можно не только упростить процесс обработки информации, но и улучшить качество ответа юристов на запросы. Сегодня мы рассмотрим, что такое языковые модели, как они работают, и как можно создать чат-бота, выступающего в роли юриста.
Что такое языковые модели
Языковые модели (ЯМ) — это алгоритмы, которые, используя большие объемы текста, учатся предсказывать следующую часть текста на основе предыдущего контекста. То есть их задача — выдавать наиболее вероятные слова или фразы, исходя из уже имеющейся информации. Важно отметить, что ЯМ используют парадигму токенизации, деля слова на составляющие символы, что помогает повысить точность предсказаний.
Основные аспекты языковых моделей
- Предсказание следующего токена: на основе предыдущего контекста модель предсказывает, какое слово или токен следует дальше.
- Обучение на больших объемах данных: языковые модели обучаются на обширных наборах текста, включая научные статьи, художественные произведения и интернет-ресурсы.
- Адаптация под различные задачи: после базового обучения модели могут быть адаптированы по запросам пользователей для решения различных задач, включая юридическую.
Как языковые модели могут помочь юристам
Некоторые юридические задачи, которые могут быть облегчены с помощью ЯМ:
- Автоматизация рутинных задач: Составление стандартных документов, таких как контракты и соглашения, может быть оптимизировано с помощью генерации текста.
- Консультирование клиентов: Чат-боты на базе языковых моделей могут давать первичные консультации клиентам, отвечая на распространенные вопросы по правовым темам.
- Поиск по законодательным актам: Использование ЯМ может помочь юристам быстрее находить необходимые тексты и аннотирование статей закона.
- Обогащение знаний: Языковые модели могут использоваться для создания справочных материалов и руководств для юристов на основе актуальных правовых вопросов.
Примеры применения технологий
Современные технологии являются мощными инструментами, способными значительно упростить и ускорить работу юристов. Примером служит промт-программирование, когда пользователи задают вопросы, а языковые модели генерируют правовые тексты, отвечающие на запросы.
Чаты, основанные на языковых моделях
Основы работы чатов
Создание чат-бота — это один из прямых способов применения языковых моделей в практике. Чат-бот может выполнять следующие задачи:
- Ответы на специфические вопросы пользователей.
- Предоставление информации по актуальным правовым вопросам.
- Направление клиентов к юристам для профессиональной помощи.
Пример создания чат-бота
Создание чат-бота, использующего GPT, начинается с разработки подходящего промта. Например:
Ты — юрист, который помогает клиентам в области семейного права. Отвечай на вопросы по правилам развода, алиментам и опеке.
Этот простой промт задает модель в нужную рамку, позволяя ей оставаться в контексте заданной темы. Такой подход обеспечивает правильные и уместные ответы, что важно для удовлетворения потребностей клиентов.
Augmented Generation (Аугментированная генерация)
Augmented Generation — это стиль работы, при котором языковая модель соединяется с базами данных для извлечения необходимых данных, которые помогут формировать более точные и полные ответы. Это может быть полезно, когда речь заходит о специализированной информации.
Как настраивать Augmented Generation
Для улучшения качества ответов на специфические юридические вопросы, например, можно:
- Подготовить базу данных с юридическими справками и прецедентами.
- Создать API, который будет взаимодействовать с моделью, извлекая данные в реальном времени.
- Настроить обращение к базе, позволяя языковой модели «проверять» свои ответы.
Заключение
Языковые модели становятся важным инструментом в арсенале юристов, позволяя ускорить их работу, повысить точность и обеспечивать качественные ответы клиентам. С развитием технологий возникает все больше возможностей применять их в юридической практике, и этот тренд продолжит набирать популярность в будущем. Применение языковых моделей в юриспруденции — это шаг к автоматизации, который несет в себе значительный потенциал упрощения работы адвокатов и юристов.
сбе мы пытаемся заставить гача стать юристом и даже лучше Вот сегодня мы даже немножко поиграем в игру Сделай чат гпт
юристом и посмотрим что у нас из этого получится Вот мы поговорим Что такое языковые модели сегодня посмотрим что
такое библиотех компонентов онат покуем обсудим что Тае aug Generation когда мы подсовывают знания из нашей базы знаний
ОТС имеет лицензию большое количество направлений и курсов Ну я работаю только в ДС направлении но все дные курсы
выпускников Некоторые из них даже уже в Сбере со мной работают в галили вот на курсе NP была девушка сейчас она уже у
нас промт инженером работает в проекте Напишите пожалуйста в чат Если вы уже учились в тусе это единичка два если не
учились и три если впервые знакомитесь с осом вот эту статистику продуктолог соберут и куда-нибудь обязательно
используют так Ну теперь давайте к делу собственно про языковые модели это очень простая штука она началась с того что
давайте свать следующее слово по предыдущему Ну вот например мама мыла и все русские скажут раму Да потому что
все знают Мама мыла раму если я пошл в магазин купить то уже сложнее то есть следующее слово предсказать Ну
невозможно да То есть можно много чего купить в магазине картошку молоко памперсы пиво там всё что угодно вот и
если мы заставим какую-нибудь модель предсказывать следующее слово она с этим плохо справится и в целом со словами
Ну то есть какие-то кусочки символов то есть слова разбиваются на какие-то в языке известные компоненты Да там
приставки суффиксы корни и вот мы можем предсказывать следующий символ следующий там два-три символа он токен и размер
словаря порядка там 50.000 этих токенов и вот мы по любому тексту пытаемся предсказывать следующий А когда мы
учат просто на текстах предсказывают следующий токен Да там скармливают им всю Википедию все художественные книжки
все там хорошие примеры кода Соф и модель просто умеет продолжать следующий токен дальше э моделит обу на
неких примеров на Корее вопро такой пря кусочек текста ты асин ну ell искуственный интеллект твоя задача
давать людям полезные ответы и дальше просят что-то напиши рецепт торта Сочини стихотворение Ответь как добраться до
там куда-то и вот когда на нескольких сотнях тысяч модель изначально обученную На огромном корпусе текстов все книжки
все научные статьи весь код СБА и все отве вот вся э штуковина больша кото умеет продолжать фразу когда её обучают
на нескольких сотнях тысяч инструкций отвечать на вопрос делать что-то полезное Ну условно Говорят что в модели
разблокируется знани то есть возникает такой артефакт что если мы в модель пих с этим протом ты полезный искусственный
интеллект Ответь на вопрос какой-то текст Да там придумай мне сочинение про то как там Пушкин что-то про Евгения аги
Ну неважно что любой вопрос Если модель это знает в своём трейне То есть она видела тексты она вам выдаст какой-то
ответ правдоподобный и вот тут возникает жуткая Жуть эти модели начинают Отвечать по любому корпусу знаний который у них
есть там как создать ядерное оружие Как лучше ограбить банк Как отравить соседа там Как вскрыть чужую машину Ну если в
текстах это было в каких-то художественных романах там или в Хрониках каких-то уголовных а моде это
видела она начинает честно отвечать на вопросы на основе тех корпусов текстов которые она видела Она видела можно
сказать что весь интернет То есть как это шутят что Open аккуратно спарс весь интернет И теперь продают его вам по 20
баксов В месяц вот ну после этого переходит к Al Models это уже подогнаны модели Там модель в модель начинают
закладывать какую-то логику какую-то этику требования к развёрнуто ответов чтобы она там развёрнуто
их давала не то что Да нет фильтрация тем что она отказывается отвечать там про там химическое оружие там про какие
неэтичные темы закладываются цензура в модель и так далее Вот как это делается делается ещё несколько десятков тысяч
генераций модели Да там её спрашивают на какие-то спорные темы табуированные темы просто на какие-то темы это всё ручками
люди размечают это хорошая генерация это плохая генерация и дальше обучают ещё одну модель оценивать генерации и
запускают Ну то что называется обучение с подкреплением модель начинает генерировать модель критик оценивает
генерацию как Хорошую или плохую и внутри модели вот этой предсказываю следующий токен там как-то меняются
параметры и вот в итоге мы получаем Mod то есть подогнаны модель в которой есть некоторая логика некоторая этика
некоторая развёрнуто ответов требования к понятности ответам к фильтрации вопросов ответов к самоцензуру и вот
общаться Вот как проверяют что абот хороший и достоин общаться с человечеством его можно положить в А да
там что Яндекс выпустил Яндекс gpt значит у него есть языковая модель которая просто предсказывает по вот
вашему кусочку текста следующий токен токен токен токен Но вот эта генерация обладает некоторым набором
свойств перед выпуском моде проверят общую логику наличие фактических знаний Нае рассуждений в них умение извлекать
факты из предложенных текстов там навыки базовой арифметики и навыки базового написание каких-то простых программ на
жава скрипте на питоне то есть условно модель прогоняют по программе ЕГЭ и если она сдала ЕГ Ну там специальными пронта
то есть Представь что ты сдаёшь там экзамен Вот тебе там какие-то несколько там фраз вот вопрос и ты должны дать
ответ Если генерируется правильный ответ там в 80% там сколько сейчас ЕГ для сдачи Ну всё модель
прошла тесты Ну сейчас есть современный тест вот недавно новый тест мера от сбера вышел Ну в общем есть
методики Как мерить и если модель нормальная адекватная То есть она генерить правдоподобные ответы и
наружу Вот какие сильные модели можно использовать нуно самая популярная и сейчас самая можно скать сильная модель
- это gpt ну или gpt 4 от Open в англоязычном мире это есть ещё КД от арока осные модели сильные это Лама и
подключаться из своих проектов А ламу и Мистраль Вам нужно будет где-то хостить на каких-то своих компьютерах на
серверах чтобы уже производить вычисление вот этого следующего токена Как насчёт бар от Google я не знаю я с
ним не работал я не ресечер то есть Я сейчас работаю в основном с гача там немножко мы сравниваем с Яндек gpt и см
сжт е одна сильная моде сегодня увидим их гора целая тележка забита и можно попробовать любую
что важно понимать начиная этим всем заниматься что все модели регулярно врут прям врут выб Спросите она вам сделает
текст тся модели критику моде критик тоже ничего не знает про реальность разв логично правдоподобно плюсик Вот то есть
модели регулярно лицинию они придумывают факты которых нет они искажают факты которые есть они имеют искажение в свом
могут име достаточно примитивную логику внутри себя вот прямо как из коробки Вы е что-то сказали потом спросили и не
факт что она правильно про интерпретирует факты то есть рассуждение Типа если а сын б вы Спросите кто
родитель а модель вам не скажет Ну то есть они вот очень много человеческой логики не умеют но мы сегодня обсудим
как эту логику в них можно засунуть с помощью разных промто вот ну и самое главное что модели
так нет когда мы с вами работаем Мы работаем просто с вот вопрос в чате что и состоит как минимум из модели критика
и модели знания когда их обучают Да там есть и модель знания и есть модель критик но когда вы работаете вам
выставляют в апе просто модель знания То есть вы ей слово она вам То есть вы ей там 300 токенов она вам в ответ 200
токенов и всё просто текст вы в неё текст она в вас текст вы в неё текст она в вас текст а вот как получать
то есть закладывать в них там и логику и знания и всё прочее но мы сегодня в ходе вебинара что-то увидим
Вот теперь прежде чем мы опять же перейдём кмм и вот нам нужно сдать некоторый фундамент и вот фундамент это
раз генерация то есть мы ей токен Да она нам следующий токен но после каждого токена у этой модели есть какое-то
подмен раньше работала А сейчас там Ошибка Подключение капи значит у вас либо токен протух скорее всего Либо вы
какие-то лимиты нарушили либо какую-нибудь может быть политику то есть надо посмотреть какую ошибку вам
возвращает это AP и написать в компанию провайдера посмотреть у них документации либо написать в чат поддержки у меня
такая-то ошибка что мне делать Ну если это чат гпт То Либо вы обращаетесь там в модель у которой сейчас перегружены
забанило Россию и поэтому сейчас я вам условно говоря буду показывать не то что планировал изначально вебинаре что мы
сделаем какой-то рак поднимем своё приложение Нет я не могу это сделать локально потому что Россия забанена это
нужна какая-то Росси машина вне контура России поэтому я просто на Google клабах покажу учебные примеры Вот то есть вас
могли забанить Так давайте пойдём пока Дальше по логике вебинара то смотрите Вы дали модели
токен или набор токенов вопрос После этого токена может быть 500 токенов с разной вероятностью то есть вот здесь в
пример там Z Dog вероятность 04 най вероятность 0,5 Car вероятность 01 куда идти Вот первый способ жадный когда мы
идём в самый вероятный токен The Nice Woman да то есть зде самая большая вероятность Но если бы мы пошли the Dog
has да Собака там что-то имеет вероятность была бы больше потому что здесь мы 04 потом 0,9 и По
правилу цепочки вероятности Они умножаются то 04 на 09 - Это больше чем 05 на 04 То есть у нас всегда есть
вопрос как мы будем выбирать следующий токен У нас есть просто распределение вероятности и вот самый такой простой
способ - это жадная генерация когда мы говорим самый вероятный токен на следующем шаге и идм по нему топ топ топ
получили какую-то последовательность символов токенов это превратилось в символы и нам текст выдали второй
вариант генерации - это лучевой поиск То есть когда вы идёте и идёте не в самый вероятный А в несколько самых вероятных
выпусти проверили самые вероятные вот ите и ите тащите несколько вариантов можно делать лучевой поиск на там 5 на
10 некоторые А это позволяют но с вас тогда и больше денег возьмут что вы будете просто больше токенов в процессе
презентация спосо это понора популярная - это жадная генерация и вот следующий способ генерации - это
называется сэмплинг когда мы случайным образом выбираем следующий токен из распределения вероятности то есть вот
что-то с вероятностью 0,75 023 002 Ну О'кей выпал сейчас самый вероятный на следующем шаге вот у нас есть сколько-то
вероятностей мы кидаем условно говоря кубик куда он выпал тот токен и берём вот с вероятностью 02 выпал слово хаос и
идём дальше Вот это семплинг и когда мы делаем сэмплинг У нас есть некоторый трюк который называется
сэмплинг с температурой вот если у нас здесь слева реальное распределение вероятност как мы следующие токены
предполагаем вот какой самый вероятность чуть меньше вероятность и так далее вот дальше мы можем это ние немножко
отдам на самых вероятных вот здесь написана формула трюка с вероятностями я не буду её объяснять это не тема
02 05 а все маленькие подрастут То есть у нас более вероятными станут более разнообразные токены следующие то есть
повысится вариативность нашей генерации То есть если вам нужна высокая температура там больше единички то вот
получится что-то такое если низкая температура ниже единички то получается что-то вот такое Температура
поэтому Когда например вы вытаскивает какие-то ваши знания из базы знаний и вам нужно чтобы модель отвечала с учётом
э знаний контекста вы выкручивается температуру до нуля Если вы хотите чтобы вам модель давала что-то более
разнообразный то есть более креативный Вы можете поставить там температуру единичка или даже там 1,1 Ну рабочий
диапазон температур от нуля до полутора условно но у разных моделей по-разному то есть где-то 1,1 где-то 0,8 0,9 1,2
вы её размазывает по всем чем температура меньше тем больше вероятности Вы сосредоточивается у самых
вероятных и следующие наше параметры как раз генерации кроме температуры Это топ P топк и repetition penalty то есть вот
тип сэмплинг гди или Beam Search Но обычно это всегда сэмплинг по умолчанию стоит во всех опиках температура стоит
например единичка а топ P топк и repetition penalty вы можете указывать сами топк это вы берёте самых на каждом
шаге там допустим топк 30 значит 30 самых вероятных токенов вероятность по ним перераспределяется Согласно их весам
и вот выбираете на каждом шаге только из тридцати самых вероятных топп - это когда вы самые вероятность складывайте
их вероятности до тех пор пока не станет больше чем топ То есть например топп 01 это значит только 10%
вероятности вы оставляете и среди вот этих токенов Кто в сумме набирает 10% от самого вероятного и вниз ровно среди них
вы выбираете тот которого вытаскивает из мешка эти параметры генерации они сильно влияют на то как модель будет себя вести
кусочка прежде чем мы перейдём к самому сам прон то есть мы засовывали какой-то текст на которой она нам генерирует
следующий текст И вот как мы этот текст будем засовывать это и называется пром то есть промт - это текст который мы
засовываю в модель то есть входящий текст первичный который мы мы написали причём мы можем писать не одно сообщение
а Целый диалог там я спросил ты ответил Я спросил ты ответил Я спросил И вот на это ты уже пожалуйста мне ответь то есть
модели обучаются и на диалог то есть продолжать диалоги тоже Ну и разные подходы к пром этого просто продолжение
текста Z SH это когда мы не даём примеров что мы хотим просто хорошо объясняем модели ты там модель придумай
мне три варианта креативной статьи на такую-то тему Объясни почему ты это выбрала Вот это Z Shot One Shot это
когда мы ей показываем хотя бы один пример что мы от неё хотим то есть мы описываем там кто ты такой что я от тебя
ьшт когда мы показываем несколько примеров ученов сот это цепочка мыслей когда мы показываем не вопрос ответа
прямо рассуждение то есть модели сами по себе они достаточно глупые А вот когда мы показываем ей как надо рассуждать в
конкретных случаях она начинает уже эту цепочку рассуждений применять и к нашему вопросу и скорее всего правильно его
воспроизведён есть техники по sfcc когда мы заставляем модель себя перепроверять например сделали там три
генерации попросили выбрать лучшую или сделали генерацию просим там а подумай-ка а провали ты ну то есть либо
в диалог заставляем модель критически оценить то что она уже сгенерировал либо делаем несколько генераций и опять же с
этим работаем выбираем луше дальше есть техни не задаём вопрос и сразу берём ответ А сначала задаём наводящий вопрос
а потом к нему там то что сгенерировал ещё как-то используем Ну вот я сегодня покажу пример на практике Как просто по
ключевому слову генерировать целую статью для блога да то есть мы попросим модель э сначала поставь на эту тему три
вопроса как будто ты хороший журналист потом Ответь на эти три вопроса как будто ты хороший Эксперт в этой теме
потом из этих трёх ответов Сложи готовую статью на одну страницу для блога такой-то тематики
а потом к этой статье придумать три варианта креативных заголовка вот ну и техника это когда мы в промт по вопросу
пользователя лезем сначала в какую-то базу знаний вытаскиваем оттуда кусочки текстов подставляем в пром говорим ты
отвечаешь на вопросы вот те кусочки знания пожалуйста Не придумывай Ответь только на них И вот
работают модели это видели они умеют повторять цепочки рассуждений они умеют делать по аналогии они умеют умеют
извлекать факты из текстов они умеют обобщать тексты сумма там выделять основную мысль наоборот
рассказывать по какому-то поводу длинную историю то есть в обучающих датасета у моделей всё это было То есть вы их тут
не Удивите они отработают хорошо Ну и собственно для чего это можно использовать для ответов на
вопросы для генерации идей можно делать суммации текста там краткие заметки какие-то по там встрече
по чему-то генерировать креативный контент статьи объявления всевозможные делать ролевые генерации например
довольно кстати хорошая штука когда вам нужно для какой-то целевой аудитории оценить ваш контент есть как
ОНТ же из такого-то города таким-то хотим Что ты думаешь по поводу такого-то текста напиши там три тезиса Почему тебе
понравится Почему тебе не понравится и модель действительно е хорошая модель она вам напишет если она видела тексты
тинейджеров такого типа вот модели могут использоваться для поддержания диалога перевода на другой
называют фреймворка которая хороша тем что она всю вот эту магию работы с языковыми моделями прячет под
имеет обёртки поверх всех моделей то есть Какую бы вы хорошую модель вы не взяли Вы можете просто из чейна
импортную все одинаковый интерфейс вы даёте ему промт и всё он генерирует ответ А что с этим ответом делать это
можете брать там ваши данные из там Чего угодно постгрес Мон db mysql msq кликхаус оракла Чего угодно дальше эта
штука имеет обвязки к куче поисковых систем то есть вы можете там и гуглить с помощью неё и Яндекс и Чего угодно Ну
про Яндекс не уверен но гуглить точно и эта штука имеет готовые обёртки для всех техник промпто мы с вами
много и работают они все примерно одинаково то есть вот вы говорите From Link Chain либо LMS вы импортирует
модель вот здесь Open ai либо Chat Models импортируйте Chat Open В чём разница между моделями просто LMS и Chat
Models тем что в LMS вы кидаете текст Нам его продолжает А в Chat Models Вы можете кидать Э целый диалог системный
промт какой-то задающий роль вашей модели И с какой роли она будет с вами общаться то есть там ты журналист ты там
угодно дальше юзер там сказал система ответила юзер сказал система ответила юзер сказал пожалуйста сгенерируйте
основной параметр токен доступа к дальше Вы можете задать ей там тип модели температуру топк вот все параметры
настройкам диалог в виде сообщений То есть просто новский списочек То есть это пишется на языке
программирования syst mess То есть это встроенные объекты то есть вот вчене вы нигде не работаете с внешними
библиотеками Здесь всё обр в объекты Чена то есть что бы вы не захотели вам нужно просто импорт нужный объект
посмотреть в документации Какие параметры он принимает чего он вам возвращаете зависимость и всё прочее
если чего-то не хватает он вам гнётся вы это пипом себе доставили нужную зависимость дальше оно опять же всё
обёрнутый вам не нужно быть ДС инженером веб-разработчиком кем угодно просто одна библиотека
оборачиваюсь так вот когда вы общаетесь с чат моделями У вас есть всего три типа сообщений системный
меседж вот здесь он довольно простенький там ты полезный ассистент но можно задать любой системный например Ты юрист
по там бракоразводным процессам ты работаешь с тем-то тем-то тем-то Вот тебе примеры рассуждений А дальше диалог
уже пользователя с Агентом идёт дальше идёт Human mess это то что пользователь пишет И вам возвращается I
mess То есть три три типа сообщений системное пользовательское и от вашего ассистента и дальше когда у вас есть
набор сообщений которые заканчиваются каким-то Human месед можем вы этот чат эту модель которую мы
создавали на предыдущем этапе вот здесь ну здесь на скрине он просто называется чат Я из документации скри делал у всех
у них ровно один метод inv Ну с английского переводится как вызов призыв да то есть вот модель
вся капотом openat gpt gpt Lama или что-то ещ вам знать особо не нужно Вы просто нужную модель вы вытащили вот
пароль токен если надо написали температуру там есть Ну вот я скопировал что-то вот с гитхаба просто список что
там есть пожалуйста Яндекс есть Ома есть Open есть чат есть даже уже by модели арок есть то есть что бы
из и всё работает вот теперь давайте про проты то есть следующая концепция после моде этом текст которы моде отда
две фигурные скобочки это переменная которую вы будете подставлять вот ну все программисты знают что такое
шаблонизатор Ну в данном случае вот просто строка и в двух фигурных скобочках какая-то переменная которую вы
переменные всё они подстав в нужное место потом это всё полетит в модель И вам вернётся сообщение с генерацией
моделей Вот это промт был простой просто строчный можно сделать промт диалоговый то есть опять же три типа сообщений
система человек ассистент потом вы делаете промт Ну человеческое сообщение в ответ на которое вам прилетит аиш
делать точно также вы подставляется внутрь вот эти переменные где нужно и потом вы просто на этом вызываете
такие короткие как я показал А длинные то есть вот там внутри чейна в некоторых местах они прямо уже
забиты чтобы Вам не думать примеры вопро это промт агентский когда модель на каждом шаге думает А надо ли ей задать
ответ вот это получается такой юш Chain of SS то есть несколько примеров цепочки рассуждений То есть как модель должна
рассуждать несколько примеров потом влетает ваш вопрос и модель уже сама начинает генерировать себе по шаблону
случаев вот строить мты - это отдельная история и поищите видео на эту тему может быть ОТС сделает открытый урок
такой потому что на курсах мы этому учим Я такие вебинары проводил просто в открытом доступе их сейчас нет но
это когда вам вернулось сообщение вы хотите его из объекта ан mess превратить просто в строку вот парсеры вче разные
их там забито достаточно большое количество например Вы можете Разобрать генерацию по запятой там разбить сделать
обработать снова превратить в J там можно обрезать по новой строке но самый частый тип output парсера - это просто
string output parer который не делает ничего он превращает вернувшееся вам сообщение просто в обычную
строку Ну вот здесь сделан пример из документации где мы берём comma separated list output parer То есть он
ноль мы сделали то есть не креатив вообще А давай самый жадный самый вероятный токен и дальше сказали
пожалуйста I Cream то есть вкус и Мороженки модель у нас отработала на этом инпуте АТ парсер про парл результат
далее Куда за пределы библиотеки и вот собственно вся магия как она работает то есть вы задаёте
промт вы инициализирует модель с какими-то параметрами генерации вы определяете парсер вывода дальше Вы
создаёте цепочку которая состоит из трх элементов промт модель парсер вывода и собственно Всё вы получаете результат
это вызов цепочки на каком-то входном тексте Вот пример с кодом здесь опять же привед есть у есть
то есть мы по запятым бьём здесь мы даже пере определили То есть можно пар переопределять если надо
вот написали наш промт То есть ты там полезный Ассистент это видимо системный будет кусочек это
ничего человек вводит какой-то предмет дальше мы создаём цепочку вот прямо через вот такую вертикальную черту это
они прямо свой специальный интерфейс написали назвали его lcl L Chain Expression Language не так давно
это дело у них обновилось Поэтому если вы будете смотреть записи этого вебинара через полгода может быть
что-то другое уже в библиотеке по что действительно очень быстро меняется Вот это новшество последнего квартала не
было там летом ещё никакого LC там и весной не было Вот то есть вы создали цепочку где есть промт модель парсер
Слово то есть Дай мне несколько цветов и вот он м генерирует То есть просто вот что будет результатом вывода вот такой
Chain invoke результат который даст нам output парсер Red blue green то есть ровно пять штук и ровно
цветов Вот теперь что делать если мы хотим учитывать какие-то всё-таки свои данные потому что модель она штука
тяжёлая каждый день новую модель Вам никто не будет обучать то есть сделать такую одну заварку модели - это полгода
работы ну минимум там квартал То есть пока вы базовую модель обучили на всех текстах там интернета заново то есть там
каких-то но свежих новостей напихали свежих статей с Википедии свежих законов там откуда-нибудь взяли с правовой базы
Ну за квартал этого накопилось потом вы всё обучили это большие вычислительные мощность там целые кластера сотнями
очень мощных видеокарт если не тысячами обучила потом вы запустили это заново на инструкции потом после
инструкции вы заново запустили это на и вот это это занимает условно говоря квартал выпустить новую версию модели Ну
обновляют вот а вам-то хочется чтобы она знала свежие данные вот брать открытые модели Файн тюнить э Да можно но это
дорого То есть если мы говорим про использование это вот какие-то скорее всего опиш готовые модели это кра L
Chain который всё это оборачивается в себя а вот если вы хотите тюнить это уже как раз NP инженеры донгов доберёмся
сегодня будут попозже Вот то есть тюнить модели - это не Это совершенно другая штука это ну в
основном экосистема парча феса есть там замечательный фво там тот же да там есть методики Как сделать Лора модификаторы
модем было помет для дая но когда вы нафаню свою модель вам всё равно нужно с ней работать и самый
простой способ обернуть её в Link Chain потому что Link Chain имеет коннектор к любой феско модели то есть любая модель
в интерфейсе hugin Face Model for там Casual Language Generation Она засовывается просто по умолчанию в CH вы
даёте путь к папочке где модель лежит и он правильно её подгружает Ладно вернёмся к ра retal
augmented Generation то есть мы хотим на запрос пользователя слазить в какую-то базу знаний в ту же Википедию или вашу
корпоративную базу знаний найти там нужные тексты извлечь их подставить в промт и вот этот уже промт отправить
куда-то в опиш или в модель и результат отправить пользователю то есть вот это вот раг вопрос как искать вот эти нужные
тексты Ну вот как раз это вопрос про им веддинг да то есть мы хотим тексты превратить в какие-то векторы так чтобы
мы по этим векторам находили близкие тексты Ну вот если векторы близки значит тексты близки по смыслу давайте мы их
векторами да то есть просто каждое слово - это одна компонента вектора то есть Нам нужно уметь превращать э тексты в
векторы вот причём не обязательно это происходит Мы сразу вопрос Превращаем в вектор мы можем сначала попросить
Вопрос инженерии наших промто Вот но превращать нужно вот здесь пример там какая-то фраза инговая модель
возвращает сколько мерный Вектор может быть мерный Вектор 73 мерный Вектор 1536 размерность вектора там как
салу а в НМ обёртки к огромному количеству эдинг моделей в том числе оные динги в том числе динн фейса любые
импортную говорить пожалуйста забе мне документы то есть преврати их в вектора здесь не короткие фразы а прямо ваши
длинные достаточно вектора Ну вернее длинный текст можно засунуть в Ну разные модели динга разную длину текстов берут
Ну в среднем 1000 символов Вы можете засунуть и он её переварит и то есть 1000 символов или даже 2000 символов
превращать Вектор можность текст на постни можно хороо завернуть в один векто по смыслу вот эти кусочки на
выглядит плюс которые хорошо работают на русском работают на русском я вам сегодня модель покажу когда до практики
дойдём вот ну собственно опять же потому и что он реализовал коннекторы к огромному количеству моделей в том числе
любая модель сфе вот я какие-то сри СБА что там есть вот есть да то есть запускать ламу на процессоре вот Open
есть вхо какие-то есть модели вот гдето там вверху Face обёртка есть то есть вы можете на гитхабе всё это смотреть все
ВН полу у вас даже нго модели просто не умеют работать с такими длинными текстами даже по самой логике это так
тайминг есть уже свои разбивалки текстов Ну довольно умная штука у них это recit То есть это рекурсивный
объект допустим в чанке Ну чанк - это кусочек по-английски то есть в вашем чанке не больше 100 символов ачан
overlap То есть это перекрытие кусочков Вот вы разрешаете на сколько-то символов перекрываться там на 20 например
вот длина вот можно просто по символьную можно в токенах Но это будет длиннее я обычно Работаю с просто обычной длиной
достаточно Умно разбивать сла он бьёт по параграфам если параграф влезает Ну параграф Это что такое пустая строка
между кусочками текста если параграф меньше чем вот он его оставляет параграф там может быть не там сся символов да А
800 символов в параграфе Ну прекрасно Вот такой у вас чанк какой-то параграф 3000 символов и вот он уже его начинает
вручную разбивать текст то есть там где вы можете побить все тексты вручную Сделайте это Это будет лучше всего но
там где текстов становится много уже десятки тысяч ну или там хотя бы тысячи а если тексты прилетают у вас Ну просто
база она обновляется есть какая просто автоматом запускаете Каждые сутки пересчитывать им бедин и всё То
есть если можно вручную есть смысл вручную то есть лучше человека модель Это не сделает Но если текстов много то
достаточно более-менее так но это всё равно не самый лучший сплиттер Мы у себя в галили естественно
написали свой сплите который гораздо лучше нам подходит чем базовый чей вот дальше мы наши тексты превратили
в вектора Но эти вектора Надо же где-то хранить то есть если много векторов нужно как-то не каждый же с
каждым есть у вас миллион текстов Да миллион векторов влетел запрос Вы же не будете ваш Вектор там с каждым
пересчитывать миллион операций это долго значит нужны какие-то умные алгоритмы которые это делают быстро вот есть
когда приходит ваш запрос вот-то ближайшие кластеры каким-то связям это ВС ится по графу и находится там 51
кандидатов 20 Сколько попросили и вот опять же как всегда реализует обёртки над всеми популярными векторными
с То есть я работал с доками с ПДФ вообще хороший тон это всё сначала превратить в ТТ каким-то отдельным
пайплайн А уже ваш там ретривер работает с т там тексты в кодировке utf8 которые корректно обрабатываются А вот Как
привести ваш документ к такому виду это уже ваша задача Ну например Вы можете xlsx прочитать в панс Если вы знаете
текка Вот и дальше спокойно уже Работайте Ну либо Вы можете превратить в C формат а C формат читается то есть у
них есть э тексто процессоры спокойно он прочитает Вот то есть вы можете сделать там табуляция разделения вашего экселя
ко мне кто-то прил с ппми Я бы пошл Погугли Как превратить ptx в т а вот уже txt засовывал бы в любые Мои инструменты
то есть отдельный пайплайн преобразования из чего угодно в TXT А вот потом уже txt входит в lch там во
внизу и так далее Это только с а до е Мы дошли Да и внизу е Вот вот вот столько списков что обр внутри То есть вам нужно
даже по там миллиону документов например Здесь вы загружаете шные динги у меня осталось 22 минуты это
собирается ну в общем запись будет на юбе презента я приложу агенты там тоже есть всякие Тулы
тоже есть ри можно тоже ему подсовывать То есть он и дис подключать и там что угодно подключать из баз данных в общем
это штука которая оборачивается всё и довольно легко превращается в ашку То есть вы здесь сделали
указывать есть модуль Link Surf у которого есть там Add Roads и вы просто вашу цепочку указываете в качестве опиш
Наго рота и всё инициализирует приложение у вас появляется ошка у вас появляется документация к этой опиш и
подгрузило дальше Вот я импортируют Open prate и который мне просто превратит это в обычную
року да попробуем написать волшебную функцию которая по любому ключевому слову генерирует какую-то статью для
смотреть то есть мы у себя естественно в галили писали нареза щик сами и сами определяли Там какой тип документы и
разные нальчики для разных типов То есть это очень ключевой момент то есть плохая нарезка из коробки это беда
половины без ключа openi так работать не получится но ключ вы всегда можете купить на всяких разных помойках плати
Маркет Я вам этого не говорил но за 100 руб вы купите себе ключик который будет работать я этого не говорил надо это
профессиональный журналист поставь три интересных вопроса чтобы раскрыть тему Первая функция Ну давайте ь не знаю
Да нет Вы всё правильно делали текст сплиттер и ктор всё хорошо Ну вот мы сделали Да там он нам
сгенерировал три вопроса следующий шаг генерации ты специалист в области вот этого конного спорта занимаешься много
Жени сну вот он Перенос строки с дальше собрали простую цепочку цепочка промт языковая модель парсер причём смотрите в
модели я немножко могу играть с температурой здесь нужно покре атие Я ставлю температуру 1 и2 здесь нужно
запустил дальше Вот мы тут Увидим что он нам наге нери ет следующий шаг ты ведёшь популярный блок занимаешься много лет
пожалуйста тебе дали ответы на вопросы преврати их в статью на одну страницу вот он нам превратит и потом следующий
пром ты вед популярный блог Вот тебе статья Придумай три варианта рети наний и температур немножко повыше и он
вам нагнет потом мы ВС это собираем в одну функцию и вот это волшебная функция она нам Мы просто ключевое слово она нам
статью для блога если нам не нравится генерируем ещё раз нам ещё вариант 10 генераций посмотрели выбрали какая лучше
выражения вам в помощь обработка в юникоде всех э эмоджи вам в помощь Ну то есть чистите ваши тексты это очень важно
нарежем отдельный вебинар на эту тему как там превратить какие-то эмодзи в какие-то там графические
символы так ну ладно что он мне тут Ага вот он мне сделал всё хорошо вот ответил на вопрос как физическая подготовка
влияет конных соре что-то он мне дельное написал Ну и дальше Вот я готовлю себе контекст То есть я собираю вопрос
вся эта магия Вот она вся я инициализировав собрал промт собрал себе цепочку дальше цепочку просто вызвал им
всё То есть наверное вот этот вот э ноутбук считаем что разобрали потому что иначе у меня сдохнет ноут и мы
так коллеги осталось у меня 9 минут так что я наверное пропаду с трансляции Через 9 минут за что прошу прощения но я
по рагу открытый урок Приходите там я буду уже с зарядником и полноценно там свои полтора-два часа
из текст сплиттеры Да вот рекурсивный текст сплиттер и по символьный вот если мы запустим по символьный то он нам
нарежем но выдаст предупреждение что я не сумел это сделать там это 3.000 в 2.000 я не убрался потому что вот
сепаратор СН СН по умолчанию у него А вот рекурсивный он поумнее И вот я делаю там 3.000 символов слепом 1500 и он мне
их уже аккуратно нарет и ни на что так чат модель Да вот я для рага температуру в ноль выкручивают обычно то
есть жадною генерацию делают Ну вот какой-то здесь мы простейший промт собрали запрос какой там штраф за
варианты коробочная версия она не пробивает то есть мы бы с вами не узнали какой на самом деле штраф за переход на
негативный так а я ссылку на демо 2 кидал но и Давайте кинем ещё вот вот смотрите и вот сейчас мы
будем делать как раз с фейса я возьму модель псе langage agn sing английско-русский он скачает модель
это занимает там порядка 500 Мб но потом я уже без Интернета и без ключей буду делать векторизации текстов то есть вот
импортируют файлы куда сохранять Что такое главное что это умеет У меня делать есть по векторной близости То
тексть рми то есть перефрази сначала вопрос юридический вопрос поищу м25 поищу фисо Найду там кандидатов обрежу
там топ три кандидата засуну опять же в цепочку генерации вот я ретривер собираю из м25 фаса с Весами 0406
что на административном Кодексе он у вас хорошо не нарет по умолчанию ретривер не отработает по
умолчанию вот каких-то серьёзных случаях вам нужно варить кашу самому писать свои ретриверы писать поверх них свои
он вас ничем не спасёт давайте мы тогда добежит до конца презента ку и закончим Иначе я сейчас
сдохну у меня 4 минуты ноутбуки и презента я приложу на Ютюбе Когда выйдет запись она выйдет
наверное завтра где-нибудь Сколько нужно минимум ЦП и ОЗУ для берто псе ОЗУ вам хватит 1 гигабайта на всё
это дело Центральный процессор Ну сколько он там сколько ядер есть столько он займёт просто в 10 раз медленнее чем
на ГПУ это будет но не страшно то есть на цпу Ну условно говоря Вы будете делать один эмбеддинг за секунду а на
ГПУ вы сделаете там 100 Динго за секунду вот вот вот и вся разница видеопамяти гигабайт хватит на Берт ласе хватит
и возможность работать с языковыми моделями просто закидывая в них мты получая результаты выстраивать цепочки
можно эти вектора тексто хранить вот ктор ST и есть встроенные и Хрома и elas Search векторные хранилище И много-много
хранилища имеет поверх него просто объект ретривера То есть вы можете в этот ретривер вот здесь на
проиндексировать Что такое фи где лежат его файлы там и всё прочее дальше Мы из этого фаса сделали ретривер простым
обращением там db retri ну а дальше мы можем уже из этого ретривера брать релевантные документы Ну и ретриверов
может быть довольно много мы на примере Посмотрим по кра мере один пример собственно к P Ну
ret aug Generation когда мы генерацию обогащаем данными из нашей базы данных или из нашей базы знаний то есть вывод
ретривера можно форматировать для подстановки в промт различными образами ретриверы можно подставлять спокойно в
здесь формат Docs - это Довольно простой формат где мы через sln sln объединяем документы полученные из ретривера и
здесь видим на слайде цепочку Chain которая состоит из четырёх частей первая часть - это контекст и question то есть
в вместо question у нас конкретно значение есть такой встроенный объект чейна тоже это генераторный объект Run
Pass То есть вы можете вызывать эту цепочку просто передав что-то и вот это что-то оно встанет вместо
R то есть ваш аргумент если мы здесь ниже посмотрим на слайде inv здесь происходит цепочка вызывается с каким-то
запросом вот этот вот запрос он ни в какую переменную не положен он в словарик не обр как в примерах выше
как раз Quest из ретривера это передаётся на формат dox с формата dox подставляется в контекст А дальше
контекст и подставляется в промт промт подставляется в модель вывод модели поставляется в Out par и мы получаем вот
President вопрос был что там сделал президент что сказал президент по поводу технологий и вот мы
какие-то конкретные знания по этому поводу получаем из языковой модели потому что мы слазили конкретный
ретривер а ретривер знает наши документы ну и документов может быть достаточно много там миллион это не страшно Потому
считанные секунды это вс обработаю не будет полного прохода по миллиону документо он выберет там сся
каких-то кандидатов и к этим кандидатам выберет там ещё по несколько штучек вот дальше собственно говоря владея
магией чейна Мы можем с вами комбинировать различные запросы то есть делать не один запрос а пять запросов
или один запрос сделать три ра а потом просить модель выбрать правильны ответ из эти лучше отве этих ТХ дальше это
передавать помощью какого-то прота следующую цепочку и составлять цепочки которые дадут нам некоторую уверенность
в ответе как мы обсуждали что модели регулярно люци придумывают факты ошибаются не обладают
логикой это мы всячески пытаемся Исправить прота то есть давай им хороший шо то есть описание что
есть можем делать CH of s то есть мы можем дать написать модели что мы от неё хотим как В каком виде Мы хотим как она
должна рассуждать и дать там три или пять примеров Таких вот цепочек рассуждений вопрос цепочка рассуждения
ответ да мы разными проми пытаемся это всё исправить но всё равно можем делать несколько генераций и вот бы заставлять
модель проверять саму себя быть более критичной выбирать лучший ответ голова за эти ответы это разные техники Self
cons Вы можете про них отдельно почитать но с помощью они все легко реализуется вот тот же самый близкий по
смыслу подход это generated prom Когда вы устраиваете там пять цепочек подряд Ну на практике мы такой пример с вами
смотрели где мы просто по ключевым словам генерировать какую-то статью для блога вот ноутбуки Я думаю мы Прикрепи к
юбу Вы сможете сами поиграться То есть когда мы делаем промт 1 генерация 1 подставляем её в промт 2 получаем
генерацию 2 подставляем в пром 3 получаем генерацию 3 ну и так далее Сколько нам нужно пока не получим то что
эту схему актуализируя что у нас есть кроме генератора модели есть ещё отдельный ретривер который лазает в базу
данных делает векторный поиск или поиск по ключевым словам или гибридный поиск и по векторам и по ключевым словам как-то
дальше получает кандидат кусочки текстов которые подставляются в промт дальше это объединяется в Единый текстовый промт Ну
с учётом окна модели по контексту Ну сейчас выходят модели всё более и более толстые по окну То есть сейчас уже Аро
16000 в токена токен - Это примерно считаете что Три символа в зависимости от того какой язык но в среднем можно
считать что токен там 3 с поно Сим Вот как-то так То есть если перейдут к моделям с окном в 100.000 токенов это
получается там 350.000 символов Ну 350.000 символов это большая книжка и собственно всю корпоративную базу знаний
можно будет засунуть в один Промт и в этом собственно есть большая проблема придётся заплатить за это
Потому что когда вы пользуетесь каким-то а то вы будете платить за каждый токен который вы в модель засунули и каждый
токен который Вам модель сгенерировал и отдала обратно ну Open тариф можете посмотреть на сайте там есть цена за
токены которые вы отправили и токены которые модель сгенерировал вам в ответ вот входящие токены там одну а
сгенерирован вдвое дороже высь ресурсо чем на получение входных токенов Ну если у вас своя какая-то
модель чем длиннее промт который вы засунули чем больше токенов в этом проте тем дольше будет вычислений на
видеокарте то есть больше памяти потребуется дольше по времени вычисления Поэтому всегда нужно искать золотую
середину то есть не делать слишком длинные мты они должны быть достаточные чтобы давать вам качественный ответ
иу по затратам по деньгам потому что все эти большие модели они Ире Ну Ирен процесс как раз по получения результата
от модели Они все инфер в дата-центра дата-центры жрут там какие-то гигаватт огромнейшее электричества то есть надо
об этом помнить что круто засовывать 100.000 токенов но кто-то за это должен платить Ну вот шаблонный такой типовой
промт рага как может выглядеть То есть ты там описание роли и важные детали для модели То есть ты консультант такого
такого-то магазина или ты там российский юрист или ты там врач-психотерапевт Ты должен использовать такие-то такие-то
методики Вот тебе вопросы ответы там как уже спрашивали отвечали дальше там вписание фильтра не отвечай если там не
относится к роли твой вопрос дальше Отвечай на вопрос пользователя на основе информации в контексте если ответ не
найден скажи его нету дальше контекст Это несколько документов с информацией для ответа Ну контекст должен влезать в
окно модели Да там сколько токенов вы можете Максимум в промт засунуть Ну и засорить контекст тоже не стоит что если
вы какие-то лишние факты засне Ну мало ли модель не на то обратит внимание и сгенерирует вам неправильный ответ то
пользователя и идт ответ Ну вот живой промт из рага который я сам применял в нескольких небольших
проектах и он вполне себе сносно работа то есть здесь кроме того что мы говорим игнорирую все предыдущие
хотя бы про категории дальше мы говорим модели как нужно себя вести дальше подставляем контекст это как раз
пожалуй пожалуйста Следуй инструкциям и не придумывай то чего нету но разрешаем здесь пользовать там ну вот здесь общее
разрешаем бы разблокируем некоторую часть общего домена который в модели есть то есть говорим пользуюсь
контекстом Но вот по такой-то теме может отвечать из общих знаний на общие вопросы Ну и дальше Вот общие принципы
что давай чёткие ответы исключи ненужные напоминания извинения потому что модели любят извиниться что я там искусственный
интеллект Извините я там такой си убогий не могу вам на это отвечать то есть просто их политики по этике и по
фишка которая несколько месяцев Как стало известно что если обещать Модели там 200 долларов чату gpt он генерирует
более развёрнутые ответы вот ну и также моделью можно манипулировать в конце фраза очень важно чтобы ты понял это
правильно на кану несколько жизней понятно что никаких жизней нану не но такие фы эмоционального манипулирования
теме как агенты мы не будем её разбирать на практике это тема не для первого знакомства но понимать что такое это
говори надо делать у на есть набор инструментов ИК этим есть какие-то описания есть там поиск gole поиск в
одна есть мы понимаем ти зада нужен один ту с Google поиском работа с Google таблицами Ну какие-то
Тулы - это функция функция в которую можно поставить там один или несколько аргументов и функция выполнится и даст
вам результат и собственно мы Составляем такие мты что есть вопрос пользователя а дальше модель Спрашивается а не надо ли
тебе применить один из лов чтобы ответить на вопрос пользова модене нужен такой-то с таким-то аргументом да
выполняется с этим аргументом получается результат он добавляется в промт И следующий старается запускать такой
более расширенный промт то есть вопрос нужно пользоваться таким-то лом с такими-то аргументами результат не нужно
ли воспользоваться каким-то лом если нужно модель опять генерировать тул такой-то с аргументом таким мы его
выполняем добавляем в промт результат выполнения и дальше до тех пор пока модель не скажет лами пользоваться не
Дека какой у неё возраст и в степени 042 нужно возвести Да степень 043 странно но здесь как раз то что несколько лов
понадобится л в котором мы будем расширять наш промт мы даём ему собственно говоря Агент с каким-то
протом Ну тип Агента в есть уже приготовленные за нас там несколько типов агентов мы даём набор инструментов
которыми можно пользоваться в данном случае можем дать там всего два Да там gole поис и калькулятора можем дать п
дальше опять же он делает Эш там калькулятор Action inp такой-то такой ответ Должен сделать в какую-то степень
возвести пользуется лом И дальше Final Answer генерируется следующий всё и на этот Final как раз кладётся в output
этой цепочки То есть если мы не всего этого не увидим у нас будет просто а внутри вот э вот логика когда мы на
каждый шаг то есть мы получили вопрос и спрашиваю модель прям промто ври есть пром который спрашивает модель а не надо
ли те кани пользовать А надо а с какими аргументами А с такими дальше идт Вызов этого Тула Тулы есть встроены либо можем
то есть просим модель сгенерировать рассуждение о том Какой инструмент применить для генерации и он генерирует
нам название инструмента и аргументы вызова вызываем доки ды в промт и генерируем дальше Вот
поставленный вопрос настолько хорошо насколько ты можешь э ты можешь пользоваться следующими инструментами
там идёт описание наших инструментов дальше описание формата то есть методика какой мы должны
пользоваться question S Action Action Input observation Ну observation подставляется то что нам на Goog или на
считалась дальше следующая мысль сот Да там рассуждений и до тех пор пока мы финальный ответ на вопрос начинаем вот
рассуждений Дальше например есть хороший Агент Search у него ровно один не Погугли в сот Да несколько примеров
цепочки мыслей и вот здесь последний перед нашим инпутов левом столбике последний пример н Там оба
режиссёра Челюсти и казино рояли из одной и той же страны Да там а не надо ли мне уточнить что-то Да там Нужны ли
мне уточняющие вопросы да нужны уточняющий вопрос там кто такой такой-то промежуточный ответ который мы Погугли
налили и в конце модель уже сама сгенерирует финальный ответ такой-то там всё И это уже отдаст пользователю то
есть вот такой может быть Агент Ну собственно говоря опять же все агенты и все мты к ним чене есть Вот пример из
их поводу вот тут есть L ST там мы видим Когда нужно остановиться и он там в цикле у себя в Агент экзектор
крутится то есть вот мы таким образом Составляем Агента а дальше этого Агента собственно говоря можно Запустить Агент
Run и вот у нас что-то что что-то происходит и вот тут как он себя уточняет уточняет поиск уточняет а ну
это пример с калькулятором да sry Это пример с калькулятором он уже был вот лов довольно много поскольку это
слать в Office 365 Ну в Open можно слать в Python можно слать Ну то есть вот много куда можно что-то
сохранение диалогов не нужно писать там свои базы данных ВС есть декорирую вот будет вам запоминать по
каждому пользователю там сколько-то сообщений и автоматически доставлять Вам их в цепочки отправляемые в языковую
цепочку можете привязать к некоторому роту есть когда по какому-то урлу там па категори CH Да вызывается чтото с
Но поскольку это Фаста то всё модно асинхронно да То есть вы не ждёте на ответ этого а то есть нет блокирующих
вызовов вот Хотя если конечно же вы вызвали у себя модель локально на своих там видеокартах да там могут возникнуть
у вас блокирующие вызовы всё встать в цепочку Но если вы это запросы в а запросы в какие-то хранилища и базы
пойдём к практике и пройдём второй ноутбук первую мы успели посмотреть вот до моего вылетания со стрима Теперь
России с российским ашнико то вас отобьют скажут русский вы не достойны пользоваться нашим замечательным
интересует тот пример с которым будем работать это кодекс об административных правонарушениях проверим насколько
много так идём дальше ну попробуем его нарезать на кусочки Так чего кого-то я тут не инициализировав
что длина кусочка должна быть 2.000 символов перекрываться кусочком разрешаем на 1000 символов ну нормально
перекрываться кусочком потому что вы могли какую-то мысль там разрезать пополам А хочется чтобы все кусочки
ругаться что мы попросили 2.000 символов а он не может у него там где-то 4.000 где-то три потому что он нарезает по
предложениям и смотрит как лучше объединить коде Вы можете это посмотреть поскольку этон то Нет проблемы слать на
модуль написано достаточно аккуратно всё всё можно понять вот он нам нарезал Да текст нулевой вот он нам так
нарезал дальше сегмент текст первый вот он вот так вот нам нарезал текст второй Ну давайте сразу
позволили вот он где-то возник но он здесь достаточно умный он не на по нам делает это максимум о по полторы А здесь
вот он Ну насколько рассудил сам насколько ему нужно сделать орп То есть у нас здесь пошла семёрка и вот здесь
запчасти для рага вот фаис векторную базу знаний возьмём и народ меня спрашивал как бы взять Эмбер который
бесплатный который без интернета Ну вот можно брать гин Face eding то есть есть прекрасный fagen
Models Ну в Models мы можем сказать что у нас там текстовая задача А где у нас вот Natural Language
Раши и вот 41 модель в которых мы можем что-то что-то посмотреть Ну вот мне нравится Co integrated берсе например
есть хорошие динги E5 то есть вот E5 Бейс enr Вот они нормальные мультиязычные модель E5 даст
вам хорошие динги дальше есть рубер от сбера Ну вот в общем это 41 модель любую из них Выбирайте Ну не любую но
описании моделей посмотреть как там пользовать какими обёртка Ну вот вот эти две строчки кода волшебные
заклинания дадут вам неплохой эбер и вы будете кидать в него текст а он вам будет давать Вектор здесь надо
максимальный контекст по токена можно засунуть в модель там 256 512 там 1024 Ну то есть разные модели принимают
рак дальше возьмём Easy PROMT Ну просто юман и вопрос то есть ничего не будем с ним делать Вот бросаем в чат модель
вопрос пользова вот у нас реальная статья на которую мы хотим сделать рак нарушение пешеходом или пассажирам
правильная статья административный кодекс 1229 что 500 руб то есть нарушение пешеходам или пассажирам
правил дорожного движения влечёт предупреждения или наложение штрафа в размере в размере 500 руб Вот это та
правда которую нам нужно с вами как-то вытащить хорошо вот наша quy Вот у нас простая цепочка Easy PROMT вот этот чат
как надо поскольку это юридическая тема нам хочется чтобы оно было так как надо хорошо давайте сделаем себе модель
Динго которые бесплатные без интернета будет сейчас у нас один раз скачается если бы это был Ваш компьютер она бы
скачалась к вам на компьютер один раз и дальше бы вы её запускали Ну лучше всего на видеокарте Но и так тоже будет
неплохо Ну кстати мы здесь как раз на видеокарте калаби вот я на на Т4 работаю это видеокарта дальше наши тексты мы
положим в фаис как раз векторная База знаний Ну база векторов и она нам Будет отдавать тексты по векторной близости
сегменты - Это несколько статей два тоже что-то совсем не то нашёл водоотводные сооружение Ну в общем
ничего нам не нашёл потому что все Виктора нач уже там просто не близкие получились вот почему он не может почему
штраф за переход дороги на красный свет в России а вот термин дорога на красный свет её нигде нету вообще в кодексе и у
нас тут просто нарушение правил Доро движения пешеходом это называется то есть вот у моделе не хватает пороху
чтобы это понять что это одно и тоже и у векторной модели не хватает Поэтому вот моделями из коробки
посмотрим что занги у нас возвращаются они все имеют единичную норму размерность вектора 768 наша
скачивать так Ну давайте сделаем тогда поиск по ключевым словам возьмём кроме векторного м25 это поиск по ключевым
словам тоже их вектори зуем скажем что хотим 10 примеров вытаскивать Ну вот он нам вытащил 10 примеров релевантных к
деле тоже будет всё не то хорошо вытащим наш а парсер который просто сообщения превращает в
перефразировать вопрос на юридический язык то есть не просто переход на красный свет а вот всё-таки может кто-то
нам сможет правильные слова подобрать но и Можем попробовать сделали Промт и давайте мы вызовем цепочку где мы
всё равно переход на красный светофора и вот с таким промто Мы тоже не найдём правильный рак хорошо Можем даже Их
то есть dox 1 У нас вот он нашл четыре документа по векторному поиску по ключевым словам он нам нашёл 10 как мы
правильную статью То есть это примерно то что вот средствами из коробки многие сложные ситуации Вы не
проб да вам поможет там в 80% случаев но в остальных ДТИ вам придётся всё варить самому и и обращаться к
делаем гигачад учим работать с российским правом естественно мы делали и свой текст сплиттер и свой
промт просто из вот этого текста Вот будем подставлять на контекст Хорошо Сделаем чат промт систем
сообщение ну вот всё подставила Так давайте теперь сделаем ретриверы это ретривер из фаса это
То есть как там смешивать лучше в коде посмотреть Ну собственно сделаем dox 3 это когда мы из нашего этого
PROMT вспомним нашу quy вот H - это тетик докумен bading то есть мы как-то перефразирует пытаемся
там моделью его перефразировать или ответить вот уже с него мы будем брать векторизации то есть вот у нас рес о
нарушение правил дорожного движения с переходом на красный свет Какая административная ответственность вот
документа смотрим на наш Документ и собственно вот мы можем с вами собрать последнюю цепочку которая
формат мы сюда уже вот этот контекст подставили да то есть документ статья такая-то документ статья такая то есть
вызвать То есть у нас произошёл наш рак обо то есть перефразировать вопрос поиска документы обогатили промт и наш
результат неутешительный он вообще сказал что у него нет информации потому что неправильные сегменты ВК него
прилетели Так что как видите чей Конечно круто но не во всех случаях он помогает Но хотя для прототипов и несложных
кейсов Я рекомендую пользоваться ланчей нам в 90% может даже случаев вам его хватит во всех остальных вам придётся
копать глубже это будет очень несоизмеримо по затратам фундаментальная работа вот Большое спасибо за то что вы
числе Я учу нанти Я преподаю на курсах и обработка естественного языка курсы регулярно вот все начинаются новые
стоят совершенно недорого это того стоит вот айтишники получают хорошо становитесь айтишникам и Приходите в