О прикладном использовании больших языковых моделей

Очередная волна неистового ИИ хайпа последний месяц.

Рост рынка последний месяц связан прежде всего с анонсами ИИ моделей и ИИ-продуктов от ведущих ИТ компаний США.

Почти 1.5 года работы с различными ГИИ (ChatGPT, Gemini, Llama, Claude), есть ли в них польза и что они могут делать? Я не пишу сейчас полноценный обзор – это серия лонгридов, на которые сейчас нет времени, но попытаюсь выделить главное.

По сути, главное и самое основное предназначение ГИИ – это компрессия и декомпрессия информация, собственно, и все, а из этого уже «расщепляются» различные производные направления.

Компрессия информации - конспектирование, резюмирование, обобщение, «суммаризация» и так далее огромных массивов текстовой, аудио или видео информации по особым алгоритмам. Например, кратко пересказ YouTube ролик, книгу, инструкцию пользования или какие-либо события.

Декомпрессия информации – из ранее сжатой информации на основе логических цепочек и по заданным сценарным векторам генерировать аудио, видео или текстовый контент. Например, на основе краткой рецензии книги, сгенерированной ранее ИИ, написать похожие отзывы/рецензии или дать рекомендации по схожим литературным произведениям. 

Основные сценарии использования ГИИ:

•  Обобщение и интерпретация контента.

•  Переводчик.

•  Экспертная система / ответы на вопросы (что это означает, как это сделать, как это работает, как это исправить и т.д).

•  Анализ, аналитика данных (пока самое слабое звено и хуже всего развито).

•  Рерайт готовых текстов по заданным направлениям, стилям и тональности.

•  Копирайтинг, написание резюме, отзывов, эссе, простых статей по заданным темам. 

•  Более эффективное распознавание цифрового контента (OCR документов, видео, аудио). Например, автоматическая стенограмма презентации с аудио в текст, автоматический таймкоды в видео, распознавание и структуризация документов. 

•  Более умный семантический поиск. Например, поиск в фото или видео определенных объектов, сюжетов и так далее. Пока все это не работает, но Google обещает интеграцию до конца года. 

•  Создание фото и видео с заданными условиями.

В перспективе года ГИИ модели позволяет сделать умный органайзер, структурировав документы, письма, фото и видео с заданными маркерами. Например, 30 тыс фото в библиотеке, нужно разбить по типам и сюжетам (люди, природа, города, культурные объекты и т.д.). Аналогично с документами, т.е. умная группировка и поиск по критериям. Структуризация и систематизация контента – это то, что способен делать ГИИ. 

Потенциально может быть полезен, как персональный репетитор, создатель гида, проводника в различных неизведанных вопросах и направлениях, в том числе как туристический гид, неплохое пространство для роли консультанта по многим вопросам. Некая улучшенная комбинация Google + Wiki / онлайн библиотеки.

ГИИ может применяться для создания спектра идей для контента, применяться для автоматизации создания отчетов и шаблонных проектов, первичной аналитики данных. 

В перспективе нескольких лет многие профессии под угрозой: переводчики, редакторы и корректоры, копирайтеры и контентмейкеры, секретари, маркетологи, работники службы поддержки и консультанты, дизайнеры, художники, аниматоры, программисты и аналитики начального уровня.

Тянет ли справочное бюро, переводчик, обобщение контента и умная группировка на 25 трлн долларов (кумулятивный ИИ хайп с начала 2023 по США и развитым странам) с пафосной претензией на «изменение мира ДО чатботов и ПОСЛЕ чатботов»? Крайне сомнительно.

Как это все работает на практике, удалось ли ГИИ интегрировать в проекты Spydell Technologies, есть ли в ГИИ достаточная глубина рынка и пространство для монетизации, чтобы оправдать приращение капитализации на триллионы долларов?

есть ли положительный опыт интеграции в научно-исследовательские проекты в области экономики и финансов? Нет, ни одна модель не функциональна, ничего не работает.

Есть две критические и пока неразрешимые проблемы на архитектурном уровне самих моделей ГИИ.

Первое – нет вшитого контроля верификации выходных данных и корректности интерпретации. Другими словами, ГИИ не способен оценивать корректности и адекватность сгенерированного контента, нет встроенного критерия истинности.

Современные модели ГИИ не обладают критическим мышлением и верификатором результатов, что в контексте работы LLM означает: выявление логических связей и противоречий, оценка аргументов и доказательств, анализ данных и источников, адаптация выходного результата в контекст условий.

Доступные на сегодняшний день LLM:

•  Не проверяют достоверность источников информации и не различают надежные данные от ненадежных.

•  Не способны самостоятельно выявлять логические ошибки или противоречия в своих ответах.

•  Не могут критически оценивать представленные аргументы и доказательства.

•  Не могут адекватно адаптировать свои ответы к специфическим условиям или контексту задачи.

LLM обучаются на сверх больших массивах данных, изначальная достоверность которых под сомнением, и в этом наборе информационного мусора происходит компрессия данных и определение весов. 

Те данные, на которых были обучены LLM изначально могут содержать ошибки, предвзятость и недостоверную информацию, а следовательно обучение часто строиться на ложных сведениях. 

В некотором смысле веса в больших языковых моделях (LLM) определяют иерархию интерпретации информации, позволяя модели распознавать иерархические и контекстуальные зависимости в данных. Иначе говоря, веса определяют меру связанности информационных блоков, как одна часть информации влияет на другую часть информации. 

Что это означает на практике? LLM крайне неэффективны в разработке инновационных смысловых конструкций и интерпретации изначально противоречивой информации, производя сложные многоуровневые оценки факторов, обстоятельств и зависимостей. 

ГИИ могут быть эффективны в интерпретации общепризнанных наиболее популярных фактов регулярного характера, но не способы выстраивать иерархию приоритетов и многоуровневую композицию факторов риска в неоднозначном и неструктурированном наборе данных, вектор распределения которых не прогнозируем.  

Следовательно, сложная аналитика процессов и событий не подвластна ГИИ, поэтому в ГИИ нет интеллекта в широком понимании. Это высоко эрудированная система, которая достаточно тупа в понимании связей и зависимостей сложных систем, а социология, психология, политология, экономика – это как раз те области, где нет жесткой структуризации данных и нет однозначности в интерпретации.  

Можно формализовать математику или физику (здесь ГИИ в перспективе 3-5 лет может добиться успехов), но нельзя формализовать мотивы и действия социума, поэтому ГИИ не может управлять бизнес-процессами, не может прогнозировать и оценивать все те области, где задействован человек (финансы, экономика, социология, политика и т.д.).

К чему это приводит? ГИИ генерируют огромное количество контента, который на прикладных задачах практически невозможно применять из-за отсутствия достоверности.

В идеале система должна работать, как низко уровневая программа в процессоре, где повторение опытов всегда дает один и тот же результат – есть однозначность и прогнозируемость. В ГИИ слишком широкий диапазон допусков.

В итоге время и ресурсы на проверку результатов работы ГИИ превосходят любую потенциальную выгоду. Проще говоря, ГИИ слишком завораживающе фейкометят, чтобы использовать их в серьезных исследованиях и бизнес-процессах. 

Низкая достоверность выходного контента вшита на уровне архитектуры LLM, поэтому проблема неисправима ни сейчас, ни в ближайшем будущем.  

Вторая проблема – необучаемость и ограниченная длина контекстного окна. Эта тема требует отдельного обзора.

Как это проявляется на практике в моих проектах? 

*Контекстное окно обозначает максимальное количество токенов, которые модель может учитывать одновременно при обработке текста; грубо говоря, это глубина памяти ГИИ в рамках открытой сессии.

Не слишком сложная база данных с иерархической структурой данных требует примерно 6-7 страниц технического задания с описанием структуры данных, параметров, связей и постановки задач для анализа данных. Написание 6-7 страниц строго формализованного текста — большая работа на три часа.

Изначально ГИИ никогда не генерирует корректного результата, если постановка задачи предполагает глубину аналитики с множеством связанных переменных.

Соответственно, требуется доводка и калибровка способности ГИИ корректно интерпретировать базу данных и понимать поставленную задачу. Это ещё работа на три часа.

В итоге 6-7 часов уходит просто на то, чтобы попытаться обучить ГИИ адекватно интерпретировать структуру данных и понимать цель анализа. К этому моменту ширина контекстного окна заканчивается, но даже если удастся уложиться, происходит баг системы, который я назвал «ментальный сквиз».

В чём проявляется «ментальный сквиз»? Чем сложнее задача и чем больше количество правок вносится в интерпретатор ГИИ, тем быстрее наступает момент «глубоких галлюцинаций», когда модель полностью теряет способность к пониманию и начинает путаться в показаниях. 

По мере правок качество выходного контента растёт, а потом наступает «ментальный сквиз», и качество резко обрушается, что означает — модель сломалась, несите новую, т.е. требуется новая открытая сессия и всё начинать сначала.

Я не связывался с OpenAI по данному багу и не могу сказать, связана ли эта проблема с программной составляющей или это внутренние архитектурные недостатки, однако правда в том, что разработка сложных проектов исключена полностью.

Те функции аналитики и анализа данных, которые демонстрируются в рекламных роликах ГИИ, показывают простейшие функции, которые реализуются штатным функционалом Excel за несколько секунд, тогда как написание запросов в ГИИ требует минут. Т.е. даже здесь эффективность под вопросом. Более сложные расчёты крайне неэффективны в рамках реализации через ГИИ — здесь сразу мимо.

Какая комбинация работает? То, что работало раньше: Excel + SQL + Python и теперь ГИИ, но не в рамках аналитики, а с точки зрения справочного бюро по документации/инструкциям + помощь в написании кода и формул. Причём процесс написания кода также не так однозначен. (https://t.me/spydell_finance/4846)

В практическом применении ГИИ (использовал все, но остановился в итоге на ChatGPT-4 как наиболее сбалансированном) абсолютно не тянет работу с данными. Data Science, data mining, data analytics — это не про ГИИ. Текущая оценка — около 2 из 10, т.е. совсем плохо, по крайней мере, в той публичной версии, как это всё представлено.

Все надстройки в Excel на базе ChatGPT, в том числе официальная от Microsoft — полная туфта. Выглядят многообещающе, но на практике с большим набором данных и многоуровневыми зависимостями не работают так, как должны.

Свободные таблицы и автоматический структурный анализ можно делать и имеющимися ресурсами без использования ГИИ. 

ГИИ не только не улучшает работу, а скорее ухудшает с точки зрения качества данных и скорости работы. В рамках анализа данных Excel + SQL + Python решают задачи на порядки быстрее, чем хвалёный ГИИ. На данном этапе ГИИ в контексте научно-исследовательской базы близок к пустому месту.