В блоге Nvidia появилась интересная статья, которая обучает как можно работать с искусственным интеллектом локально на своем компьютере, не заходя при этом на сайты провайдеров ИИ - OpenAI, Anthropic и других. Речь идет о программе AnythingLLM, скачать которую можно по ссылке.
Что такое AnythingLLM?
AnythingLLM – это открытая платформа, которая позволяет пользователям легко интегрировать возможности больших языковых моделей (LLM) в различные приложения непосредственно на их ПК. С помощью AnythingLLM пользователи могут использовать ИИ для решения широкого спектра задач, таких как генерация контента, обобщение, ответы на вопросы и многое другое. Программа предоставляет интуитивно понятный интерфейс для настройки и адаптации инструментов ИИ в соответствии с конкретными потребностями.
Локальная работа с ИИ
Одним из ключевых преимуществ AnythingLLM является возможность работать с искусственным интеллектом полностью локально на своем компьютере. Это означает, что пользователи могут сохранять полный контроль над своими данными и обеспечивать конфиденциальность, не передавая информацию на облачные серверы. Для локальной работы с AnythingLLM требуется мощное аппаратное обеспечение, в частности видеокарты NVIDIA GeForce RTX или NVIDIA RTX. Эти видеокарты оснащены специализированными тензорными ядрами, которые обеспечивают необходимую вычислительную производительность для работы самых современных моделей ИИ.
Альтернатива с API
Для тех, кто не имеет соответствующего аппаратного обеспечения, AnythingLLM предлагает альтернативный вариант – введение API определенного сервиса. Эта опция позволяет пользователям подключаться к облачным ресурсам ИИ через API, что значительно снижает требования к аппаратному обеспечению. Хотя это может потребовать передачи данных сторонним сервисам, это все равно остается удобным способом доступа к мощности LLM для широкого круга пользователей.
Как пользоваться программой AnythingLLM
Поскольку у меня на ноутбуке нет дискретной видеокарты, я даже не буду пытаться работать полностью локально. Вместо этого я иду на сайт французского провайдера искусственного интеллекта Mistral за ключом API.
В разделе API надо нажать "Create new key".
Затем копируем этот ключ и вставляем его в программу AnythingLLM. Указываем электронную почту и с какой целью планируете использовать приложение. Придумайте название для своего workspace.
Еще раз придумаем workspace и уже можно задавать вопросы. Для теста я взял вопрос, который интересует почти каждого украинца. И получил стандартную отписку, что ИИ не знает, когда глава соседнего с нами государства отправится в небытие.
Далее можно попробовать что-то посложнее - например прикрепить свой текстовый файл с "донорским" текстом и попросить ИИ сгенерировать статью.
В общем – пробуйте. Поле для экспериментов немаленькое. Данная программа может стать отличным дополнением к тем ИИ-инструментам, которые вы уже используете.
Сообщество AnythingLLM
Вокруг AnythingLLM сформировалось активное сообщество разработчиков и энтузиастов ИИ, которые делятся своими разработками, идеями и опытом. На Community Hub пользователи могут найти различные подсказки, команды и навыки агентов ИИ, созданные сообществом. Это открывает безграничные возможности для экспериментов и инноваций в сфере искусственного интеллекта.
AnythingLLM – это захватывающий шаг вперед в мире искусственного интеллекта, который демократизирует доступ к мощности LLM. Благодаря возможности локальной работы с ИИ на мощном аппаратном обеспечении NVIDIA или использованию API сервисов, программа открывает двери для широкого круга пользователей. Сообщество AnythingLLM активно развивается, стимулируя инновации и расширяя границы того, что возможно с агентами ИИ. Без сомнения, AnythingLLM будет играть важную роль в формировании будущего искусственного интеллекта и его практического применения в реальном мире.
