В блозі Nvidia з’явилася цікава стаття, яка навчає як можна працювати зі штучним інтелектом локально на своєму комп’ютері, не заходячи при цьому на сайти провайдерів ШІ — OpenAI, Anthropic та інших. Мова йде про програму AnythingLLM, завантажити яку можна за посиланням.
Що таке AnythingLLM?
AnythingLLM — це відкрита платформа, яка дозволяє користувачам легко інтегрувати можливості великих мовних моделей (LLM) у різноманітні застосунки безпосередньо на їхніх ПК. За допомогою AnythingLLM користувачі можуть використовувати ШІ для вирішення широкого спектру завдань, таких як генерація контенту, узагальнення, відповіді на запитання та багато іншого. Програма надає інтуїтивно зрозумілий інтерфейс для налаштування та адаптації інструментів ШІ відповідно до конкретних потреб.
Локальна робота з ШІ
Однією з ключових переваг AnythingLLM є можливість працювати зі штучним інтелектом повністю локально на своєму комп'ютері. Це означає, що користувачі можуть зберігати повний контроль над своїми даними та забезпечувати конфіденційність, не передаючи інформацію на хмарні сервери. Для локальної роботи з AnythingLLM потрібне потужне апаратне забезпечення, зокрема відеокарти NVIDIA GeForce RTX або NVIDIA RTX. Ці відеокарти оснащені спеціалізованими тензорними ядрами, які забезпечують необхідну обчислювальну продуктивність для роботи найсучасніших моделей ШІ.
Альтернатива з API
Для тих, хто не має відповідного апаратного забезпечення, AnythingLLM пропонує альтернативний варіант — введення API певного сервісу. Ця опція дозволяє користувачам підключатися до хмарних ресурсів ШІ через API, що значно знижує вимоги до апаратного забезпечення. Хоча це може вимагати передачі даних стороннім сервісам, це все одно залишається зручним способом доступу до потужності LLM для широкого кола користувачів.
Як користуватися програмою AnythingLLM
Оскільки у мене ноутбук не має дискретної відеокарти, працювати повністю локально я навіть не намагатимуся. Натомість я йду на сайт французького провайдера штучного інтелекту Mistral за ключем API.
В розділі API треба натиснути “Create new key”.
Потім копіюємо цей ключ та вставляємо його в програму AnythingLLM. Вказуємо електрону пошту та з якою метою плануєте використовувати застосунок. Придумайте назву для свого workspace.
Ще раз придумаємо workspace і вже можна задавати питання. Для тесту я взяв питання, яке цікавить майже кожного українця. І отримав стандарту відписку, що ШІ не знає, коли очільник сусідньої з нами держави відправиться у небуття.
Далі можна спробувати щось складніше — наприклад прикріпити свій текстовий файл з «донорським» текстом та попросити ШІ згенерувати статтю.
Загалом — пробуйте. Поле для експериментів немаленьке. Дана програма може стати чудовим доповненням до тих ШІ-інструментів, які ви вже використовуєте.
Спільнота AnythingLLM
Навколо AnythingLLM сформувалася активна спільнота розробників та ентузіастів ШІ, які діляться своїми розробками, ідеями та досвідом. На Community Hub користувачі можуть знайти різноманітні підказки, команди та навички агентів ШІ, створені спільнотою. Це відкриває безмежні можливості для експериментів та інновацій у сфері штучного інтелекту.
AnythingLLM — це захоплюючий крок вперед у світі штучного інтелекту, який демократизує доступ до потужності LLM. Завдяки можливості локальної роботи з ШІ на потужному апаратному забезпеченні NVIDIA або використанню API сервісів, програма відкриває двері для широкого кола користувачів. Спільнота AnythingLLM активно розвивається, стимулюючи інновації та розширюючи межі того, що можливо з агентами ШІ. Без сумніву, AnythingLLM буде відігравати важливу роль у формуванні майбутнього штучного інтелекту та його практичного застосування в реальному світі.
