З моменту появи ChatGPT з’явилося багато інструментів, повага до конфіденційності користувачів викликає сумніви. На щастя, з’явилося кілька проектів з відкритим вихідним кодом, щоб виправити це. Ollama AI — це інструмент для використання штучного інтелекту в терміналі
Додаток буде дозволяє використовувати список LLM на комп’ютерному терміналі або одноплатному пристрої, якщо ваше апаратне забезпечення достатньо потужне. Добре те, що в їхній бібліотеці є варіанти для будь-якого розміру.
LLM (великомасштабні мовні моделі) використовуються для розуміння генерації та перекладу мови на рівні, близькому до природної мови. Вони тренуються з величезною кількістю текстових даних. Ці моделі можна використовувати для широкого спектру мовних завдань, таких як відповіді на запитання, узагальнення тексту, переклад на інші мови, створення зв’язного та творчого вмісту, завершення речень і пошук мовних моделей.
Вираз «великий масштаб» відноситься як до величезної кількості даних (мільярди), так і до параметрів, які модель використовує для встановлення зв’язків і пошуку шаблонів серед даних.
Параметри - це фактор, який слід враховувати. Хоча деякі повідомляють, що використовували Ollama AI на Raspberry Pi 4, не всі моделі можна використовувати, якщо у вас недостатньо пам’яті. Я використовував моделі з 7 мільярдами параметрів із 6 ГБ оперативної пам’яті та без відеокарти, що практично не вплинуло на продуктивність системи, але вона не могла впоратися з моделлю з 13.
Моделі з меншою кількістю параметрів розмовляють іспанською на рівні туристичної пародії на янкі і не дуже точні у своїх відповідях, тому слід бути обережним при їх використанні.
Ollama AI: Використовуйте штучний інтелект у терміналі
Перш ніж продовжити, давайте почнемо з короткого пояснення. LlaMa — це алгоритм машинного навчання, який дозволяє штучному інтелекту навчитися розпізнавати та класифікувати зображення об’єктів.
До цього типу моделей Їх навчають із зображеннями з мітками, щоб вони навчилися розпізнавати конкретні характеристики, такі як текстура, форма та колір, які дозволяють ідентифікувати їх в інших контекстах.
Оскільки назва алгоритму вимовляється так само, як і назва тварини, деякі бібліотеки були названі на честь схожих видів, таких як вікунья (вікунья в мовах, які не використовують ñ) або альпака.
Повертаючись до Ollama AI, Це дозволяє нам завантажувати та запускати різні моделі з відкритим кодом із терміналу нашого дистрибутива Linux. Встановлюється за допомогою команди:
curl https://ollama.ai/install.sh | sh
Для запуску моделі пишемо команду:
ollama run nombre_del_modelo
Ми бачимо список моделей aqu
Наприклад, щоб встановити TinyLlaama, модель із трохи більше терабайта параметрів, ми використовуємо команду:
ollama run tinyllama
Під час першого виконання цієї команди модель завантажується на комп’ютер. Зверніть увагу, що деякі з них займають кілька гігабайт дискового простору.
Видалити модель можна командою:
ollama rm nombre_del modelo
Щоб переглянути список встановлених моделей, використовуйте команду:
список олама
Ви можете переглянути інформацію про кожну з встановлених моделей за допомогою:
ollama show
Цікавим варіантом з бібліотеки моделей Ollama є так звані «без цензури».. Найвідоміші моделі штучного інтелекту накладають обмеження на певні типи питань, щоб відповідати не лише закону, але й соціальному тиску політичної коректності.
Пригадую, як давно я попросив Copilot, помічника Microsoft на базі ChatGPT, розповісти мені анекдоти про айсберг, і він сказав мені, що екологічні катастрофи – це занадто серйозна тема, щоб про них жартувати.
Моделі без цензури Вони визначають випадки, коли штучний інтелект відмовляється відповідати або дає упереджені відповіді з базових моделей, видаляють їх і навчають систему реагувати правильно.
Мені потрібно було б провести додаткові тести, щоб дізнатися, наскільки корисним може бути ШІ Ollama на комп’ютерах з обмеженим обсягом оперативної пам’яті та без виділеної відеокарти. У будь-якому випадку, добре знати, що альтернативи з відкритим кодом пробивають собі шлях і дозволяють усунути цензуру.