Какво е Ollama и как да го използвате в Windows

Какво е Ollama и как да го използвате в Windows

Ако искате да стартирате големи езикови модели или LLM на вашия компютър, един от най-лесните начини да го направите е чрез Ollama. Ollama е мощна платформа с отворен код, която предлага адаптивно и лесно достъпно AI изживяване. Това улеснява изтеглянето, инсталирането и взаимодействието с различни LLM, без да е необходимо да разчитате на облачни платформи или да изисквате технически опит.

В допълнение към горните предимства, Ollama е доста лек и се актуализира редовно, което го прави доста подходящ за изграждане и управление на LLM на локални машини. Така не се нуждаете от външни сървъри или сложни конфигурации. Ollama също поддържа множество операционни системи, включително Windows, Linux и macOS, както и различни Docker среди.

Изтегляне и инсталиране на Ollama

  • Първо посетете страницата за изтегляне на Ollama и изберете вашата операционна система, преди да щракнете върху бутона „Изтегляне“.
  • След като изтеглянето приключи, отворете го и го инсталирайте на вашето устройство. Инсталаторът ще се затвори автоматично, след като инсталацията приключи.
  • В Windows можете да проверите дали Ollama работи или не, като щракнете върху бутона за препълване на лентата на задачите, за да видите скритите икони.

Персонализиране и използване на Ollama

След като Ollama бъде инсталиран на вашия компютър, първото нещо, което трябва да направите, е да промените мястото, където съхранява данните си. По подразбиране мястото за съхранение е, C:\Users\%username%\.ollama\modelsно тъй като AI моделите могат да бъдат доста големи, вашето C устройство може да се запълни бързо. За да направите това,

  • Първо щракнете върху иконата на Ollama в лентата на задачите и щракнете върху „Изход от Ollama“.
  • След като Ollama излезе, отворете менюто „Старт“, въведете environment variablesи щракнете върху „Редактиране на променливите на системната среда“.
  • Когато се отвори диалоговият прозорец Системни променливи, щракнете върху бутона „Променливи на средата“ в раздела „Разширени“.
  • Кликнете върху бутона „Нов“ за вашия потребителски акаунт и създайте променлива с име OLLAMA_MODELSв полето „Име на променлива“.
  • След това въведете местоположението на директорията, където искате Ollama да съхранява своите модели в полето „Стойност на променливата“. След това щракнете върху бутона „OK“, преди да стартирате Ollama от менюто „Старт“.
  • Сега сте готови да започнете да използвате Ollama и можете да направите това с Llama 3 8B на Meta, най-новият AI модел с отворен код от компанията. За да стартирате модела, стартирайте команден ред, Powershell или Windows Terminal прозорец от менюто „Старт“.
  • След като се отвори прозорецът на командния ред, въведете ollama run llama3и натиснете Enter. Моделът е близо 5 GB, така че изтеглянето му ще отнеме време.
  • След като изтеглянето приключи, можете да започнете да използвате Llama 3 8B и да разговаряте с него директно в прозореца на командния ред. Например, можете да попитате модела Who are you?и да натиснете Enter, за да получите отговор.
  • Сега можете да продължите разговора и да задавате въпроси на AI моделите по различни теми. Само имайте предвид, че Llama 3 може да прави грешки и да халюцинира, така че трябва да внимавате, когато го използвате.
  • Можете също така да изпробвате други модели, като посетите страницата на библиотеката с модели Ollama. Освен това има различни команди, които можете да изпълните, за да изпробвате различни функции, предлагани от Ollama.
  • Можете също така да извършвате различни операции, докато изпълнявате модел, като например задаване на променливи на сесията, показване на информация за модела, запазване на сесия и др.
  • Ollama също ви позволява да се възползвате от мултимодални AI модели за разпознаване на изображения. Например моделът LLava може да разпознава изображения, генерирани от DALLE-3. Може да описва изображения в детайли.
  • Ако попаднете на грешки, докато изпълнявате Ollama, можете да проверите регистрационните файлове, за да разберете какъв е проблемът. Използвайте Win + Rпрекия път, за да отворите диалоговия прозорец Run и след това въведете explorer %LOCALAPPDATA%\\Ollama # View logsв него, преди да натиснете Enter.
  • Можете също да използвате други команди като explorer %LOCALAPPDATA%\\Programs\\Ollamaи explorer %HOMEPATH%\\.ollamaза проверка на двоичните файлове, модела и мястото за съхранение на конфигурацията.

Неща, които трябва да знаете

  • Ollama автоматично открива вашия графичен процесор, за да изпълнява AI модели, но в машини с множество графични процесори може да избере грешния. За да избегнете това, отворете контролния панел на Nvidia и задайте дисплея на „Само Nvidia GPU“.
  • Режимът на дисплея може да не е наличен на всяка машина и също така липсва, когато свържете компютъра си към външни дисплеи.
  • В Windows можете да проверите дали Ollama използва правилния GPU с помощта на диспечера на задачите, който ще покаже използването на GPU и ще ви уведоми кой от тях се използва.
  • Въпреки че инсталирането на Ollama на macOS и Linux е малко по-различно от Windows, процесът на стартиране на LLM през него е доста подобен.

Свързани статии:

Как да се отървете от предупреждението „Блокирано несигурно изтегляне“ в Chrome
Как да отворите множество прозорци (не раздели) за Google Chrome на Android

Вашият коментар

Вашият имейл адрес няма да бъде публикуван. Задължителните полета са отбелязани с *