Come installare LLaMA 3 localmente su Windows 11

Più di recente, Meta ha introdotto Llama 3, un modello linguistico gigante. Ha molte applicazioni, come rispondere alle tue domande e aiutarti con i compiti e i progetti scolastici, tra le altre. Puoi accedervi in ​​qualsiasi momento, online o offline, installando Llama 3 localmente sul tuo PC Windows 11. Ecco come puoi installare Llama 3 localmente su un PC Windows 11/10.

Approcci all'installazione di Llama 3 su Windows 11 Desktop L'installazione di Llama 3 tramite Python su un computer Windows 11 o 10 richiede competenza tecnica. Tuttavia, ci sono diverse soluzioni alternative che ti consentiranno effettivamente di installare Llama 3 localmente su un computer Windows 11. Guarda, lascia che ti illustri questi approcci.

Per installare ed eseguire Llama 3, devi eseguire un paio di comandi tramite Command Prompt su un PC Windows 11. Detto questo, sarai limitato alla versione da riga di comando. Utilizzare la sua interfaccia utente web richiede più passaggi. Ti guiderò attraverso questi due modi.

Se utilizzi Windows 11, devi prima installare Ollama prima di distribuire Llama 3. Ecco i passaggi: vai al sito web principale di Ollama.

Fare clic sul pulsante Scarica, quindi selezionare Windows dal menu a discesa.

Vedrai Download for Windows sul tuo computer come un file eseguibile. Il modo più semplice per installare Ollama è eseguire il file eseguibile scaricato.

Riavvia il computer dopo l'installazione di Ollama. Dovrebbe funzionare in modalità silenziosa. Lo vedrai nella barra delle applicazioni. Dal menu sulla home page di Ollama, clicca su "Models". Tutti i tipi appariranno davanti a te.

Llama 3.1 ha le seguenti tre opzioni: 8B Parte 70B Sezione 405B Poiché l'ultimo è il parametro più grande, non è possibile eseguirlo su un PC di fascia bassa. Ci sono due parametri disponibili in Llama 3.2: 1B 3B Innanzitutto, devi scegliere una versione appropriata di Llama che soddisfi le tue esigenze. Ad esempio, per installare la versione di Llama 3.2, fai clic su Llama 3.2. Dopo aver fatto clic, scegli il parametro che desideri installare nel menu a discesa, apri il Prompt dei comandi e copia e incolla il comando accanto.

For your convenience are the instructions on how to do both for the Llama 3.2 model. The following command installs the Llama 3.2 3B model: llama 3.2:3b olivama run The command for running the installation of the model in Llama 3.2 1B is as follows: llama 3.2:1b gallina First, open the Command Prompt. Then, as per your requirement, write any one of the above commands and hit Enter. It is going to take a good deal of time to download all the essential data. It depends on the speed of your Internet connection. In the Command Prompt, it displays a success message if it's done accordingly.

Just begin to type into your message, and the Llama 3.2 model will engage immediately. The instructions for installing the Llama 3.1 model can be found on the Ollama website.

To launch Llama 3.1 or 3.2 the second time around from your PC, execute the same command in Command Prompt.

One disadvantage of installing Llama 3 through CMD is that it does not save your chat history. It will remember conversations if installed on your local machine and will have a nicer UI. You can see how to do that in the approach below.

Run Llama 3's web interface on Windows 11

Compared to using Llama 3 in the command prompt window, it has a much nicer user experience when using it in a web browser and keeps the chat history. Here I will demonstrate how to install Llama 3 in your browser.

To run Llama 3 in the browser, one should install Docker and Llama 3 via Ollama. If not installed, as previously discussed, please install Llama 3 using Ollama. Docker can be downloaded and installed directly from the website.

Once installed, launch Docker and create an account. Docker won't start working until you've registered an account. Once you have created an account, log in using the Docker application. Set Docker as an icon in the system tray. Note: Please keep the Docker and Ollama apps open running at all times in the background. Otherwise, Llama 3 will not work in your browser.

Now open the Command Prompt and paste the following command into the prompt:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -name ghcr.io/open-webui/open-webui:main --restart always

This will take some time as the above command will download all the necessary resources, so please be patient. Once the command is complete, open Docker and select the Containers tab on the left. Note by default, a container will be created with the port number 3000:8080.

Premi il numero di porta 3000:8080. Si aprirà una nuova scheda nel tuo browser web predefinito. Per iniziare a lavorare con Llama 3 all'interno del tuo browser, devi registrarti e poi effettuare l'accesso. Se vedi localhost:3000 nella barra degli indirizzi, significa che Llama 3 viene servito sul tuo computer in locale. Non è necessaria una connessione Internet attiva per funzionare.

Nel menu a discesa seleziona il modello di chat Llama che desideri abilitare. Ulteriori modelli Llama 3 possono essere installati tramite Ollama seguendo le istruzioni che verranno presentate. Il modello sarà quindi disponibile automaticamente nel tuo browser.

Puoi vedere l'intera cronologia delle conversazioni sul lato sinistro dello schermo. Chiudi semplicemente la finestra del browser quando hai finito. Per chiudere Docker, apri l'applicazione e clicca sul pulsante Stop. Ora puoi chiudere Docker.

Dopo aver avviato Ollama e Docker, lascia che completi la sua esecuzione in pochi minuti. Ora, apri il tuo browser web e clicca sul port forwarding nel contenitore Docker per indirizzare al server localhost. Puoi usare Llama 3 da qui in poi. Accedi al tuo account per attivare Llama 3.

Ci auguriamo davvero che questo articolo ti sia stato utile per rispondere alla tua domanda e che tu riesca a configurare LLaMA 3 su un Windows 11 locale senza troppi problemi.