So installieren Sie LLaMA 3 lokal auf Windows 11

Vor Kurzem hat Meta Llama 3 vorgestellt – ein riesiges Sprachmodell. Es hat viele Anwendungsmöglichkeiten, beispielsweise das Beantworten Ihrer Fragen und das Helfen bei Schularbeiten und Projekten. Sie können jederzeit darauf zugreifen, egal ob online oder offline, indem Sie Llama 3 lokal auf Ihrem Windows 11-PC installieren. So können Sie Llama 3 lokal auf einem Windows 11/10-PC installieren.

Ansätze zur Installation von Llama 3 auf einem Windows 11-Desktop Die Installation von Llama 3 mit Python auf einem Windows 11- oder 10-Computer erfordert technisches Fachwissen. Es gibt jedoch mehrere Workarounds, mit denen Sie Llama 3 tatsächlich lokal auf einem Windows 11-Computer installieren können. Lassen Sie mich diese Ansätze veranschaulichen.

Um Llama 3 zu installieren und auszuführen, müssen Sie auf einem Windows 11-PC einige Befehle über die Eingabeaufforderung ausführen. Allerdings sind Sie auf die Befehlszeilenversion beschränkt. Die Verwendung der Web-Benutzeroberfläche erfordert mehr Schritte. Ich werde Sie durch diese beiden Möglichkeiten führen.

Wenn Sie Windows 11 verwenden, müssen Sie zuerst Ollama installieren, bevor Sie Llama 3 bereitstellen. So gehen Sie vor: Gehen Sie zur Hauptwebsite von Ollama.

Klicken Sie auf die Schaltfläche „Herunterladen“ und wählen Sie dann „Windows“ aus dem Dropdown-Auswahlmenü aus.

Sie sehen „Download für Windows“ auf Ihrem Computer als ausführbare Datei. Die einfachste Möglichkeit, Ollama zu installieren, besteht darin, die heruntergeladene ausführbare Datei auszuführen.

Starten Sie Ihren Computer nach der Installation von Ollama neu. Er sollte im stillen Modus laufen. Sie sehen ihn in Ihrer Taskleiste. Klicken Sie im Menü auf der Homepage von Ollama auf „Modelle“. Alle Typen werden Ihnen angezeigt.

Llama 3.1 hat die folgenden drei Optionen: 8B Teil 70B Abschnitt 405B Da der letzte Parameter der größte ist, können Sie ihn nicht auf einem Low-End-PC ausführen. In Llama 3.2 gibt es zwei verfügbare Parameter: 1B 3B Zuerst müssen Sie eine geeignete Version von Llama auswählen, die Ihren Anforderungen entspricht. Um beispielsweise die Version von Llama 3.2 zu installieren, klicken Sie auf Llama 3.2. Wählen Sie nach dem Klicken den Parameter aus, den Sie in der Dropdown-Liste installieren möchten, öffnen Sie die Eingabeaufforderung und kopieren Sie den Befehl daneben.

For your convenience are the instructions on how to do both for the Llama 3.2 model. The following command installs the Llama 3.2 3B model: llama 3.2:3b olivama run The command for running the installation of the model in Llama 3.2 1B is as follows: llama 3.2:1b gallina First, open the Command Prompt. Then, as per your requirement, write any one of the above commands and hit Enter. It is going to take a good deal of time to download all the essential data. It depends on the speed of your Internet connection. In the Command Prompt, it displays a success message if it's done accordingly.

Just begin to type into your message, and the Llama 3.2 model will engage immediately. The instructions for installing the Llama 3.1 model can be found on the Ollama website.

To launch Llama 3.1 or 3.2 the second time around from your PC, execute the same command in Command Prompt.

One disadvantage of installing Llama 3 through CMD is that it does not save your chat history. It will remember conversations if installed on your local machine and will have a nicer UI. You can see how to do that in the approach below.

Run Llama 3's web interface on Windows 11

Compared to using Llama 3 in the command prompt window, it has a much nicer user experience when using it in a web browser and keeps the chat history. Here I will demonstrate how to install Llama 3 in your browser.

To run Llama 3 in the browser, one should install Docker and Llama 3 via Ollama. If not installed, as previously discussed, please install Llama 3 using Ollama. Docker can be downloaded and installed directly from the website.

Once installed, launch Docker and create an account. Docker won't start working until you've registered an account. Once you have created an account, log in using the Docker application. Set Docker as an icon in the system tray. Note: Please keep the Docker and Ollama apps open running at all times in the background. Otherwise, Llama 3 will not work in your browser.

Now open the Command Prompt and paste the following command into the prompt:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -name ghcr.io/open-webui/open-webui:main --restart always

This will take some time as the above command will download all the necessary resources, so please be patient. Once the command is complete, open Docker and select the Containers tab on the left. Note by default, a container will be created with the port number 3000:8080.

Drücken Sie die Portnummer 3000:8080. Dadurch wird eine neue Registerkarte in Ihrem Standard-Webbrowser geöffnet. Um mit Llama 3 in Ihrem Browser arbeiten zu können, müssen Sie sich registrieren und dann einloggen. Falls Sie localhost:3000 in der Adressleiste sehen, bedeutet dies, dass Llama 3 lokal auf Ihrem Computer bereitgestellt wird. Dafür ist keine aktive Internetverbindung erforderlich.

Wählen Sie in der Dropdown-Liste aus, welches Llama-Chatmodell Sie aktivieren möchten. Weitere Llama 3-Modelle können über Ollama installiert werden, indem Sie den angezeigten Anweisungen folgen. Das Modell ist dann automatisch in Ihrem Browser verfügbar.

Sie können Ihren gesamten Konversationsverlauf auf der linken Seite Ihres Bildschirms sehen. Schließen Sie einfach Ihr Browserfenster, wenn Sie fertig sind. Um Docker zu beenden, öffnen Sie die Anwendung und klicken Sie auf die Schaltfläche „Stopp“. Sie können Docker jetzt schließen.

Nachdem Sie Ollama und Docker gestartet haben, lassen Sie es einige Minuten lang laufen. Öffnen Sie nun Ihren Webbrowser und klicken Sie auf die Portweiterleitung im Docker-Container, um zum Localhost-Server zu gelangen. Von hier an können Sie Llama 3 verwenden. Melden Sie sich bei Ihrem Konto an, um Llama 3 zu aktivieren.

Wir hoffen wirklich, dass dieser Artikel für Ihre Frage hilfreich war und dass Sie LLaMA 3 ohne großen Aufwand auf einem lokalen Windows 11 einrichten können.