Ollama auf Raspberry Pi installieren: Komplettes Tutorial und praktische Anleitung

Tutorials

Einführung

Künstliche Intelligenz ist heute für jedermann zugänglich, nicht nur auf leistungsstarken Servern. Mit Ollamakönnen Sie Sprachmodelle (LLM) direkt in Lokal.
Dieses Tutorial zeigt Ihnen, wie Sie Ollama auf einem Raspberry Pi 5 (oder Pi 4)und wie Sie Ihre ersten KI-Modelle lokal einsetzen können.

1. Voraussetzung

Empfohlenes Material

  • Raspberry Pi 5 (oder Pi 4, aber weniger leistungsfähig).
  • 8 GB RAM empfohlen (4 GB möglich bei kleinen Modellen).
  • Karte microSD 32 GB Minimum oder besser: NVMe-SSD / USB.
  • Internetverbindung um Ollama und die Vorlagen herunterzuladen.

Software

  • Raspberry Pi OS (64-Bit) basierend auf Debian Bookworm oder Bullseye.
  • Ein Terminal, auf das zugegriffen werden kann (über Tastatur/Bildschirm oder SSH).

2. Aktualisierung des Systems

Aktualisieren Sie vor der Installation Ihren Pi :

sudo apt update && sudo apt upgrade -y

Starten Sie dann neu :

sudo reboot

3. Installation von Ollama auf Raspberry Pi

Ollama bietet ein offizielles Installationsskript an. Laden Sie es herunter und führen Sie es aus :

curl -fsSL https://ollama.com/install.sh | sh

⚡ Dadurch wird Ollama installiert und der Systemdienst automatisch eingerichtet.

4. Überprüfen Sie die Installation

Überprüfen Sie nach der Installation, ob Ollama aktiv ist :

ollama --version

Sie sollten sehen, dass eine Versionsnummer angezeigt wird.

Sie können auch überprüfen, ob der Dienst läuft :

systemctl status ollama

5. Herunterladen und Ausführen einer IA-Vorlage

Beispiel mit LLaMA 2

Um auszuführen LLaMA 2, geben Sie ein:

ollama run llama2

Die Vorlage wird automatisch heruntergeladen (Größe: mehrere hundert MB).

Beispiel mit Mistral

ollama run mistral

Beispiel mit einer leichteren Vorlage (TinyLlama)

ollama run tinyllama

👉 Auf Raspberry Pi bevorzugen Sie die schlanke und quantifizierte Modelle (Q4, Q5), da die Leistung sonst sehr langsam ist.

6. Mit Ollama interagieren

Sobald die Vorlage gestartet ist, können Sie sich direkt im Terminal unterhalten.

Beispiel:

> Hallo, wer bist du?
Ich bin ein Sprachmodell, das dank Ollama funktioniert!

Zum Beenden :

/bye

7. Ollama über REST API nutzen

Ollama integriert eine Lokale API. Sie können auf den Port zugreifen 11434.

Beispiel mit curl :

curl http://localhost:11434/api/generate -d '{{
  "model": "llama2",
  "prompt": "Erkläre mir den Raspberry Pi in drei Sätzen".
}'

👉 Ergebnis: Eine JSON-Antwort, die den erzeugten Text enthält.

Dies ermöglicht es Ihnen, Ollama in Ihre Anwendungen, Webseiten oder Heimautomatisierungsprojekte.

8. Optimierungen für Raspberry Pi

  • Eine SSD verwenden statt einer microSD-Karte → schneller und zuverlässiger.
  • Leichte Modelle wählen : TinyLlama, GPT4All-J, Vicuna quantisé.
  • Lange Prompts einschränken : Der Pi hat nur wenig Speicher, vermeiden Sie zu große Einträge.
  • Lüftung : Wenn Sie einen Pi 5 intensiv nutzen, sollten Sie einen Ventilator oder einen belüftetes Gehäuse.

9. Laufende Fehlerbehebung

Ollama startet nicht

Überprüfen Sie den Dienst :

systemctl restart ollama

Fehler bei zu wenig Speicher

Versuchen Sie es mit einer kleineren Vorlage oder verkleinern Sie den Kontext. Beispiel :

OLLAMA_CONTEXT=512 ollama run tinyllama

Langsames Herunterladen

Bevorzugen Sie eine Ethernet-Verbindung für den ersten Download der Vorlagen.

10. Konkrete Anwendungen mit Ollama auf Pi

  • Lokaler persönlicher Assistent → Chatbot auf der Kommandozeile.
  • Heimischer KI-Server → mit Home Assistant verbunden, um sein Haus in natürlicher Sprache zu steuern.
  • Lernen → verstehen, wie LLM funktionieren und wo ihre Grenzen liegen.
  • Entwicklung → lokale Apps erstellen (Smart Note-Taking, Zusammenfassungen, Textgeneratoren).

Schlussfolgerung

Installieren Sie Ollama auf Raspberry Pi ist eine zugängliche und spannende Möglichkeit, künstliche Intelligenz lokal zu erforschen. Natürlich kann der Pi nicht mit Servern mit Grafikprozessoren konkurrieren, aber er bietet die Möglichkeit testen, lernen und konkrete Projekte erstellen mit minimalen Kosten und Energieverbrauch.

👉 Mit Ollama wird dein Raspberry Pi zu einem persönlicher KI-MiniserverSie haben die volle Kontrolle über Ihr Leben.

Autor