Ollama-Kit für lokale KI: privater LLM-Server Raspberry Pi 5 16 GB + NVMe 512 GB

Beschreibung

Kit Ollama IA Locale: Ihr privates LLM, das bei Ihnen bleibt, ohne Cloud, ohne Abonnement

Die Kit Ollama IA Locale MonRaspberry ist eine schlüsselfertige Lösung zum Ausführen von Sprachmodellen (LLM) in lokaler Umgebung, direkt auf Ihrem Raspberry Pi 5, ohne auch nur die geringsten Daten in die Cloud zu senden. Eine echte souveräne Alternative zu ChatGPT, Claude, Gemini oder Copilot für Fachleute, die mit sensiblen Daten arbeiten (Anwälte, Ärzte, Personalabteilungen, Buchhalter, Journalisten, Forscher) und für KI-Begeisterte , die ihre künstliche Intelligenz verstehen, damit experimentieren und sie kontrollieren möchten.

Aufgebaut auf einem Raspberry Pi 5 16GB In Kombination mit einem Waveshare NVMe-SSD 512 GB, wird das Kit anschlussfertig mit Ollama, installiert über Docker, zwei vorinstallierten Modellen (gemma3:1b und llama3.2:3b) und der Weboberfläche Open WebUI geliefert, die von jedem Gerät in Ihrem lokalen Netzwerk aus erreichbar ist. Schließen Sie die Stromversorgung an, öffnen Sie Ihren Browser und chatten Sie in weniger als 60 Sekunden mit Ihrer KI: genau wie mit ChatGPT, aber zu 100 % bei Ihnen.

Warum ein privates ChatGPT auf dem Raspberry Pi?

• Vollständige Vertraulichkeit : Ihre Prompts verlassen nie Ihr lokales Netzwerk
• DSGVO-Konformität von Haus aus : keine Daten werden an OpenAI, Anthropic oder Google gesendet
• Kein Abonnement : im Gegensatz zu ChatGPT Plus (~22 €/Monat) oder Claude Pro (~22 €/Monat)
• Keine Token-Limits und kein Kontingent: chatten Sie so viel Sie möchten
• Funktioniert offline : nach der Installation ist keine Internetverbindung erforderlich
• Nutzung beruflicher Daten ohne Risiko eines Datenabflusses an einen Drittanbieter
• Ideal, um KI von innen zu verstehen: Modelle, Prompts, Parameter, RAG…
• Geringer Stromverbrauch : ~7 W im Leerlauf, deutlich weniger als ein dedizierter PC

Technische Spezifikationen

• Platine: Raspberry Pi 5 16GB offiziell (BCM2712 Quad-Core Cortex-A76 @ 2,4 GHz)
• Lagerung : Waveshare NVMe-SSD 512 GB (PCIe Gen 3)
• Gehäuse: Argon NEO 5 + NVMe-Erweiterung (hochwertige passive Kühlung, ideal für dauerhafte KI-Last)
• Ernährung : offizielles USB-C-Netzteil 45 W
• Konnektivität : Gigabit-Ethernet + Dualband-WLAN 5 GHz
• Bildschirm (Einrichtung): Micro-HDMI-auf-HDMI-Kabel 1 m enthalten
• OS: Raspberry Pi OS Lite 64 Bit, Gebietsschema FR, AZERTY-Tastatur, Zeitzone Europe/Paris
• Hostname: ollama-pi (oder lokale IP)
• Kapazität: 1 bis 2 gleichzeitige Nutzer (abhängig vom verwendeten Modell)

Vorinstallierter Software-Stack

• Docker + Ollama nativ (neueste stabile Version)
• Open WebUI (ChatGPT-ähnliche Oberfläche, erreichbar über http://ip:3000)
• Vorinstallierte Modelle:
  • gemma3:1b (Google, 1 Milliarde Parameter): ultraschnell, ideal für Fragen und Antworten, Zusammenfassungen, Recherchen
  • llama3.2:3b (Meta, 3 Milliarden Parameter): präziser, ideal für Texte, logisches Denken, einfachen Code
• systemd-Dienst ollama.service : automatischer Start beim Booten
• Open WebUI persistent in Docker : automatischer Neustart bei einem Absturz
• Ollama-API freigegeben auf Port 11434 (kompatibel mit n8n, Home Assistant, Python-Skripten…)
• Systemupdates eingespielt
• SSH aktiviert (Port 22, Passwort beim ersten Login ändern)

Open WebUI: wie ChatGPT, aber bei Ihnen

Sobald das Kit angeschlossen ist, öffnen Sie in Ihrem Browser http://ollama-pi:3000 (oder die IP des Pi) von jedem Gerät in Ihrem Netzwerk aus (PC, Mac, Smartphone, Tablet). Sie gelangen zu einer Oberfläche, die der von ChatGPT nahezu identisch ist :

• Mehrere Chats mit dauerhaftem Verlauf
• Modellauswahl mit einem Klick (gemma3:1b oder llama3.2:3b)
• Anpassung der System-Prompts und Erstellung von „Personas“
• Mehrbenutzerbetrieb mit Authentifizierung
• RAG (Retrieval-Augmented Generation) : Laden Sie Ihre PDFs, Dokumente und Websites hoch, um Ihre Dokumentenbasis abzufragen
• Markdown, Code-Highlighting, Kopieren/Einfügen wie bei ChatGPT
• Mobilfreundlich : funktioniert einwandfrei auf dem Smartphone

Vorinstallierte Modelle: was leisten sie?

🚀 gemma3:1b: der Schnelle

• 1 Milliarde Parameter, ultraleichtes Google-Modell
• Antwortgeschwindigkeit : sehr schnell auf dem Raspberry Pi 5
• Ideal für : kurze Fragen, Zusammenfassungen, Übersetzung, Autovervollständigung, Integration in Skripte
• Typische Anwendungsfälle: Home-Assistant-Assistent, E-Mail-Sortierung, Automatisierungsskripte

🧠 llama3.2:3b: der Vielseitige

• 3 Milliarden Parameter, sehr renommiertes Meta-Modell
• Antwortgeschwindigkeit : zufriedenstellend auf dem Pi 5 16GB (~5-15 Token/s je nach Anfrage)
• Ideal für : Verfassen von E-Mails und Notizen, logisches Denken, einfacher Code, lange Unterhaltungen
• Typische Anwendungsfälle: tägliches Schreiben, Brainstorming, erweiterte Notizen, RAG auf Ihren Dokumenten

Sie können jederzeit weitere Modelle installieren aus dem Ollama-Katalog (ollama pull mistral, ollama pull phi3, ollama pull qwen2.5, usw.).

Professionelle Anwendungsfälle (sensible Daten)

• Anwaltskanzleien : Analyse von Unterlagen, Briefentwürfe ohne Cloud-Übertragung
• Medizinische Berufe : Unterstützung beim Verfassen von Berichten, DSGVO-Konformität
• Steuerkanzleien / Personalwesen : risikofreie Verarbeitung von Gehaltsdaten
• Journalisten & Ermittler : Analyse sensibler Quellen ohne Spuren in der Cloud
• Akademische Forschung : Arbeit mit nicht öffentlichen Datensätzen
• Unternehmen, die NIS2 / DORA unterliegen : europäische digitale Souveränität
• Beratungsunternehmen : Brainstorming zu vertraulichen Aufträgen
• Autoren & Verlage : Schreiben, ohne die Trainingsdatensätze Dritter zu füttern

Anwendungsfälle für Enthusiasten & Maker

• Generative KI verstehen in der Praxis, ohne für eine Cloud-GPU zu bezahlen
• Mit Prompt Engineering experimentieren ohne Token-Limit
• KI in Home Assistant integrieren über die Ollama-API (Port 11434)
• Workflows automatisieren über n8n / Node-RED + lokales Ollama
• Ein eigenes Dokumenten-RAG erstellen (PDF, Markdown, Websites)
• Code-Assistent für Ihre Python-/Bash-Skripte in VS Code
• Bildungsprojekte mit KI-Studierenden

Einrichtung in 60 Sekunden

1. Nehmen Sie den vorinstallierten Raspberry Pi 5 aus dem Karton
2. Schließen Sie das45-W-Netzteilam HDMI-Kabel und der Ethernet-Kabel zur Internetbox an
3. Einschalten: Ollama und Open WebUI starten automatisch
4. Notieren Sie dielokale IP (auf dem Bildschirm angezeigt)
5. Öffnen Sie auf einem beliebigen Gerät im Netzwerk http://<ip>:3000
6. Erstellen Sie Ihr Admin-Konto und beginnen Sie den Dialog mit Ihrer privaten KI!

Ollama-API: Verbinden Sie sie mit Ihren Tools

Der Port 11434 (Ollama-API) ist in Ihrem lokalen Netzwerk freigegeben. So können Sie Ihre lokale KI verbinden mit:

• Home Assistant (native „Ollama“-Integration seit 2024)
• n8n und Node-RED für KI-Workflows
• Continue.dev oder Cody in VS Code als Code-Assistent
• Ihre eigenen Python-Skripte (requests, ollama-python)
• Obsidian mit dem Ollama-Plugin (erweiterte Notizen)
• Logseq, AppFlowy, Joplin und weitere kompatible Tools

Realistische Leistung: was ist zu erwarten?

Der Raspberry Pi 5 16GB ist keine NVIDIA H100 GPU. Seien wir ehrlich:

• gemma3:1b: sehr schnell, sofortige Antworten bei einfachen Aufgaben
• llama3.2:3b: ~5 bis 15 Token/Sekunde je nach Prompt (menschliche Lesegeschwindigkeit)
• 7B-Modelle: möglich, aber langsam (~1-3 Token/s)
• 1 bis 2 gleichzeitige Nutzer empfohlen (die 3. gleichzeitige Anfrage landet in einer Warteschlange)

Das ist perfekt für die Einzelnutzung oder kleine Teams, als Ersatz für ein persönliches ChatGPT/Claude-Abonnement. Für den Unternehmenseinsatz mit vielen gleichzeitigen Nutzern oder für 13B+-Modelle ist ein dedizierter GPU-Server erforderlich.

Inhalt der Schachtel

• 1x Raspberry Pi 5 16GB, vorinstalliert im Gehäuse Argon NEO 5
• 1x Waveshare NVMe-SSD 512 GB (OS + Ollama + 2 vorinstallierte Modelle)
• 1x offizielles USB-C-Netzteil 45 W
• 1x Micro-HDMI-auf-HDMI-Kabel 1 m
• MonRaspberry-Support inklusive

Häufig gestellte Fragen (FAQ)