K\u00fcnstliche Intelligenz ist heute f\u00fcr jedermann zug\u00e4nglich, nicht nur auf leistungsstarken Servern. Mit Ollama<\/a><\/strong>k\u00f6nnen Sie Sprachmodelle (LLM) direkt in Lokal<\/strong>. Aktualisieren Sie vor der Installation Ihren Pi :<\/p>\n\n\n Starten Sie dann neu :<\/p>\n\n\n Ollama bietet ein offizielles Installationsskript an. Laden Sie es herunter und f\u00fchren Sie es aus :<\/p>\n\n\n \u26a1 Dadurch wird Ollama installiert und der Systemdienst automatisch eingerichtet.<\/p>\n\n\n\n \u00dcberpr\u00fcfen Sie nach der Installation, ob Ollama aktiv ist :<\/p>\n\n\n Sie sollten sehen, dass eine Versionsnummer angezeigt wird.<\/p>\n\n\n\n Sie k\u00f6nnen auch \u00fcberpr\u00fcfen, ob der Dienst l\u00e4uft :<\/p>\n\n\n Um auszuf\u00fchren LLaMA 2<\/strong>, geben Sie ein:<\/p>\n\n\n Die Vorlage wird automatisch heruntergeladen (Gr\u00f6\u00dfe: mehrere hundert MB).<\/p>\n\n\n\n Beispiel mit einer leichteren Vorlage (TinyLlama)<\/p>\n\n\n \ud83d\udc49 Auf Raspberry Pi bevorzugen Sie die schlanke und quantifizierte Modelle<\/strong> (Q4, Q5), da die Leistung sonst sehr langsam ist.<\/p>\n\n\n\n Sobald die Vorlage gestartet ist, k\u00f6nnen Sie sich direkt im Terminal unterhalten.<\/p>\n\n\n\n Beispiel:<\/p>\n\n\n Zum Beenden :<\/p>\n\n\n Ollama integriert eine Lokale API<\/strong>. Sie k\u00f6nnen auf den Port zugreifen Beispiel mit \ud83d\udc49 Ergebnis: Eine JSON-Antwort, die den erzeugten Text enth\u00e4lt.<\/p>\n\n\n\n Dies erm\u00f6glicht es Ihnen, Ollama in Ihre Anwendungen, Webseiten oder Heimautomatisierungsprojekte<\/strong>.<\/p>\n\n\n\n
Dieses Tutorial zeigt Ihnen, wie Sie Ollama auf einem Raspberry Pi 5 (oder Pi 4)<\/strong>und wie Sie Ihre ersten KI-Modelle lokal einsetzen k\u00f6nnen.<\/p>\n\n\n\n1. Voraussetzung<\/h2>\n\n\n\n
Empfohlenes Material<\/h3>\n\n\n\n
\n
Software<\/h3>\n\n\n\n
\n
2. Aktualisierung des Systems<\/h2>\n\n\n\n
\nsudo apt update && sudo apt upgrade -y\n<\/pre><\/div>\n\n\n
\nsudo reboot\n<\/pre><\/div>\n\n\n
3. Installation von Ollama auf Raspberry Pi<\/h2>\n\n\n\n
\ncurl -fsSL https:\/\/ollama.com\/install.sh | sh\n<\/pre><\/div>\n\n\n
4. \u00dcberpr\u00fcfen Sie die Installation<\/h2>\n\n\n\n
\nollama --version\n<\/pre><\/div>\n\n\n
\nsystemctl status ollama\n<\/pre><\/div>\n\n\n
5. Herunterladen und Ausf\u00fchren einer IA-Vorlage<\/h2>\n\n\n\n
Beispiel mit LLaMA 2<\/h3>\n\n\n\n
\nollama run llama2\n<\/pre><\/div>\n\n\n
Beispiel mit Mistral<\/h3>\n\n\n
\nollama run mistral\n<\/pre><\/div>\n\n\n
\nollama run tinyllama\n<\/pre><\/div>\n\n\n
6. Mit Ollama interagieren<\/h2>\n\n\n\n
\n> Hallo, wer bist du?\nIch bin ein Sprachmodell, das dank Ollama funktioniert!\n<\/pre><\/div>\n\n\n
\n\/bye\n<\/pre><\/div>\n\n\n
7. Ollama \u00fcber REST API nutzen<\/h2>\n\n\n\n
11434<\/code>.<\/p>\n\n\n\ncurl<\/code> :<\/p>\n\n\n\ncurl http:\/\/localhost:11434\/api\/generate -d '{{\n \"model\": \"llama2\",\n \"prompt\": \"Erkl\u00e4re mir den Raspberry Pi in drei S\u00e4tzen\".\n}'\n<\/pre><\/div>\n\n\n8. Optimierungen f\u00fcr Raspberry Pi<\/h2>\n\n\n\n