Raspberry Pi AI Infrastructuur

01

Project overzicht

Gebouwd voor privacy.
Geoptimaliseerd voor AI.

Een zelfgebouwde server op een Raspberry Pi 5, waar ik AI modellen lokaal kan draaien, mijn smart home apparaten kan bedienen en data kan opslaan. Het hele systeem draait 24/7 en is van buitenaf veilig te bereiken.

Door alle services alleen op localhost te draaien en externe toegang via een beveiligde tunnel te regelen, blijft alles privé en veilig. Alle AI modellen draaien lokaal — mijn data gaat nergens naartoe.

Raspberry Pi 5 Python 3.13 Ollama Flask FastAPI LangChain ChromaDB Cloudflare Tunnel Tailscale VPN UFW Firewall Fail2ban Homebridge systemd

02

Wat het kan

🤖

Lokale AI

Ollama draait AI modellen (Qwen 2.5) volledig lokaal. Gecombineerd met ChromaDB voor slimme context. Alles blijft op Nexus, geen cloud nodig.

🛡️

Beveiliging

Alle diensten draaien alleen op localhost. Firewall blokkeert alles van buitenaf. SSH werkt alleen met keys. Cloudflare Tunnel voor veilige externe toegang.

🌐

Publieke AI Chat

Flask API met rate limiting zodat niemand het kan misbruiken. Bereikbaar via naja.nexusakai.com met SSL encryptie.

📊

Monitoring Dashboard

FastAPI dashboard voor live Nexus prestaties. CPU, geheugen, temperatuur — alles in real-time.

🏠

Smart Home

Homebridge verbindt alle slimme apparaten met Apple HomeKit. Philips Hue, IKEA — alles via één systeem.

💻

Development Setup

VS Code Remote SSH om vanaf de Mac op Nexus te programmeren. Continue.dev voor AI-powered code suggesties.

03

Systeem Architectuur

LAAG 05

Externe Toegang & Beveiliging

Cloudflare Tunnel (SSL/TLS) · Tailscale VPN · UFW Firewall

LAAG 04

Beveiligingslaag

Fail2ban · SSH hardened (keys only) · Automatische security updates

LAAG 03

Applicatie Services

Ollama :11434 · Flask API :5000 · FastAPI :8050 · Homebridge · Glances · Continue.dev

LAAG 02

OS & Runtime

Raspberry Pi OS (Debian) · Python 3.13 · Node.js · systemd

LAAG 01

Hardware

Raspberry Pi 5 (Quad-core ARM) · 16GB RAM · Actieve koeling · Gigabit LAN

04

Aanpak

Belangrijke keuzes

Alles op localhost: Geen enkele service is direct vanaf internet te bereiken. Alleen via Cloudflare Tunnel of Tailscale VPN.

Automatisch herstarten: Als een service crasht, start systemd hem automatisch opnieuw op.

Kleinere AI modellen: Qwen 2.5 met 1.5B of 3B parameters draaien goed op Nexus. Antwoorden komen binnen 10-20 seconden.

Rate limiting: Maximum 100 API requests per uur per IP adres, zodat niemand het kan overbelasten.

Geheugen beheer: Elke service heeft een maximum geheugen limiet, zodat de 16GB RAM niet vol loopt.

05

Code voorbeeld

api.py — Flask Chatbot API

from flask import Flask, request, jsonify
from flask_cors import CORS
from flask_limiter import Limiter
import requests

app = Flask(__name__)

# CORS — only allowed domains
CORS(app, resources={r"/*": {"origins": ["https://www.nexusakai.com"]}})

# Rate limiting — 100 requests per hour per IP
limiter = Limiter(app=app, default_limits=["100 per hour"])

@app.route("/chat", methods=["POST"])
@limiter.limit("20 per minute")
def chat():
    data = request.json
    response = requests.post("http://localhost:11434/api/generate",
        json={"model": "qwen2.5:3b", "prompt": data["message"]})
    return jsonify(response.json())

if __name__ == "__main__":
    app.run(host="127.0.0.1", port=5000)
            

06

Wat het heeft opgeleverd

🎯

Snelheid

AI antwoorden binnen 10-20 seconden. Indrukwekkend voor een Pi die normaal voor hobbyprojecten wordt gebruikt.

🔒

Veiligheid

Geen enkel beveiligingsprobleem gehad. Firewall en Fail2ban doen hun werk. Security score van 70% naar 95%.

📈

Uitbreidbaar

Dezelfde setup is te verhuizen naar een echte server zonder alles opnieuw te bouwen.

💰

Goedkoop

~5 euro per maand aan stroom. Geen cloud kosten, volledige controle over eigen data.

Raspberry Pi AI Infrastructuur

Gebouwd voor privacy.Geoptimaliseerd voor AI.

Belangrijke keuzes

Raspberry Pi
AI Infrastructuur

Gebouwd voor privacy.
Geoptimaliseerd voor AI.