Jan — open-source lokale LLM applicatie

Wat is Jan?

Jan is een volledig open-source desktopapp voor het lokaal draaien van LLMs. De app focust op privacy-first: alle data blijft op jouw apparaat, zonder enige telemetrie. Naast lokale modellen ondersteunt Jan ook externe API's (OpenAI, Claude, Groq) en heeft het een extensiesysteem voor extra functionaliteit zoals RAG.

Vereisten

Installatie

Ga naar jan.ai en download de installer voor jouw platform:

• Windows: Voer jan-win32-x64-*.exe uit en volg de installatiewizard.
• macOS: Open het .dmg-bestand en sleep Jan naar Applications. Kies voor M1/M2/M3 de ARM-versie voor betere prestaties.
• Linux: Download het .deb- of .AppImage-bestand. Voor Debian/Ubuntu: sudo dpkg -i jan-linux-amd64-*.deb.

Een model downloaden

Klik in de linker navigatiebalk op Hub. Je ziet een overzicht van aanbevolen modellen gesorteerd op grootte en gebruik. Jan geeft automatisch aan welke modellen geschikt zijn voor jouw hardware: groene modellen draaien soepel, gele modellen kunnen trager zijn.

Klik op een model om details te bekijken en druk op Download om te starten.

Chatten

Klik op het Thread-icoon (linksboven) om een nieuw gesprek te starten. Kies een model via het dropdown-menu bovenaan. Type je bericht en druk op Enter. In het rechterdeelvenster kun je temperature, context-lengte en een system prompt instellen per gesprek. Gespreksgeschiedenissen worden automatisch opgeslagen als threads.

API-server

Jan biedt een OpenAI-compatibele API-server op poort 1337. Activeer deze via Instellingen → Jan API Server → Start Server.

curl http://localhost:1337/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2-3b-instruct",
    "messages": [{"role": "user", "content": "Hallo, hoe gaat het?"}],
    "stream": false
  }'

Extensies

Jan ondersteunt extensies voor uitgebreidere functionaliteit. Ga naar Instellingen → Extensies om extensies te beheren:

• RAG (Retrieval-Augmented Generation): Voeg eigen documenten toe als kennisbasis. Jan kan antwoorden dan baseren op jouw eigen PDF's, Word-bestanden en teksten — volledig lokaal verwerkt.
• Remote modellen: Voeg API-sleutels toe voor OpenAI, Anthropic Claude of Groq om ook cloud-modellen via Jan te gebruiken.
• TensorRT-LLM: NVIDIA GPU-versnelling voor significant snellere inferentie op ondersteunde grafische kaarten.

Tips & tricks

• Jan slaat alle data op in ~/jan/ — inclusief modellen, gesprekken en instellingen. Maak hiervan een backup als je van apparaat wisselt.
• Activeer GPU-offload lagen in de modelinstellingen om de GPU gedeeltelijk te gebruiken, zelfs als het model niet volledig in VRAM past.
• De RAG-extensie verwerkt documenten lokaal — ideaal voor vertrouwelijke bedrijfsdocumenten die je niet naar de cloud wilt sturen.
• Volg de Jan GitHub-repository voor de nieuwste releases en community-extensies.