AI & computing › Generatieve AI & synthetische media
Tool simuleert hoe snel een lokale AI-chatbot draait op jouw toekomstige pc
Een nieuwe gratis webtool laat zien hoe snel een taalmodel als Llama of Qwen typt op specifieke videokaarten, Mac-computers of processors, nog vóórdat je dure hardware koopt. De maker bouwde llmspeed.dev als simulator op basis van community-benchmarks, zodat kopers een realistisch gevoel krijgen bij de spreekwoordelijke 'typsnelheid' van een AI-model op hun systeem.
Steeds meer mensen willen AI-modellen niet via een cloud-dienst zoals ChatGPT gebruiken, maar lokaal op hun eigen computer draaien. Dat is privacyvriendelijker en werkt zonder internetverbinding of abonnementskosten. Het probleem: hoe snel zo'n model reageert, hangt sterk af van de videokaart, het geheugen en het model dat je kiest. Die informatie is voor leken nauwelijks te doorgronden voordat ze honderden of duizenden euro's aan hardware uitgeven. De Nederlandse ontwikkelaar achter llmspeed.dev, gepubliceerd als 'Show HN'-project op discussieforum Hacker News, probeert die drempel weg te nemen met een simulator.
Hoe de tool werkt
Gebruikers kiezen op de site een stuk hardware uit een lange lijst, van consumentenvideokaarten als de Nvidia RTX 4090 en RTX 5090 tot Apple's Mac Studio met M5 Ultra-chip en zware datacenterkaarten als de Nvidia H100 en H200. Daarnaast kun je een taalmodel selecteren, zoals Gemma, Qwen, DeepSeek of het open-source model GPT-OSS. De tool simuleert vervolgens hoe snel dat model woord voor woord verschijnt op het scherm, op basis van een korte testvraag. Zo voel je letterlijk het verschil tussen een snel systeem en een traag systeem, zonder dat je er zelf een moet aanschaffen om het uit te proberen.
Community-data in plaats van reclamecijfers
Opvallend is dat llmspeed.dev niet draait op marketingclaims van fabrikanten, maar op metingen uit de praktijk. De cijfers komen van community-benchmarks, onder meer gedeeld op het forum r/LocalLLaMA en de benchmarksite localscore.ai, waar gebruikers hun eigen snelheidstests publiceren. Voor combinaties van hardware en modellen die nog niet gemeten zijn, berekent de tool een schatting op basis van vergelijkbare systemen en de technische specificaties van de chip. De broncode en onderliggende data staan vrij toegankelijk op softwareplatform GitHub, zodat anderen de cijfers kunnen controleren of aanvullen.
Waarom dit aanslaat
De timing is niet toevallig. Steeds meer fabrikanten brengen apparaten op de markt die specifiek geschikt zijn voor het lokaal draaien van AI, zoals AMD's Ryzen AI Max+-chips met gedeeld geheugen tot 192 gigabyte en Nvidia's compacte DGX Spark-computer. Die systemen zijn duur en de prestaties verschillen enorm per model en taak. Een simulator die vooraf een realistisch gevoel geeft, scheelt kopers een dure verkeerde beslissing. Het project kreeg op Hacker News veel bijval, omdat het een concreet antwoord biedt op een vraag die in de groeiende hobbyistengemeenschap rond lokale AI steeds vaker terugkomt: welke hardware heb ik eigenlijk nodig?
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Nu steeds meer mensen AI-modellen thuis willen draaien in plaats van via de cloud, groeit de vraag naar duidelijke, onafhankelijke informatie over benodigde hardware. Tools als llmspeed.dev maken lokale AI toegankelijker voor een breder publiek en kunnen de aanschaf van gespecialiseerde AI-hardware voor consumenten versnellen.
- Lokaal taalmodel (local LLM)
- Een AI-taalmodel dat volledig op de eigen computer draait, zonder internetverbinding of clouddienst nodig te hebben.
- VRAM
- Het geheugen op een videokaart, essentieel om grote AI-modellen snel te laten draaien.
- Benchmark
- Een gestandaardiseerde test waarmee de prestaties van hardware of software worden gemeten en vergeleken.
- Open source
- Software waarvan de broncode openbaar is, zodat iedereen die kan bekijken, gebruiken of aanpassen.
- GPU
- Grafische processor; naast beeldbewerking ook het onderdeel dat AI-berekeningen uitvoert.
- Gedeeld geheugen (unified memory)
- Een geheugenarchitectuur, zoals bij Apple's chips, waarbij processor en grafische chip hetzelfde geheugen gebruiken in plaats van gescheiden geheugenbanken.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
