Hvis nogen stadig var i tvivl: Apple Silicon er ikke kun til at holde Teams og Slack flyvende på dit skrivebord. Med MLX – et open source-framework designet til at udnytte maskinlæring direkte på din Mac’s M-serie chip – kan vi endelig se, hvor langt on-device AI faktisk er kommet. Men hvor hurtigt er det så egentlig?
I et dugfriskt papers på arXiv (vi linker også pænt til Hacker News – for hvorfor ikke få to for én?) sættes der både tal og turbo på diskussionen. Er din MacBook Pro med M2 faktisk noget, der kan give NVIDIA RTX-ejerne sved på panden? Eller skal du stadig have gang i skyen, hvis du vil lege med LLM’er og image classification i 2025?
“Apple’s Neural Engine er ikke kun marketing – MLX hiver reelle FLOPS ud af chippet – men den rammer stadig murene, hvis du vil over 70B parameter modeller.”
Det korte svar: Apple Silicon er imponerende hurtigt til typiske maskinlæringsbenchmarks, især dem som er optimeret til dets unikke arkitektur. MLX selv er udviklet til at gøre det let for nørder at benchmarke og kode direkte on-device, uden fallback til CUDA eller andre dystre drivere.
- MacBook Pro (M3) banker sig igennem klassiske ML benchmarks med bravur
- MLX gør det let at sammenligne Apple med “de andre” uden at flytte koden rundt
- Neural Engine’en bliver endelig brugt til andet end billeder af katte og Memoji’s
Men (der er altid et men): Hvis du stadig tror, du kan køre GPT-4 direkte i Safari, må du nok spænde hjelmen. Store sprogmodeller kræver stadig mere VRAM, end Mac’en kan fodre dem med. Alligevel: For de fleste ML udviklere og AI-interesserede fans er MLX på Apple Silicon shine værd.
Forfejlet hype? Nope. Men kom ikke og sig, vi på We❤️Apple ikke havde advaret dig om, at “on-device” ikke er det nye “på datacenter”.
Ekstra nørdefakta: arXiv-paperet har selvfølgelig benchmark-resultater, grafer og et drys af den vanlige ML-mystik. Har du brug for et argument i frokostpausen om hvorfor en MacBook Pro ikke bare er pæn, men faktisk kan noget, så er det her din ammunition.
Vil du lege videre, anbefaler vi at dykke ned i MLX’s officielle publicering eller se debatten på Hacker News. Mere maskinlæring og benchmarks? Søg selv løs på We❤️Apple.
Del: