Kvantisering. Hvis du tror, det lyder som noget, kun folk med PhD og for mange fritimer går op i, har du næsten ret – men også kun næsten. For i maskinlæringens verden er kvantisering selve nøglen til effektiv AI på små, men stærke maskiner. Og ja, det gælder især Apple Silicon, hvor M-seriens chips nu agerer legeplads for maskinlæringsnørder og app-udviklere, der drømmer om at få store sprogmodeller (LLM) til at danse uden at sprænge RAM'ens rammer.
Den nyeste pre-print på arXiv smider derfor hovedet ned i inferens på Apple Silicon – og ser nærmere på, hvordan kvantisering reelt påvirker ydelsen, især på de efterhånden ikke så ydmyge MacBooks og iPads. Spoiler: Der er masser af gevinster, men også sjove benspænd.
- Anvendelse af kvantisering gør det muligt at presse endnu større sprogmodeller gennem den neural engine og GPU-delen på Apple-chippen, uden at blive kvalt i varme eller strømforbrug.
- Et opgør med myten om at Mac'en ikke kan noget med AI, der afslører, at ML på Mac er mere end blot en demo fra WWDC.
Studiet trækker på benchmarks, der får enhver ML-specialist til at klappe i hænderne (eller finde stopperne frem til airpods'ene af ren begejstring). Klar besked: Kvantisering med minimale tab af præcision kan gøre store sprogmodeller både lynhurtige og overraskende effektive – uden at du behøver sælge din MacBook Pro på DBA efter første inferens-run.
“Apples M-serie er ikke kun cremen af hardware til video-redigering eller Swift-playgrounds – det er i stigende grad et rigtigt AI-værktøj. Bare spørg udviklerne, der får GPT-agtige modeller til at spinde som en gammel kat på Mac.”
Men fred være med støjen fra PC-folket. Apple-lejren kan faktisk følge med, både med ydelse og energi-effektivitet – diskutér endelig her, hvis du orker. Forudsat, naturligvis, at softwaren spiller, og man er venner med Metal og CoreML.
For Apple-fans og udviklere betyder det mere end marketing-floskler: Fremtiden peger på AI-apps, hvor kvantisering og hardware acceleration på M-serien gør Mac (og måske iPad Pro med M-chip?) til seriøse datavidenskabelige maskiner – ikke bare pæne skriveborde. Får vi integrerede AI-modeller uden cloud? Ja, hvis Apple får viljen – og investerer i nogle ekstra ML ingeniører (og måske lidt mere åbenhed).
Du kan dykke ned i hele artiklen på arXiv, eller finde nørderne i gang med at pille alt fra hardware acceleration til model-parallelisering fra hinanden på Hacker News. Interesseret i flere nørdede AI/Apple-vinkler? Søg videre på We❤️Apple – hvis du tør.
Delen: