Kvantisering. Hvis du tror det høres ut som noe bare folk med doktorgrad og altfor mye fritid bryr seg om, har du nesten rett – men bare nesten. For i maskinlæringens verden er kvantisering nøkkelen til effektiv AI på små, men kraftige maskiner. Og ja, det gjelder spesielt Apple Silicon, hvor M-seriens brikker nå fungerer som lekeplass for maskinlæringsnerder og app-utviklere som drømmer om å få store språkmodeller (LLM) til å danse uten å sprenge RAM-rammene.
Den nyeste pre-printen på arXiv dykker derfor ned i inferens på Apple Silicon – og ser nærmere på hvordan kvantisering faktisk påvirker ytelsen, spesielt på de etter hvert ikke så beskjedne MacBooks og iPads. Spoiler: Det er mange gevinster, men også noen morsomme utfordringer.
- Bruk av kvantisering gjør det mulig å presse enda større språkmodeller gjennom neural engine og GPU-delen på Apple-brikken, uten å kveles av varme eller strømforbruk.
- En oppgjør med myten om at Mac-en ikke duger til AI, som avslører at ML på Mac er mer enn bare en demo fra WWDC.
Studien baserer seg på benchmarks som får enhver ML-spesialist til å klappe i hendene (eller finne fram øreproppene til AirPods av ren begeistring). Klar beskjed: Kvantisering med minimale tap av presisjon kan gjøre store språkmodeller både lynraske og overraskende effektive – uten at du trenger å selge MacBook Pro-en på Finn.no etter første inferens-kjøring.
“Apples M-serie er ikke bare krem av maskinvare til videoredigering eller Swift-playgrounds – det er i økende grad et skikkelig AI-verktøy. Bare spør utviklerne som får GPT-lignende modeller til å spinne som en gammel katt på Mac.”
Men la oss ikke bry oss om støyen fra PC-folket. Apple-leiren kan faktisk følge med, både på ytelse og energieffektivitet – diskuter gjerne her, hvis du orker. Forutsatt selvsagt at programvaren spiller på lag, og at man er venner med Metal og CoreML.
For Apple-fans og utviklere betyr det mer enn markedsføringsfraser: Fremtiden peker mot AI-apper der kvantisering og maskinvareakselerasjon på M-serien gjør Mac (og kanskje iPad Pro med M-brikke?) til seriøse datavitenskapelige maskiner – ikke bare pene skrivebord. Får vi integrerte AI-modeller uten skyen? Ja, hvis Apple vil – og investerer i noen ekstra ML-ingeniører (og kanskje litt mer åpenhet).
Du kan lese hele artikkelen på arXiv, eller finne nerdene i gang med å plukke alt fra maskinvareakselerasjon til modell-parallellisering fra hverandre på Hacker News. Er du interessert i flere nerdete AI/Apple-vinkler? Søk videre på We❤️Apple – hvis du tør.
'"''\\"'
Del: