Kvantisering. Om du tror att det låter som något bara folk med PhD och för mycket fritid bryr sig om, har du nästan rätt – men också bara nästan. För i maskininlärningens värld är kvantisering själva nyckeln till effektiv AI på små, men starka maskiner. Och ja, det gäller särskilt Apple Silicon, där M-seriens chip nu fungerar som lekplats för maskininlärningsnördar och apputvecklare som drömmer om att få stora språkmodeller (LLM) att dansa utan att spräcka RAM-minnets gränser.
Den senaste pre-printen på arXiv dyker därför rakt ner i inferens på Apple Silicon – och tittar närmare på hur kvantisering faktiskt påverkar prestandan, särskilt på de numera inte så blygsamma MacBooks och iPads. Spoiler: Det finns massor av vinster, men även roliga utmaningar.
- Användning av kvantisering gör det möjligt att pressa ännu större språkmodeller genom den neural engine och GPU-delen på Apple-chippet, utan att kvävas av värme eller strömförbrukning.
- Ett uppgör med myten att Mac inte kan något med AI, och visar att ML på Mac är mer än bara en demo från WWDC.
Studien bygger på benchmarks som får vilken ML-specialist som helst att applådera (eller leta fram propparna till sina AirPods av ren förtjusning). Tydligt besked: Kvantisering med minimala precisionstapp kan göra stora språkmodeller både blixtsnabba och förvånansvärt effektiva – utan att du behöver sälja din MacBook Pro på Blocket efter första inferens-run.
"Apples M-serie är inte bara gräddan av hårdvara för videoredigering eller Swift-playgrounds – det är i allt högre grad ett riktigt AI-verktyg. Fråga bara utvecklarna som får GPT-liknande modeller att spinna som en gammal katt på Mac."
Men låt oss lämna bruset från PC-folket därhän. Apple-lägret kan faktiskt hänga med, både vad gäller prestanda och energieffektivitet – diskutera gärna här, om du orkar. Givet förstås att mjukvaran spelar, och att man är kompis med Metal och CoreML.
För Apple-fans och utvecklare betyder det mer än marknadsföringsklyschor: Framtiden pekar på AI-appar där kvantisering och hårdvaruacceleration på M-serien gör Mac (och kanske iPad Pro med M-chip?) till seriösa datavetenskapliga maskiner – inte bara snygga skrivbord. Får vi integrerade AI-modeller utan moln? Ja, om Apple vill – och satsar på några extra ML-ingenjörer (och kanske lite mer öppenhet).
Du kan djupdyka i hela artikeln på arXiv, eller hitta nördar i full gång med att plocka isär allt från hårdvaruacceleration till modellparallelisering på Hacker News. Intresserad av fler nördiga AI/Apple-perspektiv? Sök vidare på We❤️Apple – om du vågar.
'"''\\"'
Dela: