Võistlusel tehisintellekti kiirendamiseks võtab Silicon Valley ettevõte Cerebras kasutusele ebatavalise strateegia: mine suureks.
Kui tüüpiline arvutikiip on küüne suurus, siis Cerebras' kiip on õhtusöögiplaadi suurune.
Sügavõpe, AI-tehnoloogia, mis toetab hääleassistente, isesõitvaid autosid ja Go-meistreid, tugineb keerulisele&"närvivõrgule &"; tarkvara on paigutatud kihtidesse. Süvaõppesüsteemid võivad töötada ühes arvutis, kuid suurimad süsteemid on jaotatud tuhandete ühendatud masinate vahel, mõnikord suurtes andmekeskustes, näiteks Google'i hallatavates. Suures klastris libiseb kuni 48 pizzakasti suurust serverit ühe mehe pikkustele riiulitele; Riiulid on ritta seatud ja täidavad lao suuruse hoone. Nende süsteemide närvivõrgud võivad lahendada hirmutavaid probleeme, kuid neil on ka ilmselgeid väljakutseid. Klastris vohav võrk on nagu aju laiali hajutatud ja omavahel ühendatud aju. Elektronid liiguvad kiiresti, kuid sellegipoolest on kiipidevaheline side aeglane ja kulutab palju energiat.
Eric Vishria, San Francisco riskikapitaliettevõtte Benchmark täispartner, sai probleemist esmakordselt aru, kui kuulis 2016. aasta kevadel rääkimas uut arvutikiipide ettevõtet Cerebras Systems. Benchmark on tuntud varajase investorina sellistes ettevõtetes nagu Twitter, Uber ja ebay - see tähendab tarkvaras, mitte riistvaras. Ettevõte vaatab aastas umbes 200 alustavat ettevõtet ja investeerib ühte.&"; Me mängisime seda tuhande konna suudlemise mängu, &"; Vishria ütles mulle. Kõne alguses otsustas ta konna tagasi visata." Ma mõtlesin, miks ma nõustusin sellega?" Me' ei kavatse riistvarasse investeerida,&", meenutas ta mõtlemist.&"See on loll."
Cerebrase kaasasutaja Andrew Feldman alustas slaidikaanega oma meeskonna slaidile ja köitis Vishria' tähelepanu: tema talent oli muljetavaldav. Seejärel võrdles Feldman kahte tüüpi arvutikiipe. Esiteks vaatas ta graafikatöötlusseadmeid ehk Gpus - kiipe, mis on loodud spetsiaalselt 3D -piltide loomiseks. Tänapäeval kasutavad&masinaõppesüsteemid neid graafikakiipe mitmel põhjusel. Järgmisena vaatas ta keskprotsessoreid ehk CPU-sid, üldotstarbelisi kiipe, mis teevad suurema osa tööst tavalises arvutis.&"Kolmas slaid oli umbes' Gpus,' mis on sügava õppimise jaoks tegelikult halvad - need lihtsalt on sada korda paremad kui cpus." Cerebras on välja pakkunud uut tüüpi kiibi, mis ei ole mõeldud graafika jaoks, vaid spetsiaalselt tehisintellekti jaoks.
Vishria on harjunud kuulama helisid ettevõtetelt, kes kavatsevad kasutada süvaõpet küberturvalisuses, meditsiinilises pildistamises, vestlusbotides ja muudes rakendustes. Pärast Cerebrase vestlust rääkis ta Benchmarki rahastatud ettevõtete inseneridega, sealhulgas Zillow, Uber ja Stitch Fix; Nad ütlesid talle, et neil on tehisintellektiga probleeme, sest&"koolitamine võttis liiga kaua aega; närvivõrk. Google on hakanud kasutama ülikiireid&"tensoritöötlusseadmeid, &"; või Tpus, spetsiaalsed kiibid, mis on mõeldud kunstlikuks luureks. Vishria teadis, et käimas on kullapalavik ja keegi peab tegema kirkad ja labidad.
Sel aastal juhtisid Benchmark ja Foundation Capital, teine riskikapitaliettevõte, Cerebrasele 27 miljoni dollari suuruse rahastamisvooru, mis on kogunud ligi 500 miljonit dollarit. Teised ettevõtted valmistavad ka nn tehisintellekti kiirendeid; Tserebras' konkurendid groq, Graphcore ja Sambanova kaasasid omavahel kapitali üle 2 miljardi dollari. Aga Cerebras' lähenemine on ainulaadne. Selle asemel, et suurele ränitükile kümneid vahvleid trükkida, ära lõigata ja üksteisega ühendada, on ettevõte loonud hiiglasliku&"vahvlitaseme &"; kiip. Kui tüüpiline arvutikiip on küüne suurus, siis Cerebras on umbes õhtusöögiplaadi suurune ja on maailma suurim arvutikiip.
Isegi konkurendid pidasid seda saavutust muljetavaldavaks.&"See on uus teadus, &"; Nigel Toon, Graphcore'i [39] tegevjuht ja kaasasutaja, ütlesid mulle.&"See on uskumatu inseneritöö. See on' meistriteos." Vahepeal kirjeldas teine insener, kellega ma rääkisin, teadusprojekti - suur suurte huvides. Varem on ettevõte proovinud hiiglaslikke kiipe valmistada ja ebaõnnestunud; Tserebras' plaan on panus, et inseneri väljakutsetest ülesaamine on võimalik ja seda väärt.&"Ausalt öeldes on minu jaoks teadmatus eelis, &"; Ütles Vishria. Ma ei tea, kui ma teaksin, kui raske on teha seda, mida nad teevad, siis oleks mul julgust investeerida."
Seda, et arvutid muutuvad üha kiiremaks, on lihtne pidada iseenesestmõistetavaks. Seda seletatakse sageli Moore'i seadusega: pooljuhtide pioneeri Gordon Moore'i 1965. aastal kehtestatud muster, mille kohaselt kiibil olevate transistoride arv kahekordistub igal aastal või iga kahe aasta tagant. Muidugi pole Moore'i seadus' tegelikult seadus ja insenerid töötavad väsimatult transistoride kahandamise nimel, parandades samal ajal ka&arhitektuuri&"; igast kiibist, et luua tõhusamaid ja võimsamaid kujundusi.
Kiipide arhitektid on juba ammu mõelnud, kas üks suuremahuline arvutikiip võib olla tõhusam kui hunnik väiksemaid kiipe, nii nagu koondatud ressursside ja tihedate plokkidega linn on eeslinnast tõhusam. Seda ideed prooviti esmakordselt 1960ndatel, kui Texas Instruments piiras mõne sentimeetri laiuste kiipide tootmist. Kuid ettevõtte inseneridel tekkisid saagiprobleemid. Mis tahes räniplaadi puhul ohustavad tootmisvigad paratamatult teatud arvu ahelaid. Kui vahvlis on 50 kiipi, võib ettevõte halvad ära visata ja head maha müüa. Kuid kui iga edukas kiip sõltuks ühe vahvli tööahelast, jäetaks paljud kallid vahvlid kõrvale. Texas Instruments leidis lahenduse, kuid tehnoloogia ja vajadus ei olnud veel olemas.
1980ndatel üritas insener nimega Gene Amdahl probleemi uuesti lahendada tema asutatud ettevõttega Trilogy Systems. Sellest sai Silicon Valley [39] ajaloo suurim idufirma, rahastades umbes 250 miljonit dollarit. Saagiprobleemi lahendamiseks trükkis Trilogy kiibile üleliigsed komponendid. See meetod suurendab tootmist, kuid vähendab kiibi kiirust. Vahepeal võitleb Trilogy muul viisil. Amdahl sõitis mootorratturile oma rullidega Royce otsa, põhjustades juriidilisi probleeme; Selle president suri ajukasvajasse; Tugevad vihmad on viivitanud tehaste ehitamist, roostetavaid kliimaseadmeid ja tolmu kogumist laastudele. 1984. aastal Trilogy loobus.&"Ma ei saanud' aru, kui raske see oleks, &"; Amdahli poeg rääkis ajalehele The Times.
Kui triloogia [39] tehnoloogia on edukas, saab seda nüüd kasutada sügavaks õppimiseks. Selle asemel lahendavad Gpus (videomängudes kasutatavad kiibid) teaduslikke probleeme riiklikes laborites. Gpus -i taaskasutamine tehisintellekti jaoks sõltub asjaolust, et kuigi närvivõrgud on väga keerulised, toetuvad nad palju korrutamisele ja liitmisele. Kui&"; neuronid &"; võrgus üksteise vallandamisel võimendavad või vähendavad nad üksteise signaale, korrutades need koefitsientidega, mida nimetatakse ühenduse kaaludeks. Tõhus tehisintellekti protsessor arvutab paralleelselt palju aktiveerimisi; See ühendab need arvude seeriaks, mida nimetatakse vektoriteks, või numbrivõrkudeks, mida nimetatakse maatriksiteks, või kõrgemate mõõtmetega plokkideks, mida nimetatakse tenoriteks. Ideaalis soovite ühe maatriksi või tensori korraga korrutada teisega. Gpus on loodud midagi sarnast tegema:
& "; Triloogia vari on nii suur, &"; Feldman ütles mulle hiljuti, et inimesed lõpetavad mõtlemise ja hakkavad ütlema:' See' on võimatu.'" GPU -ettevõtted, sealhulgas Nvidia, kasutasid võimalust kohandada oma kiipe sügava õppimise jaoks. 2015. aastal hakkasid Feldman ja grupp arvutiarhitekte arutama suuremate kiipide ideed pärast seda, kui nad asutasid koos arvutiserverite valmistaja Seamicro, mille nad müüsid kiibitootjale AMD 334 miljoni dollari eest. Nad töötasid selle küsimusega neli kuud riskikapitalifirmalt laenatud kontoris. Kui neil oli elujõulise lahenduse ülevaade, rääkisid nad kaheksa ettevõttega; Sain raha Benchmarkilt, Foundation Capitalilt ja Eclipse'ilt ning hakkasin tööle võtma.
Tserebras' esimene ülesanne on lahendada suuri probleeme tekitavaid tootmisprobleeme. Kiip oli algselt umbes jala läbimõõduga silindriline kristallräni valuplokk ja terasest valuplokk lõigati alla millimeetri paksusteks vahvliteks. Seejärel lülitatakse vooluring &, trükitakse&"; vahvlile litograafiaks nimetatud protsessi kaudu. UV-tundlikud kemikaalid ladestatakse hoolikalt pinnale ja seejärel projitseeritakse ultraviolettkiirgus läbi detailse malli, mida nimetatakse maskiks. Need kemikaalid reageerivad ahelate moodustamisele.
Tavaliselt muutub maski kaudu projitseeritud valgusega kaetud ala kiibiks. Seejärel kiip liigub ja valgus projitseeritakse uuesti. Pärast kümnete või sadade kiipide printimist lõigatakse need vahvlist laseriga välja.&"; Lihtsaim viis seda teha on see, kui ema võtab välja ümmarguse küpsisetaiina, &"; Ütles Feldman.&"; Tal on küpsisevorm ja ta lõikab küpsiseid hoolikalt." Füüsika- ja optikaseadused muudavad võimatuks suurema küpsisetootja tegemise. Selle tulemusel töötasime&välja tehnoloogia, mille abil saate kahe küpsise vahel väikese taigna kaudu suhelda."
Trükisüsteemis Cerebras, mis töötati välja koostöös kiibi tootva ettevõttega TSMC, kattuvad küpsiste servad nii, et nende juhtmed on ühendatud. Tulemuseks on üks&"vahvli suurus [GG" "; vahvlid, vasevärvi ruut ja 21 cm mõlemal küljel. (Suurimad Gpus on läbimõõduga veidi alla 3 cm.) Cerebras tootis oma esimese kiibi, vahvlite skaalaga mootori 1, 2019. aastal. Tänavu tutvustatud Wse-2 kasutab tihedamat vooluringi, 2,6 triljonit transistorit on pakitud 850 000 töötlusseadmesse või&"südamikud &". (Top Gpusil on vaid paar tuhat südamikku, enamikul aga vähem kui 10.)
& "; 2,6 triljonit transistorit on hämmastav, &"; ütles Synopsys esimees ja tegevjuht Aart de Geus. Synopsys pakub tarkvara, mida Cerebras ja teised kiibitootjad kasutavad oma kiipide kujundamiseks ja kinnitamiseks. De Geus ütleb, et kiipide kavandamisel peavad insenerid kõigepealt kaaluma kahte põhiküsimust:" Kust andmed pärinevad?" Kus seda käsitletakse?" Kui kiibid olid lihtsamad, said disainerid neile küsimustele vastata joonistuslaual oleva pliiatsiga; Tänapäeva&keerukamate kiipidega töötamisel sisestage kood, mis kirjeldab arhitektuuri, mida nad soovivad luua, seejärel liikuge visualiseerimise ja kodeerimise tööriistade juurde." Mõtle, kuidas maja katuselt välja näeb," ütles de Geus." Kas garaaž on köögi lähedal? Või on see magamistoa lähedal? Sa tahad seda köögi lähedale - vastasel juhul pead [IG] #39; toidukaubad läbi viima igast maja nurgast." Pärast põrandaplaani koostamist selgitas ta:" saate võrrandite abil kirjeldada ruumis toimuvat."
Kiipide disaini keerukus on hämmastav.&"Siin on palju kihte, &"; de Geus ütles, et ahelad olid ristuvad ja kihiti üksteise peal, nagu suur maanteeviadukt. Vahvli skaalal töötavate Cerebrase inseneride jaoks on keerukus veelgi suurem. Konspekt' tarkvara aitab tehisintellekti näol: mustrite sobitamise algoritmid tuvastavad levinud probleemid ja pakuvad lahendusi; Optimeerimisprogramm viib ruumi kiiremale ja tõhusamale paigutusele. Kui kahe kvartali hoonesse üritatakse pigistada liiga palju sõiduradu, võimaldab tarkvara inseneridel Robert Moosest mängida ja plokki liigutada.
Lõpuks ütleb Feldman, et ülegabariidiliste kiipide kujundustel on mitmeid eeliseid. Kui südamikud on samal kiibil, suhtlevad nad kiiremini: arvuti&aju on nüüd koondunud ühte kolju, mitte ruumis laiali. Suuremad kiibid käsitlevad ka mälu paremini. Tavaliselt peab faili töötlemiseks valmis väike kiip kõigepealt faili hankima mujalt trükkplaadil asuvast jagatud mälukiibist; Kodule vahemällu salvestatakse ainult kõige sagedamini kasutatavad andmed. Vahvlitaseme kiipide tõhususe kirjeldamisel pakkus Feldman analoogiat: ta palus mul ette kujutada ühiselamus (kiibis) elavat toakaaslaste rühma (tuumik), kes soovisid jalgpallimängu vaadata (arvutitööd teha). Mängu jälgimiseks peavad toakaaslased mängu jälgimiseks õlut külmkapis hoidma (andmed salvestatakse mällu); Cerebras hoiab igas toas külmikut, nii et toakaaslased ei pea riskima ühiselamu' ühiskööki või Safewayle minekuga. Selle eeliseks on see, et iga tuum võimaldab erinevaid andmeid kiiremini töödelda.&"Nii et mul on Bud oma ühiselamutoas, &"; Ütles Feldman.&"; Teie ühiselamus saate Schlitzi."
Lõpuks peab Cerebras ületama saagiprobleeme. Ettevõtte' insenerid kasutavad triloogia' trikki: koondamist. Kuid siin on neil eelis eelkäijate ees. Trilogy püüab valmistada üldisi kiipe, millel on palju erinevaid komponente, nii et ühe ebaõnnestunud komponendi ümber juhtmestik võib vajada ühendamist kauge asendusega. On Cerebras' kiip, kõik südamikud on identsed. Kui üks biskviit on vale, on selle ümber olevad sama head.