6 sritis AI ir mašinų mokymąsi atidžiai stebėti

Norėdami gauti daugiau AI naujienų ir analizės, užsiregistruokite čia mano naujienlaiškyje.

Visuotinai priimto dirbtinio intelekto (AI) apibrėžimo distiliavimas pastaruoju metu tapo atnaujinta diskusijų tema. Kai kurie AI pavadino „kognityviniu skaičiavimu“ arba „mašininiu intelektu“, o kiti neteisingai keičia AI į „mašininį mokymąsi“. Iš dalies taip yra todėl, kad PG nėra viena technologija. Iš tikrųjų tai yra plati sritis, susidedanti iš daugelio disciplinų, pradedant robotika ir baigiant mašinų mokymu. Pagrindinis AI tikslas, kurį dauguma tvirtiname, yra sukurti mašinas, galinčias atlikti užduotis ir pažinimo funkcijas, kurios kitaip patenka tik į žmogaus intelektą. Norėdami patekti ten, mašinos turi sugebėti išmokti šias galimybes automatiškai, užuot turėjusios kiekvieną iš jų aiškiai užprogramuotą nuo galo iki galo.

Stebina, kiek daug pastangų AI srityje padarė per pastaruosius 10 metų, pradedant nuo savarankiškai važiuojančių automobilių ir baigiant kalbos atpažinimu ir sinteze. Atsižvelgiant į šias aplinkybes, AI tapo pokalbio tema vis daugiau įmonių ir namų ūkių, kurie atėjo į AI kaip į technologiją, kuriai dar ne 20 metų, bet kaip į tai, kas daro įtaką jų gyvenimui šiandien. Iš tiesų, populiarūs spaudos pranešimai apie PG beveik kasdien, o technologijų gigantai - po vieną - aiškiai apibūdina svarbias ilgalaikes PG strategijas. Nors keli investuotojai ir rinkoje įsitvirtinę rinkos dalyviai nori suprasti, kaip užfiksuoti vertę šiame naujame pasaulyje, dauguma vis dar suka galvas, kad išsiaiškintų, ką visa tai reiškia. Tuo tarpu vyriausybės kovoja su automatizavimo padariniais visuomenėje (žr. B. Obamos atsisveikinimo kalbą).

Atsižvelgiant į tai, kad PG paveiks visą ekonomiką, šių pokalbių dalyviai parodo visą ketinimų pasiskirstymą, supratimo lygį ir patirties laipsnį kuriant ar naudojant PG sistemas. Iš esmės labai svarbu, kad diskusija apie PG, įskaitant klausimus, išvadas ir iš jų išplaukiančias rekomendacijas, būtų pagrįsta duomenimis ir tikrove, o ne spėlionėmis. Nepaprastai lengva (ir kartais įdomu!) Ekstrapoliuoti paskelbtų tyrimų ar technologijų spaudos pranešimų, spekuliacinių komentarų ir minčių eksperimentų rezultatų padarinius.

Čia yra šešios PG sritys, kurios ypač vertos savo sugebėjimo paveikti skaitmeninių produktų ir paslaugų ateitį. Aš apibūdinu, kokie jie yra, kodėl jie yra svarbūs, kaip jie naudojami šiandien, ir pateikiu (jokiu būdu neišsamų) įmonių ir tyrėjų, dirbančių su šiomis technologijomis, sąrašą.

 Prisiregistruokite čia, kad jis nusileistų tiesiai gautuosiuose.

1. Sutvirtinimo mokymasis (RL)

LR yra mokymosi bandymų ir klaidų paradigma, įkvėpta to, kaip žmonės mokosi naujų užduočių. Įprastoje LR sąrangoje agentui pavesta stebėti dabartinę jo būklę skaitmeninėje aplinkoje ir imtis veiksmų, kurie maksimaliai padidintų ilgalaikį jai nustatytą atlygį. Agentas gauna grįžtamąjį ryšį iš aplinkos kaip kiekvieno veiksmo rezultatą, kad jis žinotų, ar veiksmas paskatino, ar trukdė jo eigai. Todėl LR agentas turi subalansuoti savo aplinkos tyrinėjimą, kad rastų optimalias kaupimo strategijas, naudodamas geriausią strategiją, kurią rado, norėdamas pasiekti norimą tikslą. Šį požiūrį išpopuliarino „Google DeepMind“ dirbdami su „Atari“ žaidimais ir „Go“. LR darbo realiame pasaulyje pavyzdys yra optimizuoti energijos vartojimo efektyvumą aušinant „Google“ duomenų centrus. Čia RL sistema 40% sumažino aušinimo išlaidas. Svarbus natūralus RL agentų naudojimo aplinkoje, kurią galima modeliuoti (pvz., Vaizdo žaidimuose), pranašumas yra tas, kad treniruočių duomenis galima generuoti trobesiuose ir už labai mažą kainą. Tai visiškai prieštarauja prižiūrimoms giluminio mokymosi užduotims, kurioms dažnai reikalingi mokymų duomenys, kurie yra brangūs ir sunkiai gaunami iš realaus pasaulio.

  • Taikymas: keli agentai mokosi savo aplinkoje, naudodamiesi bendru modeliu, arba sąveikaudami ir mokydamiesi vieni iš kitų toje pačioje aplinkoje, mokosi naršyti 3D aplinkas, pvz., Labirintus ar miesto gatves, kad galėtų vairuoti savarankiškai, atvirkštinio pastiprinimo mokymasis pakartoti apibendrintą stebimą elgesį. mokantis užduoties tikslo (pvz., išmokti vairuoti ar suteikti žaidėjams, žaidžiantiems ne žaidėjus, simbolius, primenančius žmonėms panašų elgesį).
  • Pagrindiniai tyrėjai: Pieter Abbeel (OpenAI), Davidas Silveris, Nando de Freitas, Raia Hadsell, Marc Bellemare (Google DeepMind), Carl Rasmussen (Kembridžas), Rich Sutton (Alberta), John Shawe-Taylor (UCL) ir kiti.
  • Įmonės: Google DeepMind, Prowler.io, Osaro, MicroPSI, Maluuba / Microsoft, NVIDIA, Mobileye, OpenAI.

2. Generaciniai modeliai

Priešingai nei diskriminuojantys modeliai, naudojami klasifikavimo ar regresijos užduotims, generatyviniuose modeliuose mokomasi tikimybių pasiskirstymo pagal mokymo pavyzdžius. Imdamiesi šio didelio matmenų paskirstymo, generaciniai modeliai pateikia naujus pavyzdžius, panašius į mokymo duomenis. Tai reiškia, kad, pavyzdžiui, generatyvinis modelis, pritaikytas realiems veido atvaizdams, gali išvesti naujus sintetinius panašių veidų vaizdus. Norėdami gauti daugiau informacijos apie tai, kaip šie modeliai veikia, skaitykite Ian Goodfellow nuostabiame „NIPS 2016“ vadovėlyje. Jo pristatyta architektūra, generatyvūs konkurencijos tinklai (GAN), šiuo metu yra ypač karšta mokslinių tyrimų pasaulyje, nes jie suteikia kelią be priežiūros. Naudojant GAN, yra du neuroniniai tinklai: generatorius, kuris imasi atsitiktinio triukšmo kaip įvesties ir kuriam pavesta sintezuoti turinį (pvz., Vaizdą), ir diskriminacinis įrenginys, kuris sužinojo, kaip atrodo tikrieji vaizdai, ir jam pavesta nustatyti, ar sukurti vaizdai generatoriaus yra tikros ar netikros. Varžybų varžymasis gali būti laikomas žaidimu, kai generatorius turi pakartotinai išmokti kurti vaizdus iš triukšmo taip, kad diskriminatorius nebegalėtų atskirti sugeneruotų vaizdų nuo realių. Ši sistema taikoma daugeliui duomenų teikimo būdų ir užduočių.

  • Taikymas: modeliuoti galimas laiko eilučių ateitis (pvz., Planuoti užduotis mokantis sustiprinimo); ypatinga vaizdų skiriamoji geba; 3D struktūros atkūrimas iš 2D vaizdo; apibendrinimas iš mažų etikečių duomenų rinkinių; užduotys, kai viena įvestis gali duoti kelis teisingus išėjimus (pvz., numatyti kitą vaizdo įrašo kadrą; natūralios kalbos kūrimas pokalbių sąsajose (pvz., robotai); kriptografija; pusiau prižiūrimas mokymasis, kai nėra visų etikečių; meninis stiliaus perdavimas; muzikos sintezė ir balsas; paveikslas paveiksle.
  • Įmonės: „Twitter Cortex“, „Adobe“, „Apple“, „Prisma“, „Jukedeck“ *, „Creative.ai“, „Gluru“ *, „Mapillary *“, „Unbabel“.
  • Pagrindiniai tyrėjai: Ianas Goodfellowas (OpenAI), Yannas LeCunas ir Soumithas Chintala („Facebook AI Research“), Shakiras Mohamedas ir Aäronas van den Oordas („Google DeepMind“), Alyosha Efros (Berkeley) ir daugelis kitų.

3. Tinklai su atmintimi

Kad PG sistemos galėtų apibendrinti įvairiose realaus pasaulio aplinkose, kaip mes, jos turi sugebėti nuolat mokytis naujų užduočių ir atsiminti, kaip jas visas atlikti ateityje. Tačiau tradiciniai neuroniniai tinklai paprastai nesugeba tokio paeiliui mokytis užduoties nepamiršdami. Šis trūkumas vadinamas katastrofišku pamiršimu. Taip atsitinka todėl, kad tinklo svoriai, kuriuos svarbu išspręsti atliekant A užduotį, yra keičiami, kai tinklas vėliau mokomas spręsti B užduotį.

Tačiau yra keletas galingų architektūrų, kurios gali suteikti neuroninius tinklus su įvairaus laipsnio atmintimi. Tai apima ilgalaikius atminties tinklus (pasikartojančio neuroninio tinklo variantą), galinčius apdoroti ir numatyti laiko eilutes, „DeepMind“ diferencijuojamą neuroninį kompiuterį, jungiantį neuroninius tinklus ir atminties sistemas, kad būtų galima mokytis iš sudėtingų duomenų struktūrų ir jomis naršyti, elastingas svorio konsolidavimo algoritmas, sulėtinantis mokymąsi tam tikrais svoriais, atsižvelgiant į tai, kaip jie svarbūs anksčiau matytoms užduotims, ir progresyvūs neuroniniai tinklai, mokantys šoninius ryšius tarp užduoties specifinių modelių, kad būtų naudingos funkcijos iš anksčiau išmoktų tinklų naujai užduočiai atlikti.

  • Taikymas: Mokymosi agentai, kurie gali apibendrinti naujas aplinkas; robotinės rankos valdymo užduotys; autonominės transporto priemonės; laiko eilučių numatymas (pvz., finansų rinkos, vaizdo įrašas, internetas); natūralus kalbos supratimas ir kito žodžio numatymas.
  • Įmonės: „Google DeepMind“, „NNaisense“ (?), „SwiftKey“ / „Microsoft Research“, „Facebook AI Research“.
  • Pagrindiniai tyrėjai: Alexas Gravesas, Raia Hadsell, Koray Kavukcuoglu („Google DeepMind“), Jürgenas Schmidhuberis (IDSIA), Geoffrey Hintonas („Google Brain“ / Torontas), Jamesas Westonas, Sumit Chopra, Antoine'as Bordesas (FAIR).

4. Mokymasis iš mažiau duomenų ir mažesnių modelių kūrimas

Giluminio mokymosi modeliai pasižymi dideliais kiekiais treniruočių duomenų, kad pasiektume moderniausius rezultatus. Pavyzdžiui, „ImageNet“ didelio masto vizualinio atpažinimo iššūkyje, kuriame komandos ginčija savo vaizdo atpažinimo modelius, yra 1,2 milijono treniruočių vaizdų, paženklintų 1000 objektų kategorijomis. Neturėdami didelio masto mokymo duomenų, giluminio mokymosi modeliai nesuderins savo optimalių parametrų ir nebus gerai atlikti sudėtingų užduočių, tokių kaip kalbos atpažinimas ar mašinis vertimas, metu. Šis duomenų poreikis išauga tik tada, kai problemai spręsti nuo galo naudojamas vienas nervų tinklas; tai yra, atsižvelgiant į neapdorotus kalbos garso įrašus kaip įvestį ir išvedant kalbos teksto transkripcijas. Tai priešingai, kai naudojami keli tinklai, teikiantys tarpinius vaizdus (pvz., Neapdorotos kalbos garso įvestis → fonemos → žodžiai → teksto nuorašo išvestis arba neapdoroti vaizdo elementai, nukreipti į kamerą, tiesiogiai nukreiptą į vairavimo komandas). Jei norime, kad AI sistemos išspręstų užduotis, kai mokymo duomenys yra ypač sunkūs, brangūs, jautrūs ar reikalaujantys daug laiko, svarbu sukurti modelius, pagal kuriuos būtų galima išmokti optimalių sprendimų iš mažiau pavyzdžių (t. Y. Vieno arba visiškai nesinaudojančio mokymosi). Mokant mažų duomenų rinkinių, iššūkiai apima perpildymą, sunkumus tvarkant pašalinius dalykus, duomenų paskirstymo tarp mokymo ir testų skirtumus. Alternatyvus požiūris yra tobulinti naujos užduoties mokymąsi, perduodant žinias mašininio mokymosi modeliu, įgytu iš ankstesnės užduoties, naudojant procesus, bendrai vadinamus perkėlimo mokymu.

Susijusi problema yra mažesnių giluminio mokymosi architektūrų kūrimas, naudojant šiuolaikiškiausius rezultatus, naudojant panašų skaičių arba žymiai mažiau parametrų. Privalumai apimtų efektyvesnį paskirstytą mokymą, nes duomenis reikia perduoti tarp serverių, mažesnį pralaidumą norint eksportuoti naują modelį iš debesies į kraštinį įrenginį ir geresnes galimybes diegti aparatūrą su ribota atmintimi.

  • Pritaikymas: seklių tinklų mokymas mokantis imituoti gilių tinklų, iš pradžių mokomų pagal didelius etikečių mokymo duomenis, efektyvumą; architektūros, turinčios mažiau parametrų, bet lygios veikimui kaip giliųjų modelių (pvz., „SqueezeNet“); mašininis vertimas.
  • Įmonės: Geometrinis intelektas / „Uber“, DeepScale.ai, „Microsoft Research“, „Curious AI Company“, „Google“, „Bloomsbury AI“.
  • Pagrindiniai tyrėjai: Zoubinas Ghahramani (Kembridžas), Yoshua Bengio (Monrealis), Joshas Tenenbaumas (MIT), Brendano ežeras (NYU), Oriol Vinyals („Google DeepMind“), Sebastianas Riedelis (UCL).

5. Aparatūra mokymui ir išvadoms

Pagrindinis AI progreso katalizatorius yra grafikos procesorių vienetų (GPU), skirtų mokyti didelius neuroninio tinklo modelius, persiuntimas. Skirtingai nuo centrinio procesoriaus (CPU), kurie skaičiuojami nuosekliai, GPU siūlo masiškai lygiagrečią architektūrą, galinčią vienu metu atlikti kelias užduotis. Atsižvelgiant į tai, kad neuroniniai tinklai turi apdoroti didžiulį kiekį duomenų (dažnai didelių matmenų duomenų), GPU mokymas yra daug greitesnis nei naudojant CPU. Štai kodėl GPU tikrai tapo kastuvais į aukso pylimą nuo pat „AlexNet“ paskelbimo 2012 m. - pirmojo neuroninio tinklo, įdiegto GPU. „NVIDIA“ ir toliau pirmauja, kol 2017 m. Aplenks „Intel“, „Qualcomm“, AMD ir visai neseniai „Google“.

Tačiau GPU nebuvo sukurti pagal paskirtį mokymui ar išvadoms; jie buvo sukurti vaizdo žaidimų grafikai vaizduoti. GPU turi aukštą skaičiavimo tikslumą, kuris ne visada reikalingas, ir kenčia atminties pralaidumą bei duomenų pralaidumą. Tai atvėrė konkurencijos sąlygas naujos rūšies pradedantiesiems ir didelėse įmonėse, tokiose kaip „Google“, kuriančioms ir gaminančioms silicį, ypač skirtą didelėms mašininio mokymosi programoms. Naujų lustų dizaino pažadėti patobulinimai apima didesnį atminties pralaidumą, skaičiavimą grafikuose, o ne vektoriais (GPU) ar skalarais (CPU), didesnį skaičiavimo tankį, efektyvumą ir našumą vatui. Tai įdomu dėl to, kad aiškios spartėjančios grąžos AI sistemos jų savininkams ir vartotojams suteikia greitesnį ir efektyvesnį modelio mokymą → geresnė vartotojo patirtis → vartotojas daugiau užsiima produktu → sukuria didesnį duomenų rinkinį → optimizuodamas pagerina modelio našumą. Taigi tie, kurie sugeba greičiau treniruotis ir diegti skaičiavimo ir energijos efektyvumo AI modelius, turi nemažą pranašumą.

  • Taikymas: greitesnis modelių mokymas (ypač grafikuose); energijos ir duomenų efektyvumas darant prognozes; veikia AI sistemos krašte (IoT įrenginiai); visada klausantys internetinio interneto prietaisų; debesų infrastruktūra kaip paslauga; autonominės transporto priemonės, dronai ir robotika.
  • Įmonės: „Graphcore“, „Cerebras“, „Isocline Engineering“, „Google“ (TPU), NVIDIA (DGX-1), „Nervana Systems“ („Intel“), „Movidius“ („Intel“), „Scortex“
  • Pagrindiniai tyrėjai:?

6. Modeliavimo aplinka

Kaip jau buvo aptarta anksčiau, generuoti PG sistemų mokymo duomenis dažnai yra sudėtinga. Be to, PG turi būti apibendrintos daugelyje situacijų, kad jos galėtų būti mums naudingos realiame pasaulyje. Sukūrę skaitmeninę aplinką, imituojančią realaus pasaulio fiziką ir elgesį, mes suteiksime bandymo vietas, kad būtų galima išmatuoti ir išmokyti AI bendrą intelektą. Ši aplinka pateikia neapdorotus pikselius AI, kurie tada imasi veiksmų siekdami išspręsti jiems nustatytus (arba išmoktus) tikslus. Mokymai tokiose modeliavimo aplinkose gali padėti mums suprasti, kaip PG sistemos mokosi, kaip jas patobulinti, bet taip pat pateikia modelius, kuriuos galima perkelti į realaus pasaulio programas.

  • Programos: mokymasis vairuoti; gamyba; pramoninis dizainas; žaidimų vystymas; išmanieji miestai.
  • Įmonės: Neįmanoma, „Unity 3D“, „Microsoft“ („Minecraft“), ​​„Google DeepMind“ / „Blizzard“, „OpenAI“, „Comma.ai“, „Unreal Engine“, „Amazon Lumberyard“
  • Tyrėjai: Andrea Vedaldi (Oksfordas)

Užsiregistruokite į mano informacinį biuletenį, kuriame pateikiamos AI naujienos ir analizė iš technologijų pasaulio, tyrimų laboratorijos ir privačių / valstybinių įmonių rinkos.

Eikite sustoti prie mūsų kito Londono AAI susitikimo kovo 3 d. Ir išgirsti šia tema! Ačiū Alexandre'ui Flamantui už tai, kad perskaitėte šį kūrinį.

Aš norėčiau išgirsti jūsų mintis *. Komentuokite žemiau arba parašykite mane „Twitter“ (@nathanbenaich).