- Word2Vec teisendab sõnad jaotushüpoteesi põhjal kõrgmõõtmelisteks vektoriteks, kus tähendus tuletatakse kontekstist.
- Mudel kasutab kahte peamist arhitektuuri: CBOW sihtsõna ennustamiseks konteksti põhjal ja Skip-Gram konteksti ennustamiseks sihtsõna põhjal.
- Semantilised seosed jäädvustatakse lineaarsete nihetena vektorruumis, võimaldades keelelisi analoogiaid matemaatiliste tehteid kasutades.
Kas olete kunagi mõelnud, kuidas masin tegelikult "aru saab", mida me räägime? Me ei saa lihtsalt arvutile sõnaraamatut ulatada ja oodata, et see nüanssidest aru saab. Pikka aega nägid masinad sõnu vaid isoleeritud sümbolitena , mis tähendas, et "koer" oli "kassist" sama erinev kui "mikrolaineahjust". Kõik see muutus koos Word2Veci tulekuga, mis on loomuliku keele töötlemise revolutsiooniline tööriist, mis võimaldab arvutitel kaardistada sõnu matemaatilisse ruumi , kus tähendus on määratletud läheduse järgi.
Oma olemuselt põhineb Word2Vec jaotushüpoteesil , mis on peen viis öelda, et sõna saab mõista selle seltskonna järgi, mida see hoiab. Kui kaks sõna esinevad sageli samade naabritega, on neil tõenäoliselt sarnane tähendus. Analüüsides tohutul hulgal teksti, muudab Word2Vec sõnad kõrgmõõtmelisteks vektoriteks , luues semantilise kaardi, kus keelelised seosed muutuvad lihtsaks geomeetriaks.
Vana kool: loenduspõhised lähenemisviisid
Enne Word2Vec'i võimust võtmist kasutasime loenduspõhiseid meetodeid. Kõige põhilisem versioon hõlmas kaasesinemismaatrikseid , kus loendati lihtsalt, mitu korda sõna A esines sõna B lähedal. Kuigi need maatriksid olid lihtsad, muutusid need tohutuks ja täitusid nullidega, muutes nende arvutamise õudusunenäoks. Selle parandamiseks kasutasid teadlased selliseid tehnikaid nagu positiivne punktipõhine vastastikune informatsioon (PPMI), et paremini mõõta seost, või latentne semantiline analüüs (LSA) , mis kasutab singulaarse väärtuse dekompositsiooni (SVD), et andmeid kahandada ja dokumentides peidetud „teemasid” paljastada.
Kuidas Word2Vec tegelikult töötab
Word2Vec muutis skripti, käsitledes probleemi pigem ennustusülesandena kui loendamise ülesandena. Lihtsalt sõnade kokkulugemise asemel kasutab see manuste õppimiseks pealiskaudset kahekihilist närvivõrku . Mudel libistab akna üle tohutu tekstikogumi, keskendudes kesksele sõnale ja selle ümbritsevale kontekstile. Vektorite iteratiivse kohandamise abil, et maksimeerida õigete naabrite ennustamise tõenäosust , lükkab mudel loomulikult semantiliselt sarnaseid sõnu vektorruumis üksteisele lähemale.
Kaks treenimisviisi: CBOW vs. Skip-Gram
- Pidev sõnade kott (CBOW): Mõtle sellele kui lünkade täitmise harjutusele. Mudel vaatab ümbritsevaid kontekstisõnu ja püüab ennusta puuduvat keskset sõnaÜldiselt on seda kiirem treenida ja see toimib suurepäraselt sagedaste sõnade puhul.
- Skip-Gram: See on vastupidine lähenemine. Mudel võtab ühe keskse sõna ja püüab seda ennustada ümbritsevat kontekstiKuigi see võtab rohkem aega, on Skip-Gram palju parem käsitlemisel haruldased sõnad ja haruldaste semantiliste seoste jäädvustamine.
Koolituse tõhusaks muutmine: negatiivne valim
Iga üksiku sõna tõenäosuse arvutamine tohutus sõnavaras iga kord, kui akent liigutate, oleks meeletult aeglane . Selle vältimiseks kasutab Word2Vec negatiivset valimit . Sõnastiku iga sõna värskendamise asemel värskendab mudel ainult sihtsõna ja väikest käputäit juhuslikult valitud "negatiivseid" näiteid . See vähendab drastiliselt arvutuskoormust, ohverdamata õpitud manustamise kvaliteeti, valides sageli sõnu nende sagedusjaotuse põhjal , et tagada mudeli laiskuse vältimine.
Semantilise ruumi maagia
Kui treening on tehtud, on tulemuseks semantiline ruum , kus saab sõnadega matemaatikat teha. Üks lahedamaid avastusi on see, et need seosed on sageli lineaarsed . Näiteks kui võtta vektor „Kuningas“, lahutada „Mees“ ja lisada „Naine“, on saadud punkt ruumis uskumatult lähedal vektorile „Kuninganna“. See näitab, et mudel on lihtsa vektoraritmeetika abil tabanud soo ja kuninglikkuse abstraktse kontseptsiooni .
Lisaks põhisõnadele: laiendused ja variandid
Word2Veci edu pani aluse tervele laienduste perekonnale. Doc2Vec laiendas ideed, et kujutada terveid lõike või dokumente üksikute vektoritena, võimaldades dokumentide täiustatud klassifitseerimist. Seejärel tuli Top2Vec , mis ühendab dokumentide manustamise klasterdamisalgoritmidega nagu HDBSCAN , et automaatselt teemasid avastada ilma sildistatud andmeid vajamata. Isegi bioloogiateadused said BioVeci abil oma osa , rakendades neid põhimõtteid DNA ja valgujärjestustele, et mõista biokeemilisi mustreid.
Tulemuste hindamine
Kuidas me teame, kas mudel on tegelikult „tark”? Selleks on kaks peamist viisi. Sisemine hindamine vaatleb sisemisi omadusi, kasutades võrdlusaluseid, et näha, kas mudeli sarnasuse skoorid on kooskõlas inimese hinnanguga või kas see suudab lahendada analoogiateste . Väline hindamine on praktilisem; see hõlmab manuste lisamist reaalsesse ülesannesse, näiteks sentimendianalüüsi või teksti klassifitseerimisse, et näha, kas üldine jõudlus paraneb. Kuigi uuemad mudelid, nagu BERT või ELMo, pakuvad kontekstuaalseid manuseid (mis tähendab, et sõna vektor muutub lause põhjal), jääb Word2Vec staatiliste sõnaesitluste alustalaks.
Muutes inimkeele kaose struktureeritud geomeetriliseks maastikuks , võimaldavad need tehnikad masinatel navigeerida tähenduse järgi koosinussarnasuse ja vektori nihkete abil. Alates negatiivse valimi tõhususest kuni Skip-Grami ja CBOW mitmekülgsuseni on keeleliste kontekstide kaardistamise võime matemaatilisteks koordinaatideks põhjalikult muutnud seda, kuidas me ehitame kõike alates otsingumootoritest kuni tõlketööriistadeni.
