Yandex vertėjo neuroninis tinklas. Į Yandex.Translate buvo įmontuotas fantastinis neuroninis tinklas. Kas yra Yandex.Translate
Paslauga „Yandex.Translate“ versdama tekstus pradėjo naudoti neuroninių tinklų technologijas, o tai pagerina vertimo kokybę, pranešė „Yandex“ svetainė.
Į žymes
„Yandex“ paaiškino, kad paslauga veikia hibridinėje sistemoje: vertimo technologija, naudojanti neuroninį tinklą, buvo įtraukta į statistinį modelį, kuris veikia „Translator“ nuo pat paleidimo.
„Skirtingai nei statistinis vertėjas, neuroninis tinklas neskaido tekstų į atskirus žodžius ir frazes. Jis gauna visą sakinį kaip įvestį ir išduoda jo vertimą “, - aiškino įmonės atstovas. Pasak jo, toks požiūris leidžia atsižvelgti į kontekstą ir geriau perteikti verčiamo teksto prasmę.
Savo ruožtu statistinis modelis geriau susidoroja su retais žodžiais ir frazėmis, pabrėžtais „Yandex. „Jei sakinio prasmė neaiški, ji nefantazuoja, kaip neuroninis tinklas gali tai padaryti“, – pažymėjo bendrovė.
Versdama paslauga naudoja abu modelius, tada mašininio mokymosi algoritmas palygina rezultatus ir pasiūlo, jos nuomone, geriausią variantą. „Hibridinė sistema leidžia iš kiekvieno metodo išnaudoti geriausius rezultatus ir pagerinti vertimo kokybę“, – rašoma „Yandex“.
Per dieną, rugsėjo 14 d., internetinėje Vertėjo versijoje turėtų pasirodyti jungiklis, su kuriuo galėsite palyginti hibridinio ir statistinio modelio atliktus vertimus. Tuo pačiu metu paslauga kartais gali nepakeisti tekstų, pažymėjo bendrovė: „Tai reiškia, kad hibridinis modelis nusprendė, kad statistinis vertimas yra geresnis“.
Šiuolaikiniame internete yra daugiau nei 630 milijonų svetainių, tačiau tik 6% jų yra rusų kalba. Kalbos barjeras yra pagrindinė žinių sklaidos tarp tinklo vartotojų problema, kurią, mūsų nuomone, reikėtų spręsti ne tik mokant užsienio kalbų, bet ir naudojant automatinį mašininį vertimą naršyklėje.
Šiandien „Habr“ skaitytojams papasakosime apie du svarbius „Yandex.Browser“ vertėjo technologinius pokyčius. Pirma, pasirinktų žodžių ir frazių vertimui dabar naudojamas hibridinis modelis, ir mes prisiminsime, kuo šis metodas skiriasi nuo tik neuroninių tinklų naudojimo. Antra, vertėjo neuroniniai tinklai dabar atsižvelgia į tinklalapių struktūrą, apie kurios ypatybes taip pat kalbėsime po pjūviu.
Hibridinis žodžių ir frazių vertėjas
Pirmosios mašininio vertimo sistemos buvo pagrįstos žodynai ir taisyklės(iš tikrųjų ranka rašyti reguliarūs posakiai), kurie nulėmė vertimo kokybę. Profesionalūs kalbininkai ilgus metus dirbo kurdami vis detalesnes rankinio naudojimo taisykles. Darbas buvo toks sunkus, kad rimtas dėmesys buvo skiriamas tik populiariausioms kalbų poroms, tačiau net ir jose mašinos veikė prastai. Gyva kalba yra labai sudėtinga sistema, kuri blogai paklūsta taisyklėms. Dar sunkiau aprašyti dviejų kalbų atitikimo taisykles.Vienintelis būdas mašinai nuolat prisitaikyti prie kintančių sąlygų – pačiam mokytis iš daugybės paralelinių tekstų (prasme tos pačios, bet parašytų skirtingomis kalbomis). Tai statistinis mašininio vertimo metodas. Kompiuteris lygina lygiagrečius tekstus ir savarankiškai nustato šablonus.
At statistikos vertėjas yra ir privalumų, ir trūkumų. Viena vertus, jis gerai prisimena retus ir sudėtingus žodžius bei frazes. Jei jie susitiko paraleliuose tekstuose, vertėjas juos atsimins ir toliau teisingai vers. Kita vertus, vertimo rezultatas gali būti panašus į užbaigtą dėlionę: atrodo, kad bendras vaizdas aiškus, bet gerai įsižiūrėjus matosi, kad jis susideda iš atskirų dalių. Priežastis ta, kad vertėjas pateikia atskirus žodžius kaip identifikatorius, kurie jokiu būdu neatspindi tarpusavio santykių. Tai nedera su tuo, kaip žmonės suvokia kalbą, kai žodžiai apibrėžiami pagal tai, kaip jie vartojami, kaip jie susiję ir skiriasi nuo kitų žodžių.
Padeda išspręsti šią problemą neuroniniai tinklai. Žodžių įterpimas, naudojamas neuroniniame mašininiame vertime, paprastai kiekvieną žodį susieja su kelių šimtų skaičių vektoriumi. Vektoriai, skirtingai nei paprasti identifikatoriai pagal statistinį metodą, formuojami treniruojant neuroninį tinklą ir atsižvelgiama į ryšius tarp žodžių. Pavyzdžiui, modelis gali atpažinti, kad dėl to, kad „arbata“ ir „kava“ dažnai vartojami panašiuose kontekstuose, abu šie žodžiai turėtų būti įmanomi naujojo žodžio „išsiliejimo“ kontekste, su kuriuo, tarkime, tik vienas iš jų susidūrė treniruočių duomenis.
Tačiau vektorinių vaizdų mokymosi procesas yra akivaizdžiai sudėtingesnis statistiškai nei pavyzdžių įsiminimas. Be to, neaišku, ką daryti su tais retais įvesties žodžiais, kurie nėra pakankamai dažni, kad tinklas sukurtų jiems priimtiną vektorinį vaizdą. Šioje situacijoje logiška derinti abu metodus.
Nuo praėjusių metų „Yandex.Translate“ naudoja hibridinis modelis. Kai Vertėjas gauna tekstą iš vartotojo, jis siunčia jį į abi sistemas vertimui – tiek neuroniniam tinklui, tiek statistiniam vertėjui. Tada mokymosi metodu pagrįstas algoritmas įvertina, kuris vertimas yra geresnis. Vertinant pažymius, atsižvelgiama į dešimtis veiksnių – nuo sakinio ilgio (trumpas frazes geriau išverčia statistinis modelis) iki sintaksės. Vertimas, pripažintas geriausiu, rodomas vartotojui.
Tai hibridinis modelis, kuris dabar naudojamas Yandex.Browser, kai vartotojas puslapyje pasirenka konkrečius žodžius ir frazes versti.
Šis režimas ypač patogus tiems, kurie bendrai moka užsienio kalbą ir norėtų versti tik nežinomus žodžius. Bet jei, pavyzdžiui, vietoj įprastos anglų kalbos sutiksite kinų kalbą, tada be puslapio vertėjo bus sunku išsiversti. Atrodytų, skiriasi tik verčiamo teksto apimtis, bet ne viskas taip paprasta.
Neuroninio tinklo tinklalapio vertėjas
Nuo Džordžtauno eksperimento iki beveik šių dienų visos mašininio vertimo sistemos buvo išmokytos išversti kiekvieną šaltinio teksto sakinį atskirai. Nors tinklalapis yra ne tik sakinių rinkinys, bet struktūrinis tekstas, kuriame yra iš esmės skirtingų elementų. Apsvarstykite pagrindinius daugumos puslapių elementus.antraštę. Dažniausiai ryškus ir didelis tekstas, kurį iškart matome įėję į puslapį. Antraštėje dažnai pateikiama naujienos esmė, todėl svarbu ją teisingai išversti. Bet tai padaryti sunku, nes pavadinime tekstas yra mažas ir nesuvokiant konteksto galima suklysti. Kalbant apie anglų kalbą, viskas yra dar sudėtingiau, nes anglų kalbos antraštėse dažnai yra frazių su netradicine gramatika, infinityvais ar net praleisti veiksmažodžiai. Pavyzdžiui, Paskelbta „Game of Thrones“ įžanga.
Navigacija. Žodžiai ir frazės, padedantys naršyti svetainėje. Pavyzdžiui, Namai, Atgal ir Mano sąskaita vargu ar verta versti kaip „Pagrindinis“, „Atgal“ ir „Mano paskyra“, jei jie yra svetainės meniu, o ne leidinio tekste.
Pagrindinis tekstas. Su juo viskas lengviau, jis mažai skiriasi nuo įprastų tekstų ir sakinių, kuriuos galime rasti knygose. Tačiau net ir čia svarbu užtikrinti vertimų nuoseklumą, ty užtikrinti, kad tie patys terminai ir sąvokos būtų verčiami vienodai tame pačiame tinklalapyje.
Norint kokybiškai išversti tinklalapius, neužtenka naudoti neuroninio tinklo ar hibridinio modelio – būtina atsižvelgti ir į puslapių struktūrą. Ir tam turėjome susidurti su daugybe technologinių sunkumų.
Teksto segmentų klasifikavimas. Norėdami tai padaryti, vėl naudojame CatBoost ir veiksnius, pagrįstus pačiu tekstu ir dokumentų HTML žymėjimu (žyma, teksto dydis, nuorodų skaičius teksto vienete, ...). Veiksniai yra gana nevienalyčiai, todėl geriausius rezultatus rodo CatBoost (remiantis gradiento didinimu) (klasifikavimo tikslumas viršija 95%). Tačiau vien segmentų klasifikavimo nepakanka.
Duomenų iškreipimas. Tradiciškai Yandex.Translate algoritmai mokomi pagal tekstus iš interneto. Atrodytų, kad tai idealus sprendimas mokant tinklalapio vertėją (kitaip tariant, tinklas mokosi iš to paties pobūdžio tekstų, kaip ir tie tekstai, kuriuose jį pritaikysime). Tačiau kai tik išmokome atskirti skirtingus segmentus vienas nuo kito, atradome įdomią savybę. Vidutiniškai turinys sudaro apie 85 % viso svetainės teksto, o antraštės ir naršymas sudaro tik 7,5 %. Taip pat atminkite, kad pačios antraštės ir naršymo elementai stiliumi ir gramatika labai skiriasi nuo likusio teksto. Šie du veiksniai kartu sukelia duomenų iškraipymo problemą. Neuroniniam tinklui naudingiau tiesiog ignoruoti šių labai prastai atvaizduotų segmentų ypatybes mokymo pavyzdyje. Tinklas išmoksta gerai išversti tik pagrindinį tekstą, kuris nukenčia nuo antraščių vertimo ir navigacijos kokybės. Norėdami neutralizuoti šį nemalonų poveikį, padarėme du dalykus: kiekvienai lygiagrečių sakinių porai priskyrėme vieną iš trijų segmentų tipų (turinio, antraštės arba naršymo) kaip metainformaciją ir dirbtinai padidinome paskutinių dviejų koncentraciją mokymo korpuse. iki 33% dėl to, kad pradėjo dažniau rodyti panašius pavyzdžius į besimokantį neuroninį tinklą.
Kelių užduočių mokymasis. Kadangi dabar tinklalapiuose esančius tekstus galime suskirstyti į tris segmentų klases, gali atrodyti natūrali idėja parengti tris atskirus modelius, kurių kiekvienas susidoros su skirtingo tipo teksto vertimu – antraštėmis, naršymu ar turinys. Tai tikrai veikia gerai, bet dar geriau veikia schema, kurioje mes mokome vieną neuroninį tinklą versti visų tipų tekstus vienu metu. Raktas į supratimą slypi kelių užduočių mokymosi (MTL) idėjoje: jei yra vidinis ryšys tarp kelių mašininio mokymosi užduočių, tada modelis, kuris mokosi šias užduotis spręsti vienu metu, gali išmokti geriau išspręsti kiekvieną iš užduočių. nei siauro profilio specializuotas modelis!
koregavimas. Jau turėjome labai gerą mašininį vertimą, todėl būtų neprotinga parengti naują vertėją Yandex.Browser nuo nulio. Logiškiau pasiimti pagrindinę įprastų tekstų vertimo sistemą ir išmokyti ją dirbti su tinklalapiais. Neuroninių tinklų kontekste tai dažnai vadinama koregavimu. Bet jei prie šios problemos priartėtume tiesiai, t.y. tiesiog inicijuokite neuroninio tinklo svorius su baigto modelio reikšmėmis ir pradėkite mokytis iš naujų duomenų, galite susidurti su domeno poslinkio efektu: kai sužinosite, padidės tinklalapių vertimo (domeno) kokybė, tačiau paprastų (už domeno ribų) tekstų vertimo kokybė kris. Norėdami atsikratyti šios nemalonios savybės, papildomos treniruotės metu neuroniniam tinklui nustatome papildomą apribojimą, draudžiantį per daug keisti svorius, lyginant su pradine būsena.
Matematiškai tai išreiškiama pridedant terminą prie praradimo funkcijos (praradimo funkcijos), kuris yra Kullback-Leibler atstumas (KL-divergencija) tarp kito žodžio generavimo tikimybių skirstinių, išduodamų pirminio ir perkvalifikuoto tinklo. Kaip matyti iliustracijoje, tai lemia tai, kad tinklalapių vertimo kokybės pagerėjimas nebepablogina paprasto teksto vertimo.
Dažnio frazių poliravimas iš navigacijos. Kurdami naują vertėją rinkome statistiką apie įvairių tinklalapių segmentų tekstus ir pamatėme kai ką įdomaus. Tekstai, kurie yra susiję su navigacijos elementais, yra gana standartizuoti, todėl dažnai yra tos pačios pagrindinės frazės. Tai toks galingas efektas, kad daugiau nei pusė visų internete rastų naršymo frazių yra vos 2000 dažniausiai pasitaikančių frazių.
Žinoma, tuo pasinaudojome ir kelis tūkstančius dažniausiai pasitaikančių frazių bei jų vertimų atidavėme patikrinti savo vertėjams, kad būtų visiškai tikri dėl jų kokybės.
Išoriniai derinimai. Interneto puslapio vertėjui Naršyklėje buvo dar vienas svarbus reikalavimas – jis neturi iškraipyti žymėjimo. Kai HTML žymos dedamos už sakinių ribų arba ties jų ribomis, problemų nekyla. Bet jei sakinio viduje yra, pvz. du pabrauktažodžius, tada vertime norime matyti „du pabrauktažodžiai". Tie. Perkėlus turi būti įvykdytos dvi sąlygos:
- Pabrauktas fragmentas vertime turi tiksliai atitikti pabrauktą fragmentą šaltinio tekste.
- Vertimo nuoseklumas ties pabraukto fragmento ribomis neturėtų būti pažeistas.
Sankryžų stebėtojas. Galingiems neuroninio tinklo vertimo modeliams, kuriuos mes išmokome, mūsų serveriuose (ir CPU, ir GPU) reikia žymiai daugiau skaičiavimo išteklių nei ankstesnių kartų statistiniams modeliams. Tuo pačiu metu vartotojai ne visada perskaito puslapius iki galo, todėl viso tinklalapių teksto siuntimas į debesį atrodo perteklinis. Norėdami taupyti serverio išteklius ir vartotojų srautą, išmokėme naudoti vertėją
Paieškos sistemomis indeksuotos svetainės turi daugiau nei pusę milijardo kopijų, o bendras tinklalapių skaičius yra dešimtis tūkstančių kartų didesnis. Turinys rusų kalba užima 6% viso interneto.
Kaip greitai ir taip išversti norimą tekstą, kad būtų išsaugota sumanyta autoriaus prasmė. Senieji statistinio turinio vertimo modulių metodai veikia labai abejotinai, nes neįmanoma tiksliai nustatyti žodžių, laiko ir kt. Žodžių pobūdis ir ryšiai tarp jų yra sudėtingi, todėl rezultatas kartais atrodė labai nenatūralus.
Dabar „Yandex“ naudoja automatinį mašininį vertimą, kuris pagerins galutinio teksto kokybę. Galite atsisiųsti naujausią oficialią naršyklės versiją su nauju integruotu vertimu.
Hibridinis frazių ir žodžių vertimas
„Yandex“ naršyklė yra vienintelė, galinti išversti puslapį kaip visumą, taip pat žodžius ir frazes atskirai. Funkcija labai pravers tiems vartotojams, kurie daugiau ar mažiau kalba užsienio kalba, tačiau kartais susiduria su vertimo sunkumais.
Žodžių vertimo mechanizme įmontuotas neuroninis tinklas ne visada susidorojo su nustatytomis užduotimis, nes retus žodžius buvo labai sunku įterpti į tekstą ir padaryti jį skaitomu. Dabar į programą įtrauktas hibridinis metodas, naudojant senas ir naujas technologijas.
Mechanizmas yra toks: programa priima pasirinktus sakinius ar žodžius, po to atiduoda juos tiek neuroninio tinklo moduliams, tiek statistiniam vertėjui, o įtaisytas algoritmas nustato, kuris rezultatas geresnis ir duoda jį vartotojui.
Neuroninių tinklų vertėjas
Užsienio turinys kuriamas labai specifiniu būdu:
- pirmosios žodžių raidės antraštėse rašomos didžiosiomis raidėmis;
- sakiniai sudaryti su supaprastinta gramatika, kai kurie žodžiai praleidžiami.
Naršymo meniu svetainėse analizuojami atsižvelgiant į jų vietą, pvz., žodį Atgal, teisingai išverstas atgal (grįžti atgal), o ne atgal.
Kad būtų atsižvelgta į visas aukščiau paminėtas funkcijas, kūrėjai papildomai apmokė neuroninį tinklą, kuriame jau dabar naudojamas didžiulis tekstinių duomenų masyvas. Dabar vertimo kokybei įtakos turi turinio vieta ir jo dizainas.
Taikyto vertimo rezultatai
Vertimo kokybę galima išmatuoti naudojant BLEU* algoritmą, kuris lygina mašininius ir profesionalius vertimus. Kokybės skalė nuo 0 iki 100%.
Kuo geresnis neuroninis vertimas, tuo didesnis procentas. Pagal šį algoritmą „Yandex“ naršyklė pradėjo versti 1,7 karto geriau.
„Yandex“ išleido naują vertėjo versiją. Dabar vertimą dirbs hibridinė sistema: be anksčiau naudoto statistinio modelio, vertėjas taip pat naudos neuroninį tinklą. Apie tai buvo pranešta bendrovės tinklaraštyje.
Yra keletas mašininio vertimo būdų. Pirmasis, labiausiai paplitęs metodas yra statistinis. Toks mašininis vertimas pagrįstas didžiulio kiekio informacijos, gautos iš lygiagrečių korpusų (tų pačių tekstų skirtingomis kalbomis), įsiminimu: tai gali būti pavieniai žodžiai arba gramatinės taisyklės. Tačiau šis metodas turi labai svarbų trūkumą: statistinis mašininis vertimas įsimena informaciją, bet jos nesupranta, todėl toks vertimas dažnai atrodo kaip daugybė skirtingų teisingai išverstų fragmentų, surinktų į vieną gramatiškai ne itin teisingą tekstą. semantinė apkrova.
Antrasis būdas yra neuroninis tinklas. Jis paremtas ne atskirų žodžių ir frazių, o ištisų sakinių vertimu, o pagrindinis jos tikslas – išsaugoti prasmę, kartu pasiekiant geriausią vertimo kokybę gramatikos prasme. Tokia vertimo technologija taip pat gali saugoti kalbos žinias, kurias ji išmoko mokymosi procese - tai leidžia jai susidoroti, pavyzdžiui, su klaidomis susitarus. Neuronų mašininis vertimas yra palyginti naujas metodas, tačiau jis jau pasitvirtino: „Google Translate“ neuroninio tinklo pagalba pavyko pasiekti rekordinę vertimo kokybę.
Nuo šiandien „Yandex.Translate“ yra pagrįsta hibridine sistema. Tokia sistema apima statistinį vertimą, kurį paslauga naudojo anksčiau, ir vertimą, pagrįstą neuroninio tinklo veikimu. Specialus klasifikatoriaus algoritmas, pagrįstas CatBoost (Yandex sukurta mašininio mokymosi sistema), parenka geriausią iš dviejų vertimo parinkčių (statistinio ir neuroninio) ir pateikia ją vartotojui.
Daugiau apie naujosios „Yandex.Translate“ versijos darbą galite perskaityti mūsų susitikime su tarnybos vadovu, britų skaičiavimo lingvistu Davidu Talbotu.
Šiuo metu naujoji vertimo technologija prieinama tik verčiant iš anglų kalbos į rusų kalbą (pagal įmonės duomenis, tai pati populiariausia vertimo kryptis). Dirbdamas su sistema vartotojas gali perjungti du vertimo modelius (seną statistinį ir naują hibridinį) ir palyginti senosios ir naujos versijos vertimus. Artimiausiais mėnesiais Vertėjo kūrėjai žada įtraukti ir kitas vertimo sritis.
Įvairių modelių, naudojamų naujoje Yandex.Translate versijoje, vertimo pavyzdžiai
Mašininis vertimas naudojant neuroninius tinklus nuėjo ilgą kelią nuo pirmųjų mokslinių tyrimų šia tema ir iki to momento, kai Google paskelbė apie visišką Google Translate paslaugos perkėlimą į gilųjį mokymąsi.
Kaip žinote, neuronų vertėjas yra pagrįstas dvikrypčių pasikartojančių neuronų tinklų (Bidirectional Recurrent Neural Networks) mechanizmu, paremtu matricos skaičiavimais, leidžiančiais sukurti žymiai sudėtingesnius tikimybinius modelius nei statistiniai mašininiai vertėjai. Tačiau visada buvo manoma, kad neuroniniam vertimui, kaip ir statistiniam vertimui, mokytis reikia lygiagrečių tekstų korpusų dviem kalbomis. Neuroninis tinklas yra apmokytas šiuose korpusuose, kaip atskaitos tašką imant žmogaus vertimą.
Kaip paaiškėjo dabar, neuroniniai tinklai sugeba įvaldyti naują kalbą vertimui net ir be paralelinio tekstų korpuso! Išankstinio spausdinimo svetainė arXiv.org iš karto paskelbė du straipsnius šia tema.
„Įsivaizduokite, kad duodate žmogui daug kiniškų knygų ir daug arabiškų knygų – nė viena iš jų nėra vienoda – ir šis asmuo yra išmokytas versti iš kinų kalbos į arabų kalbą. Atrodo neįmanoma, tiesa? Tačiau mes parodėme, kad kompiuteris gali tai padaryti“, – sako Mikel Artetxe, kompiuterių mokslininkas iš Baskų krašto universiteto San Sebastiane (Ispanija).
Dauguma mašininio vertimo neuroninių tinklų yra mokomi „su mokytoju“, kurio vaidmuo tėra paralelinis žmogaus verčiamų tekstų korpusas. Mokymosi procese, grubiai tariant, neuroninis tinklas daro prielaidą, patikrina su standartu ir atlieka reikiamus savo sistemų pakeitimus, tada mokosi toliau. Problema ta, kad kai kurioms pasaulio kalboms nėra daug lygiagrečių tekstų, todėl jie nėra prieinami tradiciniams mašininio vertimo neuroniniams tinklams.
„Google Neural Machine Translation“ (GNMT) neuroninio tinklo „universali kalba“. Kairėje iliustracijoje kiekvieno žodžio reikšmių grupės rodomos skirtingomis spalvomis, apatinėje dešinėje - žodžio reikšmės, gautos jam iš skirtingų žmonių kalbų: anglų, korėjiečių ir japonų.
Kiekvienai kalbai sukūrusi milžinišką „atlasą“, sistema bando vieną tokį atlasą uždengti ant kitos – ir štai, paruoštas kažkoks paralelinis teksto korpusas!
Galima palyginti dviejų siūlomų neprižiūrimų mokymosi architektūrų schemas.
Siūlomos sistemos architektūra. Kiekvienam sakiniui L1 kalba sistema išmoksta dviejų žingsnių kaitaliojimą: 1) triukšmo slopinimas(denoising), kuris optimizuoja triukšmingos sakinio versijos užkodavimo bendru koduotuvu tikimybę ir jos atkūrimą L1 dekoderiu; 2) atvirkštinis vertimas(atgalinis vertimas), kai sakinys verčiamas išvesties režimu (t. y. užkoduojamas bendru koduotuvu ir dekoduojamas L2 dekoderiu), o tada tikimybė, kad šis išverstas sakinys bus užkoduotas bendruoju koduotuvu ir atkurtas originalus sakinys L1 dekoderiu. yra optimizuotas. Iliustracija: Michela Artetxe ir kt.
Siūloma sistemos architektūra ir mokymosi tikslai (iš antrojo mokslinio darbo). Architektūra yra sakinio po sakinio vertimo modelis, kuriame ir koduotuvas, ir dekoderis veikia dviem kalbomis, atsižvelgiant į įvesties kalbos identifikatorių, kuris keičia peržvalgos lenteles. Į viršų (autokodavimas): modelis yra išmokytas atlikti triukšmo slopinimą kiekvienoje srityje. Apačia (vertimas): kaip ir anksčiau, be to, mes užkoduojame iš kitos kalbos, kaip įvestį naudodami ankstesnėje iteracijoje modelio sukurtą vertimą (mėlynas langelis). Žalios elipsės nurodo praradimo funkcijos terminus. Iliustracija: Guillaume'as Lamplas ir kt.
Abiejuose straipsniuose naudojama nepaprastai panaši metodika su nedideliais skirtumais. Bet abiem atvejais vertimas atliekamas per kokią nors tarpinę „kalbą“ arba, geriau tariant, tarpinę dimensiją ar erdvę. Kol kas neuroniniai tinklai be mokytojo nerodo labai aukštos vertimo kokybės, tačiau autoriai teigia, kad jį nesunku pagerinti, jei pasinaudosite nedidele mokytojo pagalba, tik dabar, dėl vertimo grynumo. eksperimentas, tai nebuvo padaryta.
Pranešimai, pateikti 2018 m. Tarptautinei mokymosi reprezentacijų konferencijai. Nė vienas iš straipsnių dar nebuvo paskelbtas mokslinėje spaudoje.
