Előrelépés a beszélt és írott nyelv informatikai feldolgozásában

halotti beszédA beszélt és írott magyar szöveg feldolgozását lehetővé tevő – informatikában használatos – nyelvi modellt hoztak létre a Pécsi Tudományegyetemen (PTE).

A közleményben a fejlesztés indokai között azt írták: mindenki szívesebben használja az anyanyelvét chat és más automatizált alkalmazásokban, mivel azonban a magyar nyelvet viszonylag kevesen beszélik, a cégek számára gyakran nem éri meg kifejleszteni a feldolgozásához szükséges szoftvereket. A PTE Alkalmazott Adattudományi és Mesterséges Intelligencia csapata felismerte ezt a problémát, és a nagy mennyiségű magyar nyelvű adat kezelését megkönnyítendő természetes nyelvfeldolgozási módszerek kutatásába fogott. A megoldást egy magyar nyelvű, úgynevezett “BERT” modell létrehozása jelentette. A BERT a Google órásvállalat egyik nyílt forráskódú technológiája, amely a természetes nyelvfeldolgozását hivatott segíteni. Az új modell – amelyet a PTE munkatársai kevesebb mint kétszáz munkaóra és ezer euró befektetéssel hoztak létre – segíti a számítógépet a többféleképpen értelmezhető szövegrészek megértésében oly módon, hogy a szövegkörnyezetből kontextust épít. A modell működéséhez legalább 3,5 milliárd szót tartalmazó folyószöveg szükséges. Ezt az adatbázist a Nyelvtudományi Kutatóközpont, a projekt másik résztvevője többek között a Magyar Nemzeti Szótárból, online médiatárakból és az opensubtitles.org ingyenesen hozzáférhető filmfelirat-adatbázis magyar nyelvű anyagai közül gyűjtötte. Megjegyezték, hogy a csapat a vállalat által fejlesztett Microsoft Azure mesterséges intelligenciáját és a ONNX Runtime gépi tanulási modellekhez készült, nagy teljesítményű következtető motort használta.

Vélemény, hozzászólás?

Az e-mail-címet nem tesszük közzé.

Next Post

Biden: a kiberbiztonság ügye "alapvető nemzetbiztonsági kihívás"

pén aug 27 , 2021
A kiberbiztonság ügye “alapvető nemzetbiztonsági kihívást” jelent az Egyesült Államok számára – jelentette ki Joe Biden, mielőtt kormánya tagjaival, valamint vezető technológiai és pénzügyi vállalatok vezetőivel tárgyalt. “A valóság az, hogy meghatározó infrastruktúránk nagy részét a magánszektor birtokolja és üzemelteti, és a szövetségi kormány nem képes egyedül megbirkózni ezzel a […]

Friss, ropogós