Strojno prevajanje (Machine translation -- MT) predstavlja vsako uporabo računalnikov kot pripomočkov za prevajanje besedil iz enega naravnega jezika v drugi \citep{EAMT2010}. V tem delu bomo obravnavali le strojno prevajanje naravnih jezikov brez uporabnikovega sodelovanja (\gls{fully automatic machine translation -- FAMT}, machine translation with no user intervention).
\section{Razdelitev}
\label{section:razdelitev}
Sodobni pregled strojnega prevajanja \citep{sanchez2007b} deli področje na dve skupini: prevajanje s pomočjo pravil\index{pravilo} (Rule-Based -- RBMT) in prevajanje na osnovi korpusov (Corpus-Based -- CBMT).
\begin{itemize}
\item RBMT obsega sisteme in metode za prevajanje s pomočjo zbirke pravil\index{pravilo}. Način zapisa pravil\index{pravilo} se med sistemi razlikuje, veže pa jih skupno dejstvo, da je postavitev takšnega sistema dolgotrajno opravilo. V to skupino sodi večina današnjih komercialnih prevajalnih sistemov, čeprav se pri gradnji uporabljajo nekateri manj standardni prijemi. Primeri sistemov: Systran\footnote{Systran: http://www.systran.co.uk/}, Promt\footnote{Promt: http://www.e-promt.com/}, Apertium\footnote{Apertium: http://www.apertium.org/}.
\item CBMT obsega sisteme, ki sledijo naslednjemu vzoru: pripravljena je množica referenčnih prevodov\index{prevod}, ki so analizirani in prevedeni v modele prevajalnega sistema po načelih, ki določajo prevajalni sistem\index{prevajalni sistem} (faza učenja). Ti modeli služijo kot osnova za poznejše prevode\index{prevod} neznanih povedi (faza prevajanja). Sisteme te skupine delimo na dve večji podskupini: na sisteme statističnega strojnega prevajanja (Statistical Machine Translation -- SMT \citep{alonazian1999,burbank2005}) in na sisteme strojnega prevajanja na osnovi primerov (Example Based Machine Translation -- EBMT \citep{nagao1984}). Primeri sistemov: Google Translate \citep{och2006}, Moses \citep{koehn2007}, Egypt toolkit \citep{EGYPT2010} in Genpar toolkit \citep{GenPar2010}.

\item Hibridni sistemi predstavljajo mešanico obeh pristopov. Osnova takšnih sistemov sodi v eno od predstavljenih paradigem\index{paradigma} in je oplemenitena z metodami druge paradigme\index{paradigma}.
\end{itemize}
Ta delitev je več kot le teoretična, saj kar nekaj sistemov, ki se danes vsakodnevno uporabljajo, sodi v eno od obeh opisanih kategorij. Hibridni sistemi poskušajo z uporabo mešanih prijemov izboljšati kakovost oziroma odpraviti pomanjkljivosti osnovnih sistemov. Začetni prevajalni sistemi\index{prevajalni sistem} so bili postavljeni kot zbirke pravil\index{pravilo}, saj se je dostopnost elektronskih gradiv povečala šele v zadnjem času. Vseeno pa sistemov na osnovi pravil\index{pravilo} ne smemo zanemarjati, saj vsebujejo kar nekaj prednosti, kot sta natančna sledljivost prevajalnih postopkov in enostavno dopolnjevanje \citep{forcada1}. Sistemi, temelječi na metodah RBMT, dosegajo visoke rezultate tudi na račun visokih stroškov postavitve \citep{arnold2003}. Sistemi, temelječi na metodah CBMT, kot so sistemi SMT \citep{brown1993} in EBMT \citep{nagao1984}, omogočajo hitro postavitev prevajalnih sistemov ob predpostavki, da za izbrane jezikovne pare obstajajo veliki dvojezični korpusi, kar pa ni vedno res, predvsem za manj uporabljene jezike \citep{forcada1}.

Prevajanje poteka na več ravneh. Večina avtorjev tako predstavlja prevajalne sisteme kot skupek več modelov \citep{brown1993,sanchez2007b,burbank2005}.

\subsection{Statistično strojno prevajanje}
\label{section:smt}
Statistično strojno prevajanje (Statistical Machine Translation -- SMT) je osnovano na parametričnih statističnih modelih, ki so naučeni na poravnanih dvojezičnih korpusih (učnih primerih).

Že od nekdaj je poskušal človek opisati jezik s pomočjo pravil\index{pravilo}. Prvi primeri segajo vsaj 2000 let nazaj. Pri opisovanju večine naravnih jezikov s strogimi pravili pa se pojavi kup problemov. Naravni jezik je preveč kompleksna in živa tvorba, pravila\index{pravilo} za opisovanje pa so preveč kompleksna, če jih je sploh mogoče vsa zapisati. Že v začetku tega stoletja so prišli strokovnjaki do tega zaključka: ,,All grammars leak'' (vse gramatike puščajo) \citep{saphir1921}.

Natančno določanje pravil\index{pravilo} jezika in umeščanje v stroge okvire pravil\index{pravilo} ni obrodilo sadov; potrebujemo namreč bolj ohlapne omejitve, ki pri uporabi jezika upoštevajo tudi ustvarjalnost.

Namesto analiziranja povedi po slovničnih pravilih\index{pravilo} iščemo splošne vzorce, ki se porajajo pri uporabi jezika. Glavno orodje za iskanje takšnih vzorcev je štetje raznovrstnih objektov, bolj strokovno izraženo, statistika. Od tod izvira tudi ime statistično strojno prevajanje.

\subsection{Statistično strojno prevajanje z razčlenjevanjem}
\label{section:smtbyp}
Statistično strojno prevajanje z razčlenjevanjem (\gls{statistical machine translation by parsing -- SMTbyP}) je posebna različica statističnega strojnega prevajanja, ki temelji na drevesnih strukturah in slovnicah. Snovalci sistemov statističnega strojnega prevajanja vedno pogosteje uporabljajo modele, temelječe na drevesnih strukturah in slovnicah (tree structured translation models) \citep{eng2003,koehn03}.

\citet*{melamed04a} predlaga zmanjšanje konceptualne kompleksnosti prevajalnih modelov, temelječih na drevesih, in tudi novo ime za področje statistično strojno prevajanje z razčlenjevanjem (\gls{statistical machine translation by parsing -- SMTbyP}). GenPar \citep{burbank2005} je popoln sistem za postavitev prevajalnega sistema po načelih SMTbyP \citep{melamed04a,melamed04b}.

Prvi pogoj za sistem SMTbyP je vzporedni, povedno poravnan in skladenjsko označen dvojezični korpus in enojezični skladenjsko označen korpus \citep{melamed04a}. Primer skladenjsko označenega korpusa je Penn treebank \citep{marcus94}.

Osnovni sistem SMTbyP je sestavljen iz dveh faz: učne in prevajalne faze.

Prvi, učni del, uporablja skladenjski razčlenjevalnik, kot na primer v  \citep{collins03,charniak00}, ki je bil vnaprej naučen na dvojezičnem skladenjsko označenem korpusu \citep{marcus94}. Vsaka poved iz izvornega in ciljnega dela korpusa je razčlenjena; rezultat so pari skladenjsko označenih, vzporednih (prevodov\index{prevod}) izvornih in ciljnih povedi. Naslednji korak sestavlja hierarhične poravnave med drevesi izpeljave izvornih ter ciljnih povedi. Model statistične poravnave besed \citep{brown1993,wu05} je uporabljen za modeliranje povezav (prevodov\index{prevod}) med besedami v korpusu. Učni podatki so shranjeni za poznejšo uporabo v prevajalnem delu.

V drugem, prevajalnem delu, sistem sestavi skladenjsko drevo vhodne povedi v izvornem jeziku (povedi, ki jo sistem prevaja). Na osnovi naučenih podatkov iz prve faze izdela primerno skladenjsko drevo v ciljnem jeziku in zamenja izvorne besede s ciljnimi s pomočjo modela statistične poravnave besed.

\subsection{Strojno prevajanje na osnovi primerov}
\label{section:ebmt}
Strojno prevajanje na osnovi primerov (Example-based Machine Translation -- EBMT) \citep{nagao1984} je pristop k strojnemu prevajanju, ki temelji na vzporednih dvojezičnih korpusih. V bistvu je prevajanje po analogiji. Sistemi EBMT razbijajo dele besedila na manjše enote in iščejo že poznane dele za prevod\index{prevod}, te dele ponovno združujejo v končni izdelek. Če ta način primerjamo s prevajanjem človeka, naj bi prav ta princip najbliže odražal dejanski način prevajanja pri človeku. Prevajanje ne poteka z globoko jezikoslovno analizo izvornih besedil; besedila se razdelijo na manjše enote do te mere, da so posamezni kosi že poznani (examples), te dele prevedemo po analogiji (že videnem) in sestavimo končni izdelek.

Sistemi za strojno prevajanje na osnovi primerov pri učenju kodirajo abstrahirano znanje v obliki primerov s spremenljivkami.

\subsection{Strojno prevajanje na osnovi pravil\index{pravilo}}
\label{section:rbmt}
Strojno prevajanje na osnovi pravil\index{pravilo} (Rule-Based Machine Translation -- RBMT) obsega sisteme in metode za prevajanje s pomočjo zbirke pravil\index{pravilo}. Način zapisa pravil\index{pravilo} se med sistemi razlikuje, veže pa jih skupno dejstvo, da je postavitev takšnega sistema dolgotrajno opravilo. V to skupino sodi večina današnjih komercialnih prevajalnih sistemov, čeprav pri gradnji uporabljajo nekatere manj standardne prijeme. Primeri sistemov: Systran \citep{systran2010}, Promt \citep{promt2010} in Apertium \citep{apertium2010}.

Sistemi te paradigme\index{paradigma} izvorno besedilo najprej oblikoskladenjsko označijo in skladenjsko razčlenijo ter izdelajo predstavitev vhodnega besedila, po navadi v obliki skladenjskega drevesa izpeljave. Ta predstavitev se še dodatno abstrahira s poudarkom na zahtevah strojnega prevajanja. Proces prenosa\index{prenos} prevede abstraktno predstavitev vhodnega besedila v izvornem jeziku v podobno predstavitev v ciljnem jeziku. To predstavitev sistem uporabi kot osnovo za tvorjenje besedila v ciljnem jeziku, v bistvu uporabi inverzne metode prvega dela na ciljnem jeziku.

\subsection{Strojno prevajanje na osnovi pravil\index{pravilo} plitkega prenosa\index{plitki prenos}}
\label{section:strbmt}
Sistemi strojnega prevajanja na osnovi pravil\index{pravilo} plitkega razčlenjevanja in plitkega prenosa (shallow transfer\index{transfer} rule based machine translation) v večini primerov uporabljajo enostavno arhitekturo, pri čemer je razčlenjevanje izvornega jezika omejeno na oblikoskladenjske oznake. Sistemi večinoma uporabljajo plitko razčlenjevanje \citep{homola2008}.

Večina sistemov za prevajanje sorodnih jezikov temelji na strojnem prevajanju s pravili plitkega razčlenjevanja, kot je pokazano v \citep{vicic2009a}. 

Metode popolne slovnične analize ne dosegajo dovolj dobrih rezultatov za uporabo v sistemih za prevajanje sorodnih jezikov, saj je njihova stopnja napak višja kot pa prednosti, ki jih omogoča tak način razčlenjevanja izvornih besedil.

\subsection{Strojno prevajanje sorodnih naravnih jezikov v poljubnih domenah in nesorodnih naravnih jezikov v ozko omejenih domenah}
\label{section:strojno}
Samodejno prevajanje naravnih jezikov visoke kakovosti (Fully Automatic High Quality Machine Translation) predstavlja hudo prepreko \citep{EAMT2010}, saj so jeziki spreminjajoče se tvorbe, ki jih je težko opisati. Izdelava modelov, ki dovolj dobro opisujejo prevajanje poljubnih besedil med poljubnimi jeziki, zahteva ogromna sredstva in ogromno časa.
Probleme poskušamo omejevati s pomočjo poenostavljanj. Primeri takšnih poenostavitev prevajalnih problemov vključujejo:
\begin{itemize}
\item prevajanje s slabimi in nenatančnimi prevodi\index{prevod},
\item prevajanje med sorodnimi jeziki,
\item prevajanje nesorodnih jezikov v ozko omejeni domeni.
\end{itemize}
Prva možnost se zdi popolnoma neuporabna, vendar se takšni sistemi uporabljajo kot priročno, pogosto edino orodje za razumevanje gradiva. Njihova izdelava je enostavnejša. Obstaja kar nekaj kakovostnih orodij in metod, ki temeljijo na statističnem strojnem prevajanju (razdelek \ref{section:smt}) in omogočajo enostavno postavitev takšnih prevajalnih sistemov. Primeri orodij so opisani v delih \citep{alonazian1999,burbank2005}. Kakovost takšnih sistemov je zelo odvisna od velikosti učnih gradiv; velikost poravnanih dvojezičnih korpusov naj bi segala vsaj v desetine milijonov besed \citep{och2006}. Večina sistemov, temelječih na teh metodah, je tako namenjena predvsem razumevanju besedila.

Prevajanje med sorodnimi jeziki predstavlja poenostavitev problema prevajanja tujih si jezikovnih parov oziroma popolnoma prostega prevajanja naravnih jezikov z omejitvijo razlik predvsem v strukturi povedi. Seveda pa podobnost\index{podobnost} ni omejena le na strukturo povedi, izraža se na vseh jezikovnih ravneh, tj. glasoslovju, besedoslovju, oblikoslovju, skladnji, (povzeto po \citep{toporisic2000}). Podobnosti na vseh naštetih ravneh lajšajo gradnjo prevajalnih sistemov.

Prevajanje med nesorodnimi jeziki v ozko omejeni domeni lahko v marsičem enačimo s prevajanjem sorodnih jezikov, saj ozko omejene domene po navadi prinašajo omejen besedni zaklad, omejen slog pisanja in podobno. Tako lahko mnoge metode, ki so zasnovane za prevajanje med sorodnimi jeziki, uporabimo tudi v primeru prevajanja med nesorodnimi jeziki v ozko omejenih domenah.

Ena od metod, ki omogoča relativno dobre rezultate prevodov\index{prevod} sorodnih jezikov, je strojno prevajanje na osnovi pravil\index{pravilo} plitkega prenosa (shallow transfer\index{transfer} -- RBMT). Metoda ima že dolgo zgodovino in je bila uspešno uporabljena v mnogih prevajalnih sistemih, od katerih je najbolj znan Apertium\index{Apertium} \citep{corbi1}.

\section{Strojno prevajanje na osnovi pravil\index{pravilo} plitkega prenosa}
\label{section:strbmt1}
Sistemi strojnega prevajanja s pravili plitkega prenosa (shallow transfer\index{transfer} rule based machine translation) v večini primerov uporabljajo enostavno arhitekturo, pri čemer je analiza izvornega jezika omejena na oblikoskladenjske oznake. Arhitektura, ki jo uporablja večina sistemov za strojno prevajanje naravnih jezikov na osnovi pravil plitkega prenosa in plitke sinteze, je prikazana na sliki \ref{fig:original_system}.

\begin{figure}[h]
\centering
\includegraphics[width=.90\textwidth]{shallowtransfer_design}
\caption{\small  Moduli tipičnega sistema za strojno prevajanje na osnovi pravil\index{pravilo} plitkega prenosa. Ta arhitektura je bila najprej predstavljena v \citep{hajic2000} in pozneje uporabljena tudi v \citep{corbi1}.}
\label{fig:original_system}
\end{figure}

Opis posameznih modulov prevajalnega sistema, kot so prikazani na sliki \ref{fig:original_system}:
\begin{itemize}
\item Oblikoskladenjska analiza (\gls{morphosyntactic analysis}) izvornega besedila vsaki besedi pripiše vse možne oblikoskladenjske oznake, ki bi jih ta besedna oblika lahko imela.
\item Razdvoumljanje (disambiguation) služi za izbiro najverjetnejše oznake za posamezno besedo glede na njeno okolico.
\item Strukturni prenos\index{strukturni prenos} s pomočjo pravil in dobesednih prevodov\index{prevod} prenese označeno besedilo v ciljni jezik.
\item Oblikoskladenjska sinteza nadomesti oblikoskladenjsko označeno besedilo z dejanskimi besednimi oblikami v ciljnem jeziku.
\end{itemize}
Moduli so natančneje opisani v razdelku \ref{section:arhitekturaogrodjaapertium}, in sicer na primeru ogrodja Apertium.

\section{Orodja za postavitev prevajalnih sistemov}
\paragraph*{Apertium}
\label{section:apertiumkratko}
\citep{corbi1} je odprtokodno ogrodje za postavitev samodejnega prevajalnega sistema za sorodne jezike\index{sorodni jezik}. Obširneje je predstavljeno v razdelku \ref{section:apertium}, saj je bilo uporabljeno pri snovanju in preizkušanju večine metod, predstavljenih v tem delu.
Apertium je licenciran pod licenco GNU Lesser General Public License (LGPL) \citep{GNU2010}.

\paragraph*{GenPar}
\label{section:genpar}
\citep{burbank2005} je zbirka orodij za raziskave posplošenega razčlenjevanja (\gls{generalized parsing}), predvsem strojnega prevajanja z razčlenjevanjem. Ta zbirka ponuja arhitekturo, načrt in implementacijo sistema za statistično strojno prevajanje z razčlenjevanjem (Statistical Machine Translation by Parsing SMTbyP).

Zbirka je prosto dostopna v okviru licence GPL \citep{GNU2010}, kar pomeni, da je poleg vseh programov prosto dostopna tudi izvorna koda. Pripravljena so že testna okolja s primeri učnih in testnih podatkov. Zbirka vsebuje vse programe za takojšnje preizkušanje sistemov ali implementacijo lastnih idej v že pripravljenem ogrodju.
GenPar je licenciran pod licenco GNU General Public License (GPL) \citep{GNU2010}.

\paragraph*{Egypt}
\label{section:egypt}
\citep{alonazian1999} je zbirka orodij za postavitev sistema statističnega strojnega prevajanja. Na poletni delavnici leta 1999 na JHU (John Hopkins University) so po vzoru \citep{brown1994} izdelali zbirko orodij, ki omogočajo postavitev popolnega sistema za statistično strojno prevajanje, osnovanega na dvojezičnih vzporednih korpusih. Zbirko so poimenovali Egypt.
Pri snovanju delavnice so si zadali pet osnovnih ciljev in jih tudi dosegli:
\begin{enumerate}
\item Postavitev zbirke orodij za statistično strojno prevajanje. Zbirka je dosegljiva vsej raziskovalni srenji. Sestavljena je iz orodij za pripravo korpusov, orodij za dvojezično učenje (postavitev parametričnih modelov) in orodij za takojšnje dekodiranje besedil.
\item Postavitev češko-angleškega sistema za prevajanje besedil na osnovi izdelanih orodij.
\item Osnovno testiranje sistema na osnovi objektivnih mer (statistično modeliranje težavnosti).  
\item Izboljšanje osnovnih rezultatov z uporabo oblikoslovnih in skladenjskih prevajalnikov.
\item V zadnjih dneh delavnice so postavili prevajalni sistem\index{prevajalni sistem} za nek nov jezik v enem samem dnevu (potrditev enostavnosti uporabe orodij).
\end{enumerate}

\paragraph*{Moses}
\label{section:moses}
\citep{koehn2007} je v zadnjem času najbolj uporabljano ogrodje za postavitev sistemov za statistično strojno prevajanje. Glavne lastnosti ogrodja so:
\begin{itemize}
\item dva tipa prevajalnih modelov (translation models): na osnovi fraz, dejansko delov besedila (phrase-based) in na osnovi dreves (tree-based);
\item do določene mere omogoča integracijo eksplicitnega jezikovnega znanja na nivoju besed;
\item omogoča podporo za integracijo orodij z dvoumnimi izhodi, kot so oblikoskladenjski analizatorji in razpoznavalniki govora;
\item podpira velike jezikovne modele.
\end{itemize}
Moses je licenciran pod licenco GNU Lesser General Public License (LGPL) \citep{GNU2010}.

\section{Apertium -- odprtokodno ogrodje za prevajalni sistem\index{prevajalni sistem} sorodnih jezikov}
\label{section:apertium}
Apertium \citep{corbi1} je odprtokodno ogrodje za postavitev samodejnega prevajalnega sistema za sorodne jezike\index{sorodni jezik} tipa plitkega prenosa\index{plitki prenos} (shallow transfer\index{transfer}) \citep{sanchez2006}. Predstavlja ogrodje, ki omogoča s pomočjo pravil\index{pravilo} prevajanje med sorodnimi jeziki. Uvršča se med sisteme za samodejno prevajanje naravnih jezikov na osnovi pravil\index{pravilo} plitkega prenosa\index{plitki prenos} (shallow-transfer RBMT).
Prevajanje je razdeljeno na pet osnovnih faz:
\begin{itemize}
\item označevanje neprevajanih razdelkov;
\item leksikalni prenos\index{leksikalni prenos};
\item odpravljanje dvoumnosti (disambiguation);
\item strukturni prenos\index{strukturni prenos};
\item dejanski prevod\index{prevod} posameznih besed in besednih zvez.
\end{itemize}
Zadnja faza odpravlja pomanjkljivosti ostalih faz in obsega upoštevanje niza pravil\index{pravilo}, ki pri prevajanju posebnosti odpravijo manjše napake.

Pravila\index{pravilo}, ki omogočajo prevajanje, temeljijo na regularnih jezikih, ki jih je enostavno pretvoriti v končne avtomate (transduktorje končnih stanj -- finite state transducers), ter na besednih in fraznih slovarjih (enojezičnih in večjezičnih).
Opisani sistemi so primerni le za prevajanje med sorodnimi jeziki, saj enostavna pravila\index{pravilo} ne omogočajo dobrega opisa poljubnih prevajalnih konstruktov. Več o tem je opisano v razdelkih \ref{section:thefinitestaterules} in \ref{section:plitka}.

Za leksikalni prenos so opisi s pomočjo regularnih jezikov oziroma iz teh izvedeni stohastični regularni modeli dovolj močno orodje \citep{melamed04a}. Primeri stohastičnih regularnih modelov so: Skriti Markovski Model (\gls{hidden markov model -- HMM}), predstavljen v \citep{welch03}, ali uteženi končni transduktorji (\gls{weighed finite state transducers -- WFST}), definirani v \citep{kornai99,roche97}.

Strukturni nivo je kompleksnejši, saj nekaterih konstruktov oziroma njihovih prevodov\index{prevod} ne moremo opisati z regularnimi jeziki. Mnogi avtorji \citep{melamed04b,eng2003,koehn03} predlagajo uporabo modelov, ki temeljijo vsaj na drevesnih strukturah. Tako je Apertium\index{Apertium} namenjen predvsem za sorodne jezike\index{sorodni jezik}.

\subsection{Arhitektura ogrodja Apertium}
\label{section:arhitekturaogrodjaapertium}

Arhitektura ogrodja Apertium\index{Apertium} posnema arhitekturo, predstavljeno na sliki \ref{fig:original_system}, ki kaže tipično razporeditev modulov sistemov za strojno prevajanje s plitkim prenosom.

Slika \ref{fig:apertium_original_system} predstavlja arhitekturo ogrodja Apertium. 

Prvi modul izbere le besedilo, ki ga prevajamo iz označenega besedila, kar pomeni, da za ostale prevajalne module izbriše oznake formatiranja, kot so oznake jezika HTML, posebej označi dele besedila, ki se ne prevaja, na primer za vnaprej pripravljene obrazce. Delov besedila, ki se ne prevajajo, pa ne izbriše, ampak jih posebej označi, tako da jih ostali moduli prevajalnega sistema ignorirajo.

Oblikoskladenjska analiza izvornega besedila poišče vse možne kombinacije oblikoskladenjskih oznak za posamezne besede glede na pripravljene leksikone izvornega jezika. Razdvoumljanje izbere najverjetnejše oznake za posamezne besede glede na njeno okolico, strukturni prenos\index{strukturni prenos} pa služi dejanskemu prenosu izvornega besedila v ciljni jezik. Modul postgenerator služi za odpravljanje napak, uvajanje posebnosti ciljnega jezika in za združevanje besednih zvez. Oblikoskladenjska sinteza poišče ustrezne besede v pripravljenem leksikonu ciljnega jezika glede na prevedene oblikoskladenjsko označene dele besedila. Sledi ponovno dodajanje delov besedila, ki ga je prvi modul posebej označil in se zato niso prevajali. Moduli so natančneje predstavljeni v razdelku \ref{section:predlaganaspremenjenaarhitektura}.
\begin{figure}[h]
\centering
\includegraphics[width=.90\textwidth]{Original_design}
\caption{\small Arhitektura ogrodja Apertium: poleg osnovnih modulov, ki služijo za osnovno prevajanje in so prikazani na sliki \ref{fig:original_system}, Apertium\index{Apertium} dodaja še module za označevanje delov besedila, ki se ne prevajajo, in modul za končno urejanje (post-editing) prevodov\index{prevod}.}
\label{fig:apertium_original_system}
\end{figure}

Sledijo opisi posameznih modulov prevajalnega sistema, kot so prikazani na sliki \ref{fig:apertium_original_system}; moduli so označeni s števili.

\paragraph*{Modul 1: označba formatiranja (De-formatter).} V izvornem besedilu posebej označi dele besedila, ki jih ostali prevajalni moduli ignorirajo. Tako lahko sistem prevaja tudi besedilo z urejevalnimi oznakami, kot so oznake jezikov HTML ali XML. Za posebej prirejene sisteme lahko modul označuje tudi dele besedila, ki se ne prevajajo.

\paragraph*{Modul 2: oblikoskladenjska analiza (Morphological analyzer).} Vsaki besedi izvornega besedila pripiše vse možne oblikoskladenjske oznake, ki bi jih ta besedna oblika lahko imela. Modul podpira besede in besedne zveze, ki so zapisane v oblikoskladenjsko označenem enojezičnem slovarju izvornega jezika. Vsaka beseda oziroma besedna zveza je obdelana samostojno, brez vpliva okolice. Z izvajanjem oblikoskladenjske analize vsaki besedi pripiše vse njene možne oznake, kar pomeni, da je izhod tega modula dvoumen. Primer delovanja je prikazan na sliki \ref{fig:dvoumnosti}. V pomoč pri sledenju služi tabela \ref{tab:kraticejos1}, v kateri so predstavljene kratice oznak MSD po specifikacijah JOS \citep{erjavec2009}.

\begin{figure}[h]
\begin{quote}
\small
\begin{verbatim}
Danes je lepo vreme
Danes
    danes Rsn
je
    biti  Gp-ste-n
    jesti Ggnspm
lepo
    lep   Ppnsei
    lep   Ppnset
    lep   Ppnzeo
    lep   Ppnzet
vreme
    vreme Sosei
    vreme Soset
.
\end{verbatim}
\end{quote}
\caption{\small Oblikoskladenjska analiza stavka ,,Danes je lepo vreme''. Besede izvorne povedi so označene z vsemi možnimi ustreznimi oblikoskladenjskimi oznakami iz slovarja. Najprej je zapisana besedna oblika, sledijo vse možne oznake zanjo. Za besedno obliko \emph{lepo} je možnih pet različnih množic oznak.}
\normalsize
\label{fig:dvoumnosti}
\end{figure}

\begin{table}[ht]
\centering
\caption{\small Razširjene kratice, ki so uporabljene v na sliki \ref{fig:dvoumnosti} in primerih \ref{example:lokalnoujemanje_sl}, \ref{example:lokalnoujemanje_sr1} in \ref{example:lokalnoujemanje_sr2}.}
\begin{tabular}{|l|l|}
\hline
\hline
Rsn & prislov splošni nedoločno\\
Gp-ste-n & glagol pomožni sedanjik tretja ednina nikalnost (ne)\\
Ggnspm & glagol glavni nedovršni sedanjik prva množina\\
Ppnsei & pridevnik splošni nedoločno srednji ednina imenovalnik\\
Ppnset & pridevnik splošni nedoločno srednji ednina tožilnik\\
Ppnzeo & pridevnik splošni nedoločno ženski ednina orodnik\\
Ppnzet & pridevnik splošni nedoločno ženski ednina tožilnik\\
Sosei & samostalnik občno\_ime srednji ednina imenovalnik\\
Soset & samostalnik občno\_ime srednji ednina tožilnik\\
Pdnset & pridevnik deležniški nedoločno srednji ednina tožilnik\\
Soset & samostalnik občno\_ime srednji ednina tožilnik\\
Pdnmet & pridevnik deležniški nedoločno moški ednina tožilnik\\
Somet & samostalnik občno\_ime moški ednina tožilnik\\
\hline
\end{tabular}
\label{tab:kraticejos1}
\end{table}

\paragraph*{Modul 3: razdvoumljanje s označevanjem MSD (POS tagger).} Služi za izbiro najverjetnejše oznake za posamezno besedo glede na njeno okolico. Sistem uporablja stohastični označevalnik oblikoskladenjskih oznak, ki iz seznama možnih oblikoskladenjskih oznak, ki jih je našel modul za oblikoskladenjsko analizo, izbere najverjetnejšo oznako.

Osnovni označevalnik \citep{sanchez2008} temelji na samodejni metodi učenja označevanja oblikoskladenjskih oznak na neoznačenem korpusu. Po trditvah avtorjev je primeren za vse evropske jezike, kakovost označevanja pa ne dosega točnosti najboljših označevalcev oziroma označevalcev, naučenih na označenih in pregledanih korpusih. Rezultat tega modula je po ena izbira oblikoskladenjskega označevalca za vsako besedo izvornega besedila.

\paragraph*{Modul 4: strukturni prenos\index{strukturni prenos} (Structural transfer).} S pomočjo pravil in dobesednih prevodov\index{prevod} prenese označeno besedilo v ciljni jezik. Pravila strukturnega prenosa temeljijo na regularnih izrazih in se osredotočajo na ujemanja med oblikoskladenjskimi oznakami sosednih besed, na lokalnem besednem vrstnem redu in na ostalih razlikah jezikovnega para, ki jih lahko opišemo z lokalnim kontekstom. Obširneje so pravila predstavljena v \ref{chapter:pravilatransferja}. poglavju.

Dobesedni prevodi\index{prevod} posameznih besed v lematizirani obliki temeljijo na osnovi dvojezičnega slovarja.

\paragraph*{Modul 5: oblikoskladenjska sinteza (Morphological analyzer).} Oblikoskladenjsko označeno besedilo, ki je že prevedeno v ciljni jezik, nadomesti z dejanskimi besednimi oblikami v ciljnem jeziku. Sam modul uporablja enake podatkovne strukture (enojezični oblikoskladenjsko označen slovar) kot Modul 2, tj. modul za oblikoskladenjsko analizo, zamenjana je le smer uporabe.

\paragraph*{Modul 6: končno urejanje (Post-generator).} Služi za odpravljanje sistemskih napak prejšnjih modulov, za uvajanje posebnosti ciljnega jezika (uporaba diakritikov, posebnosti pri imenih ...) in za združevanje besednih zvez. Modul kot osnovno jezikovno gradivo uporablja slovar, ki pa ni oblikoskladenjsko označen. Primer \ref{example:postediting} kaže združevanje določnega člena in predloga v italijanščini v predložno zvezo (preposizione articolata).

\begin{figure}[h]
\begin{quote}
\small
\begin{verbatim}
<pardef n="di">
  <e>
    <p><l><b/><a/>la<b/></l><r>della<b/></r></p>
    <par n="soglasnik"/>
  </e>
  <e>
    <p><l><b/><a/>la<b/></l><r>dell'</r></p>
    <par n="samoglasnik"/>
  </e>
  ...
</pardef>
\end{verbatim}
\end{quote}
\caption{\small Del paradigme \emph{di}, ki združuje določni člen \emph{la} in predlog \emph{di} v predložno zvezo.}
\normalsize
\label{fig:posteditdella}
\end{figure}

Slika \ref{fig:posteditdella} kaže del paradigme, ki združuje določni člen \emph{la} in predlog \emph{di} v predložno zvezo. Prikazana sta primera za ženski spol, ločeno za besede, ki se začnejo s samoglasnikom in soglasnikom. Ime paradigme je \emph{di}.


\paragraph*{Modul 7: ponovna uvedba formatiranja (Re-formatter).} Kot zadnji modul prevajalne verige ponovno postavi v besedilo odseke besedila, ki jih je začetni modul izbral in označil kot besedilo, ki se ne prevaja; največkrat so to oznake urejanja besedila (HTML, XML in ostale).

\subsection{Predlagana spremenjena arhitektura}
\label{section:predlaganaspremenjenaarhitektura}

Rezultati, predstavljeni v \citep{homola2008a}, kažejo, da sprememba arhitekture brez uporabe označevalnika MSD v začetnih fazah prevajanja in z uvedbo stohastičnega razvrščevalnika prevodov\index{prevod} (stochastic ranker) na koncu prevajalne verige prinaša izboljšano kakovost prevodov\index{prevod} v primerjavi z osnovno arhitekturo, predstavljeno na sliki \ref{fig:original_system} in v \citep{corbi1}. Odločili smo se za izbiro spremenjene arhitekture, kot je prikazana na sliki \ref{fig:changed_system}, in jo predstavili v \citep{vicic2009b}.

\begin{figure}[h]
\centering
\includegraphics[width=.90\textwidth]{Changed_design}
\caption{\small  Moduli predlaganega (spremenjenega) sistema za strojno prevajanje na osnovi pravil\index{pravilo} plitkega prenosa. Arhitektura temelji na sistemu, predlaganem v \citep{corbi1,hajic2003}, brez uporabe sistema za razdvoumljanje na osnovi označevalnika MSD z uporabo vseh kandidatov za prevode\index{prevod} do zadnjih faz prevajalne verige ter z dodatkom modula za izbiro najboljšega prevoda\index{prevod} (Ranker).}
\label{fig:changed_system}
\end{figure}

Najpomembnejši razlogi za izbiro spremenjene arhitekture so:
\begin{itemize}
\item Izdelava označevalnika MSD, zlasti dobre kakovosti, ni enostavna naloga. Poseben problem predstavljajo oblikoslovno bogati jeziki, med katere sodi tudi slovenščina\index{slovenščina}. Eden izmed najlažjih načinov je učenje stohastičnih označevalcev, ki temelji na algoritmu HMM \citep{welch03}. Nekatere dele te naloge lahko avtomatiziramo z uporabo nenadzorovanih ali delno nadzorovanih učnih metod, kot je \citep{brants2000}, vendar še vedno ostaja dovolj dela z izbiro novega niza oznak, izdelavo označenega učnega korpusa, s preizkušanjem korpusa in na koncu z izvedbo samega učnega procesa.
\item Stopnja kakovosti označevanja današnjih najboljših (state-of-the-art) označevalnikov MSD za visoko pregibne jezike, kot sta opisana v \citep{hajic2000a,erjavec2005}, je relativno nizka v primerjavi s kakovostjo označevalnikov MSD za analitične jezike, kot je angleški jezik, in tudi v primerjavi s splošno kakovostjo prevajalnih sistemov za sorodne jezike\index{sorodni jezik}.
\item Po arhitekturi, predstavljeni na sliki \ref{fig:original_system}, modul za oblikoskladenjsko razdvoumljanje sledi modulu za oblikoskladenjsko analizo izvornega jezika. Napake stohastičnih metod modula za razdvoumljanje, ki uporablja označevalnik MSD, so tako povzročene v zgodnjih fazah prevoda\index{prevod} in povzročajo več težav kot napake poznejših faz prevajalnega procesa.
\item V zaključni fazi, ko so zbrani vsi razpoložljivi podatki za prevod\index{prevod}, omogoča večje število kandidatov boljšo izbiro.
\end{itemize}

Tako spremenjena arhitektura lahko povzroči kombinatorično eksplozijo možnih kandidatov za prevode, saj v prvi fazi ohranjamo vse dvoumnosti in število kandidatov dobimo kot produkt vseh dvoumnosti. Kombinatorično eksplozijo števila možnih kandidatov nadzorujemo s pravili za ujemanje med oblikoskladenjskimi oznakami sosednih besed izvornega jezika in z rangiranjem kandidatov za prevode. Izdelava kandidatov in omejevanje njihovega števila sta obširneje prikazana v naslednjem odstavku.

Sledi opis dodatnih modulov prevajalnega sistema, kot so prikazani na sliki \ref{fig:changed_system}. Opisani so le novi moduli; originalni moduli so namreč opisani v razdelku \ref{section:apertium}. Moduli so označeni s števili.

\paragraph*{Modul 2a: izdelava možnih kandidatov (Multiple candidate selector).} Ta modul predstavlja zamenjavo za modul za razdvoumljanje, saj namesto izbire najverjetnejšega kandidata za prevode\index{prevod} izdela vse možne kandidate. Kandidate sestavi na osnovi dvoumnega označevanja oblikoskladenjskega analizatorja.

Modul za oblikoskladenjsko analizo poišče vse možne oznake za vhodno poved in za vsako besedo izdela množico dvoumnih oznak. Množica vseh možnih kandidatov za prevode se sestavi kot kartezični produkt množic dvoumnih oznak. Število kandidatov narašča eksponentno z dolžino povedi, osnova eksponenta pa s številom dvoumnosti.
Enačba \ref{eq:eksponentnonarascanje} ponazarja eksponentno naraščanje števila možnih kandidatov, v kateri je $kp$ množica kandidatov za prevode za najdaljšo poved, $S_{max}$ najdaljša poved in $x_{max}$ največje število dvoumnosti za besedo iz jezika. 
\begin{equation}
\begin{split}
|kp| = \prod_{i=0}^{|S_{max}|}{x_{max}}\\
\end {split}
\label{eq:eksponentnonarascanje}
\end{equation}
Takšno število možnih kandidatov bi dobili ob najdaljši možni povedi, ki bi bila sestavljena le iz besed z največjim številom dvoumnosti \citep{vicic2010b}. Takšne povedi v jeziku sicer ne obstajajo in ta vrednost predstavlja nedosegljivo (pesimistično) zgornjo mejo. 

Čeprav enačba \ref{eq:exponentialaverage}, ki pri izdelavi kandidatov za prevode upošteva povprečne vrednosti števila dvoumnosti, kaže veliko nižje številke, ostaja kompleksnost problema še vedno eksponentna.  
\begin{equation}
|kp| = \prod_{i=0}^{|\bar{S}|}{\bar{x}}\\
\label{eq:exponentialaverage}
\end{equation}
Enačba \ref{eq:exponentialvalues1} kaže izračun enačbe \ref{eq:eksponentnonarascanje} z dejanskimi vrednostmi iz korpusa ,,1984''; največja množica dvoumnosti obsega 15 elementov. Enačba \ref{eq:exponentialvalues2} kaže empirične vrednosti povprečja 200 primerov povedi iz korpusa ,,1984''; povprečno število dvoumnosti je bilo 2,5 in povprečna dolžina povedi 15.

\begin{equation}
\begin{split}
&|S| = 40\\
&x = 15 \\
&|kp| = \prod_{i=0}^{40}{15}=110,573323209e+45 
\end {split}
\label{eq:exponentialvalues1}
\end{equation}
\begin{equation}
\begin{split}
&|\bar{S}| = 15 \\
&\bar{x} = 2,5  \\
&|kp| = \prod_{i=0}^{15}{2,5}=9.313.221
\end {split}
\label{eq:exponentialvalues2}
\end{equation}
Število kandidatov za prevode zmanjšamo z uporabo pravil za lokalno ujemanje oblikoskladenjskih oznak sosednih besed. Gradnja teh pravil je predstavljena v razdelku \ref{section:samodejnalocalagreementrules}.

Algoritem aplicira vsa pravila, ki se skladajo s kandidatom, vsa pravila, katerih regularni izraz opisuje del kandidata za prevod. Če vsaj eno pravilo spremeni kandidata, tega zavržemo. Metoda je natančneje predstavljena v \citep{vicic2010b}.
%JERNEJ mogoče še malo\\
Izhod modula je množica najboljših $n$ kandidatov za prevode\index{prevod} (\gls{n-best set}).

\paragraph*{Modul 4a: lokalno ujemanje (Local agreement).} Modul skrbi za ujemanje bližnjih besed v oblikoskladenjskih oznakah. Modul s pomočjo pravil za lokalno ujemanje odpravlja napake, ki jih lahko povzročijo pravila za strukturni prenos\index{strukturni prenos}, še posebej samodejno zgrajena pravila. Primer \ref{example:lokalnoujemanje_sl} kaže lokalno ujemanje pridevnika in samostalnika v slovenščini; \emph{odprto okno}: pridevnik \emph{odprto} se ujema s samostalnikom \emph{okno} v spolu, številu in sklonu.

Pri prevodu v srbščino se spol samostalnika spremeni iz srednjega v moški \emph{okno -- prozor}. Primer \ref{example:lokalnoujemanje_sr1} kaže napačen prevod, ki bi ga dobili brez pravil za lokalno ujemanje: \emph{otvoreno prozor}, pridevnik in samostalnik se ne ujemata več v spolu. Primer \ref{example:lokalnoujemanje_sr2} kaže točen prevod, pri katerem pravilo pridevniku spremeni spol: \emph{otvoren prozor}, okrajšave oznak MSD so zapisane v razširjeni obliki v tabeli \ref{tab:kraticejos1}.

\begin{example}
\gll odprto okno
     \emph{Pdnset} \emph{Soset}
\glt ``odprto okno''
\glend
\label{example:lokalnoujemanje_sl}
\end{example}

\begin{example}
\gll otvoren prozor
     \emph{Pdnset} \emph{Somet}
\glt ``otvoreno prozor''
\glend
\label{example:lokalnoujemanje_sr1}
\end{example}

\begin{example}
\gll otvoren prozor
     \emph{Pdnmet} \emph{Somet}
\glt ``otvoren prozor''
\glend
\label{example:lokalnoujemanje_sr2}
\end{example}

\paragraph*{Modul 6a: rangiranje kandidatov (Stochastic ranker).} Iz množice prevedenih kandidatov za prevode\index{prevod} izbere najverjetnejši prevod\index{prevod}. Osnova za ugotavljanje kakovosti prevoda\index{prevod} je statistični jezikovni model ciljnega jezika. Uporabljen je trigramski statistični jezikovni model.

Bistveni del celotnega prevajalnega sistema je statistični modul za rangiranje prevodov\index{prevod} (Ranker) \citep{vicic2009b}. Glavni problem spremenjene arhitekture je, da oblikoskladenjski analizator in strukturni prenos povzročata lokalne oblikoskladenjske in strukturne dvoumnosti (ambiguities). Njihova kombinacija nato v procesu prevajanja ustvari veliko število različic (hipoteze). Zelo bi bilo zapleteno, če sploh mogoče, ročno izdelati pravila\index{pravilo}, ki bi omogočila reševanje tovrstnih dvoumnosti. Zato je v osnovno arhitekturo dodan modul za rangiranje prevodov\index{prevod} na osnovi stohastičnih metod, katerega cilj je izbira povedi, ki najbolj ustreza modelu ciljnega jezika; torej povedi, ki je slovnično najbolj pravilno zapisana v ciljnem jeziku. Takšno rangiranje prevodov\index{prevod} nam samo zase ne zagotavlja, da bo izbrana poved najboljši prevod\index{prevod} izvorne povedi; modul v ciljnem jeziku poišče le slovnično najbolj pravilno poved. Arhitektura se pri ohranjanju pomena v končnem prevodu zanaša na predhodne module.

Uporabljeni statistični jezikovni model sodi med modele na osnovi trigramov (Statistical Trigram Language Model). Povedi sestavimo v verige trigramov, treh zaporednih besed, verjetnost za vsako poved pa izračunamo po enačbi \ref{eq:ngram}, torej zmnožimo verjetnosti vseh trigramov, ki sestavljajo poved. Verjetnost za vsak trigram izračunamo po enačbi \ref{eq:mle}, v kateri preštejemo število pojavitev trigrama in jo utežimo s številom pojavitev bi- in monogramov, ki sestavljajo ta trigram. Števila pojavitev mono-, bi- in trigramov preštejemo v učnem korpusu; uporabili smo lasten korpus, sestavljen iz člankov Wikipedie; korpus je obširneje predstavljen v razdelku \ref{section:wikipedia}.

Za izdelavo trigramskega statističnega modela jezika je bila oblikovana lastna programska oprema, rezultate pa smo primerjali z orodjem za statistično modeliranje (CMU -- statistical language modelling toolkit) \citep{clarkson1}. Za 100 naključno izbranih povedi smo dobili enake rezultate, kar ne preseneča, saj so bile uporabljene enake metode. Izdelava lastne programske opreme omogoča večjo fleksibilnost pri snovanju sistema in lažje preizkušanje morebitnih izboljšav.

\subsection{Pregled uporabljenih jezikovnih virov}
\label{section:pregleduporabljenihpodatkovnihtipov}
Sledi spisek jezikovnih virov, ki jih potrebujemo za vse module spremenjenega prevajalnega sistema (novi jezikovni viri, ki jih zahteva spremenjena arhitektura, so označeni z zvezdico -- $\ast$).

\paragraph*{Enojezični slovar izvornega jezika z oblikoskladenjskimi oznakami} se uporablja za oblikoskladenjsko analizo izvornega besedila. Enojezični slovar izvornega jezika je uporabljen pri oblikoskladenjski analizi besedil v modulu za oblikoskladenjsko analizo (morphological analyser module), označenem s številko 2 na slikah \ref{fig:apertium_original_system} in \ref{fig:changed_system}.
\paragraph*{Enojezični slovar ciljnega jezika z oblikoskladenjskimi oznakami} se uporablja za oblikoskladenjsko sintezo ciljnega besedila. Enojezični slovar ciljnega jezika je uporabljen pri sintezi prevedenega besedila v ciljni jezik v modulu za oblikoskladenjsko sintezo (morphological generator module), označenem s številko 5 na slikah \ref{fig:apertium_original_system} in \ref{fig:changed_system}. Ta dva modula uporabljata iste slovarje, kar omogoča hitro postavitev dvosmernega prevajalnega sistema.
\paragraph*{Dvojezični prevajalni slovar}se uporablja za dobesedno prevajanje in prevajanje fraz v lematizirani obliki. Modul, ki uporablja dvojezični slovar in pravila\index{pravilo} plitkega prenosa, je modul za strukturni prenos\index{strukturni prenos} (\gls{structural transfer module}), označen s številko 4 na slikah \ref{fig:apertium_original_system} in \ref{fig:changed_system}.
\paragraph*{Pravila\index{pravilo} plitkega prenosa na osnovi regularnih izrazov} so uporabljena za opis oblikoskladenjskih in skladenjskih razlik lokalnega obsega med jezikoma prevajanega jezikovnega para, kot so lokalno ujemanje\index{ujemanje} besed v oblikoskladenjskih kategorijah in lokalni vrstni red besed. Natančneje so pravila predstavljena v \ref{chapter:pravilatransferja}. poglavju.
\paragraph*{Pravila na osnovi regularnih izrazov za končno urejanje (postediting)} uporablja modul za končno urejanje (postgenerator), označen s številko 6 na sliki \ref{fig:changed_system}. Pravila služijo za odpravljanje napak, uvajanje posebnosti ciljnega jezika in za združevanje besednih zvez.
\paragraph*{ $\ast$ Pravila na osnovi regularnih izrazov za izražanje lokalnega ujemanja\index{ujemanje} oblikoskladenjskih\index{oblikoskladenjskih} kategorij izvornega jezika} uporablja modul za izbiro množice kandidatov za prevod\index{prevod} (multiple candidate selector), ki je na sliki \ref{fig:changed_system} označen s številko 2a. Modul uporablja isto tehnologijo kot modul za strukturni prenos\index{strukturni prenos} (Structural transfer module) s pravili za lokalno ujemanje\index{ujemanje} oblikoskladenjskih kategorij, ki so bila naučena na izvornem jeziku. To metodo uporablja modul kot hevristiko za omejevanje eksplozije števila možnih hipotez za prevode\index{prevod} dvoumne oblikoskladenjske analize izvornega besedila.
\paragraph*{$\ast$ Pravila na osnovi regularnih izrazov za izražanje lokalnega ujemanja\index{ujemanje} oblikoskladenjskih\index{oblikoskladenjskih} kategorij ciljnega jezika} so uporabljena v modulu za iskanje lokalnega ujemanja\index{ujemanje} (local agreement module), ki je označen s številko 4a na sliki \ref{fig:changed_system}. Uporabljajo se za odpravo napak, ki jih povzročajo pravila\index{pravilo} plitkega prenosa v fazi prenosa. Delovanje tega modula je v osnovi enako delovanju modula za strukturni prenos\index{strukturni prenos}; drugačna so le pravila\index{pravilo}, ki popravljajo napake lokalnega ujemanja\index{ujemanje} oblikoskladenjskih kategorij, delovanje modula pa je preseljeno na izhod modula za strukturni prenos\index{strukturni prenos}.
\paragraph*{ $\ast$ Statistični jezikovni model ciljnega jezika} se uporablja v modulu za stohastično rangiranje končnih prevodov\index{prevod} (Ranker module), ki predstavlja razširitev osnovne arhitekture po \citep{hajic2003} in je bil opisan v \citep{homola2008a}, označen s številko 6a na sliki \ref{fig:changed_system}. Ta modul izbere najboljši prevod\index{prevod}, oziroma v ciljnem jeziku najverjetnejši prevod, in sicer iz seznama možnih kandidatov za prevode\index{prevod}, ki so jih sestavili prejšnji moduli. Deluje na principu stohastičnega jezikovnega modela ciljnega jezika. Natančneje je razložen v razdelku \ref{section:statisticnimodeljezika}.
\paragraph*{ $\ast$ Jezikovni model oblikoskladenjskih oznak izvornega jezika} uporablja modul za izbiro množice kandidatov za prevod\index{prevod} (multiple candidate selector), označen pa je s številko 2a na sliki \ref{fig:changed_system}. Poleg predstavljene hevristike uporablja še enako tehnologijo kot modul za rangiranje prevodov\index{prevod}, vendar s pomočjo jezikovnega modela, naučenega na oblikoskladenjskih oznakah korpusa v izvornem jeziku. Metoda je natančneje predstavljena v \citep{vicic2009a}.

Zgornji spisek vsebuje vsa jezikovna gradiva, ki so potrebna za postavitev prevajalnih sistemov spremenjene arhitekture, kot je opisana v razdelku \ref{section:predlaganaspremenjenaarhitektura}. Za vsako jezikovno gradivo smo poiskali metodo, ki omogoča samodejno izdelavo tega gradiva. Če metode nismo našli, oziroma še ni bila predstavljena ali pa so bila gradiva neprimerna, smo izdelali novo metodo. Metode so natančneje predstavljene v razdelku \ref{section:metode}.

S pomočjo opisanih metod smo izdelali več popolnoma delujočih sistemov. Sistemi so predstavljeni v razdelku \ref{section:description}, kakovost prevodov\index{prevod} pa je ovrednotena v \ref{chapter:evalvacija}. poglavju.