Pričujoče poglavje uvaja bralca v področje. Predstavljeni so osnovni pojmi, ki so potrebni za lažje razumevanje besedila. Opisani so slovanski jeziki in zlasti njihove posebnosti. Večina metod, opisanih v tem delu, je bila preizkušena prav na sistemih za prevajanje slovanskih jezikov. Nadaljuje se z opisom podobnosti slovanskih jezikov, ki jih izkoriščamo pri izdelavi prevajalnikov, sledi predstavitev uporabljenih učnih gradiv in orodij. Predzadnji razdelek predstavi prevajalni sistem Guat, kjer je implementirana večina predstavljenih metod. Poglavje se zaključi s predstavitvijo in umestitvijo izvirnih prispevkov k znanosti.

\section{Osnovni pojmi}
\label{section:osnovnipojmi}
V nadaljevanju so razloženi osnovni pojmi s področja jezikovnih tehnologij, predvsem s področja strojnega prevajanja naravnih jezikov. Razdelek je namenjen zlasti bralcem, ki so jim jezikovne tehnologije tuje. 

%Opisani pojmi so namreč uporabljeni v nadaljevanju pričujočega dela, zato bi lahko njihovo nepoznavanje privedlo do težje berljivosti besedila.

\subsection{Pregibno oblikoslovje\index{pregibno oblikoslovje}}
\label{section:upogibna}
%JERNEJ prevod inflectional morphology morfologija\index{morfologija}
Pregibno oblikoslovje (\gls{inflectional morphology}), kot ga razlaga \citet*{janda2005}, je del slovnice, ki se ukvarja s pregibanjem besed. Zadeva različne pregibne oblike leksemov. V večini jezikov označuje razmerja med osebo, številom, sklonom, spolom, časom in drugimi lastnostmi. Le težko ga umestimo v enotno področje, zato ga uvrščamo med besedoslovje (leksiko) in skladnjo (sintakso) jezika.

\subsubsection{Besedni razredi}
\label{section:postag}
V slovnici je besedni razred jezikoslovna kategorija besed, ki je v splošnem definirana s skladenjskim ali oblikoslovnim obnašanjem besed, ki sodijo v to kategorijo. Skupne jezikovne kategorije vključujejo na primer samostalnik, glagol, pridevnik.
V zadnjem času se v literaturi uveljavlja delitev označevanja oblikoskladenjskih kategorij glede na zbirke oznak:
\begin{itemize}
\item natančno označevanje (fine-granied PoS tagging) oziroma označevaje oblikoskladenjskih lastnosti besed je natančneje predstavljeno v razdelku \ref{section:msd};
\item grobo označevanje (coarse-(PoS) tagsets) za vsako besedo poišče (označi) le njeno glavno lastnost (besedno vrsto), to je PoS.
\end{itemize}
V nadaljevanju dela se pojem oblikoskladenjskega označevanja nanaša na natančno označevanje (fine-granied PoS tagging), uporabljajo se oblikoskladenjske oznake (MSD -- morphosyntactic descriptions) po specifikacijah projekta MULTEXT(-East) \citep{erjavec2010,dimitrova98}.

\subsubsection{Označevanje besednih razredov}
\label{section:pos}
\label{section:msd}
Posamezne besede v besedilu razvrstimo v najprimernejše besedne razrede (definirani v prejšnjem razdelku) upoštevajoč definicijo besede in tudi njeno okolico v besedilu (povezava z okoliškimi besedami). Besedni razredi so predstavljeni z ustreznimi oznakami MSD, 

Označevanje MSD (morphosyntactic descriptions) je težji problem, kot samo uporaba seznama besed z ustreznimi oznakami, saj lahko besedam pripišemo različne oznake MSD, odvisno od uporabe v besedilu. Največja problema označevanja MSD sta odpravljanje dvoumnosti (disambiguation), to je izbiranje najprimernejše oznake v odvisnosti od konteksta v primeru več možnih oznak, in označevanje neznanih besed.

V literaturi se za oblikoskladenjsko označevanje pojavlja več terminov:
\begin{itemize}
\item morfosintaktično označevanje,
\item označevanje MSD,
\item natančno označevanje (fine-granied PoS tagging).
\end{itemize}
V slovenskih korpusih so standardne oznake MSD po oblikoskladenjskih specifikacijah projekta MULTEXT(-East) \citep{erjavec2010,dimitrova98}, ki temeljijo na delu skupine EAGLES \citep{calzolari1996} ter določajo strukturo in vsebino veljavnih oblikoskladenjskih oznak ali MSD-jev (morphosyntactic descriptions). Specifikacije za vsak posamezen jezik opredeljujejo, katere so veljavne oznake in kaj pomenijo. Tako na primer določajo, da je MSD s črkovnim nizom \emph{Sosei} veljaven za označevanje slovenščine in je ekvivalenten naboru naslednjih lastnosti:
\begin{itemize}
\item samostalnik,
\item vrsta=občno\_ime,
\item spol=srednji,
\item število=ednina,
\item sklon=imenovalnik.
\end{itemize}
Ena od besednih oblik, ki jim pripada ta oznaka, je \emph{drevo}.
Za izdelavo oblikoskladenjskih označevalnikov obstaja več orodij in metod; za slovenščino sta pomembni predvsem naslednji dve:
\begin{itemize}
\item označevalnik podjetja Amebis \citep{amebis2011}, ki temelji na ročno definiranih pravilih in leksikonu (učenje ni potrebno);
\item označevalnik TnT \citep{brants2000}, ki temelji na statistični analizi zaporedij besed in oznak v besedilu (potrebno je učenje na označenem korpusu). Na osnovi te tehnologije je bil naučen označevalnik, ki je del orodja TOTALE \citep{erjavec2005}, nova različica pa je bila izdelana v okviru projekta JOS \citep{erjavec2010a}.
\end{itemize}

Označevalnik TnT je pravilneje označeval besede na podlagi empiričnega testiranja \citep{erjavec2010}, in sicer s točnostjo (\gls{accuracy}) $88.7\:\%$, medtem ko je Amebisov označevalnik na isti testni množici dosegel točnost $87.9\:\%$.

Zanimiv pa je bil tudi poskus izdelave metaoznačevalnika \citep{erjavec2010c}. Metaoznačevalnik\footnote{Dostopen na strani: http://oznacevalnik.slovenscina.eu/Vsebine/Sl/ProgramskaOprema/Meta.aspx} tvori iz dveh zaporedij oznak za isto besedilo eno ciljno zaporedje oznak. Z uporabo dveh neodvisnih označevalnikov (na primer Amebisovega in označevalnika TnT) dobimo začetni zaporedji oznak. V primerih, ko označevalnika nista enotna o določitvi oznake za določeno besedo, meta-označevalnik na podlagi naučenih pravil izbere eno od obeh pripisanih oznak, tako da poveča točnost končnega zaporedja oznak.

\subsubsection{Leme}
\label{section:lema}
Lema v oblikoslovju (lemma in morphology) predstavlja kanonično obliko nekega leksema. Leksem se v tem kontekstu nanaša na sklop vseh oblik neke besede, ki imajo enak pomen, lema pa se nanaša na besedo, ki je izbrana zato, da predstavlja leksem. Proces za določanje leme se imenuje lematizacija.

\subsubsection{Krni}
\label{section:krn}
Krn v oblikoslovju (stem in morphology) predstavlja osnovno obliko besede. V Slovenski slovnici \citep{toporisic2000} je krn opisan kot besedotvorna podstava. Krnjenje (\gls{stemming}) je jezikovno odvisen postopek, pri katerem poskušamo najti niz znakov, ki ga imenujemo krn in lahko predstavlja vse oblike neke besede ter istočasno to besedo loči od vseh ostalih. Pogosto, vendar ne nujno, krn ustreza korenu besede. Primer \ref{example:krn} kaže takšno razliko.

\begin{example}
\gll krožiti
  krož-\emph{iti}
\glt krn: krož
\glt koren: krog
\glend
\label{example:krn}
\end{example}

Krnjenje je še posebej pomembno pri avtomatskem indeksiranju besedil v jezikih z razvejanim oblikoslovjem, kakršna je tudi slovenščina\index{slovenščina}.


\subsubsection{Paradigme\index{paradigma}}
\label{section:paradigma}

%JERNEJ cakam na tomaza kaj je s frazami, drugace je ta OK
Za potrebe pričujočega dela zadošča, da paradigme opišemo kot razred elementov z enakim obnašanjem. Paradigma je sestavljena iz pravil, ki vsaki oznaki MSD, dovoljeni v tej paradigmi, pripiše spremembo obrazil. Slika \ref{fig:partofaparadigm} kaže del paradigme s tipično predstavnico \emph{žoga}. Končnica \emph{a} se spreminja glede na MSD, primer orodnik: \emph{a—>ami}.

\begin{figure}[h]
\footnotesize
\begin{quote}
\begin{verbatim}
paradigma: žog/a
a - samostalnik ženski množina imenovalnik
am - samostalnik ženski množina dajalnik
e - samostalnik ženski množina tožilnik
ami - samostalnik ženski množina orodnik
\end{verbatim}
\end{quote}
\normalsize
\caption{\small Del paradigme\index{paradigma} za samostalnike ženskega spola v slovenščini. Tipični predstavnik je lema \emph{žoga}. Končnica \emph{-a} se spreminja v skladu z različnimi MSD.}
\label{fig:partofaparadigm}
\end{figure}

Paradigme\index{paradigma}, v našem primeru pregibne paradigme\index{paradigma} (\gls{inflectional morphology} paradigm), so večdimenzionalne, potencialno rekurzivne matrike, ki so določene z oblikoslovnimi značilnostmi besednih oblik in obrazil \citep{clahsen2000}. Teoretični status pregibnih paradigem ima nasprotujoče razlage: \citet*{lieber1992}, na primer, trdi, da so paradigme le skupine, podobne seznamom povezanih stavkov. Tudi \citet*{halle1993} predstavljata pregibne paradigme brez teoretičnega statusa. V večini drugih razlag, na primer \citep{wurzel1987} ali \citep{spencer1991}, pa pregibna paradigma pomeni sklop pregibnih besednih oblik za vsak leksem, ki sodi v neko skladenjsko kategorijo.

Neki lemi lahko pripišemo paradigmo, ki vsebuje nabor vseh MSD, ki so dovoljeni za to lemo in kjer veljajo pravila pretvorbe obrazil za vse besedne oblike te leme.

Oglejmo si še en primer: porazdelitev samostalnikov na sklanjatvene vzorce kot jih predstavlja \citet*{toporisic2000} omogoča izdelavo zbirke pravil\index{pravilo}, ki omogočajo natančno rokovanje z veliko množico besed (besede razdelimo na krne in s končnicami izbiramo ostale jezikovne kategorije, kot so spol, število, sklon). Povezava med posamezno besedno obliko in njeno paradigmo poteka prek osnovne besedne oblike -- leme. Tak način opisa besed prinaša poseben problem samodejnega označevanja parov lema-paradigma\index{paradigma}, ki je opisan v razdelku \ref{section:paradigmcreation}.

\subsection{Drevesa izpeljav}
\label{section:drevoizpeljav}
Drevo izpeljav (\gls{parse tree} ali \gls{concrete syntax tree}) je urejeno drevo, ki predstavlja sintaktično strukturo niza glede na neko (formalno) slovnico. Sestavljeno je iz korena (vrhnjega vozlišča),  vej drevesa, notranjih vozlišč in listov (končnih vozlišč). Pri drevesu izpeljav so notranja vozlišča označena z neterminalnimi simboli (\gls{non-terminals}) slovnice, listi drevesa, končna vozlišča pa s terminalnimi simboli slovnice. Drevesa izpeljav lahko izdelamo za povedi naravnih jezikov glede na njihove slovnice. Slika \ref{fig:parsetree} kaže primer jezikoslovnega drevesa izpeljav za preprost slovenski stavek \emph{,,Avto rdeče barve je vozil po cesti''}.

\begin{figure}
\centering
\includegraphics[width=.75\textwidth]{drevoizpeljav1}
\caption{\small Drevo izpeljav za stavek \emph{Avto rdeče barve je vozil po cesti}. S -- stavek, SF -- samostalniška fraza, GF -- glagolska fraza.}
\label{fig:parsetree}
\end{figure}

\subsection{Plitko skladenjsko razčlenjevanje in plitki prenos\index{plitki prenos} besedil}
\label{section:plitka}
Plitko skladenjsko razčlenjevanje besedil (gls{shallow parsing}, gls{chunking}, gls{light parsing}) je postopek razčlenjevanja, ki določa osnovne gradnike povedi, samostalniške skupine, glagole, glagolske skupine itd., vendar pa ne navaja notranje zgradbe gradnikov niti njihove vloge v povedi.

Naravno nadaljevanje plitkega razčlenjevanja je pri postavitvi prevajalnega sistema plitki prenos\index{plitki prenos}, saj omogoča prenos gradnikov plitkega razčlenjevanja izvorne povedi v gradnike ciljnega jezika. Plitki prenos\index{plitki prenos} je sestavljen iz prenosa posameznih besed, po navadi v lematizirani obliki (glej razdelek \ref{section:lema}), in pravil\index{pravilo} plitkega prenosa\index{plitki prenos}, ki služijo za opis sprememb med izvornim in ciljnim jezikom. Ta pravila\index{pravilo} so omejena na lokalne spremembe, kot sta na primer ujemanje\index{ujemanje} soležnih besed v leksikalnih kategorijah in sprememba lokalnega vrstnega reda besed. Primeri pravil\index{pravilo} so prikazani v prilogi \ref{chapter:priloga1}.

\subsection{Morfemi}
\label{section:morfem}
Morfem je najmanjši del besede s samostojnim pomenom. Morfeme na izrazni ravni sestavljajo fonemi, najmanjše enote govorjenega jezika, s katero govorci določenega jezika razlikujejo pomen besed. V pisni obliki pa so morfemi sestavljeni iz grafemov, najmanjših enot pisnega jezika. Slika \ref{fig:morfem} kaže primer razdelitve besede \emph{obkrožim} na morfeme, razložen je tudi pomen morfemov.

\begin{figure}[h]
\footnotesize
\begin{quote}
\begin{verbatim}
obkrožim
ob - zraven, okoli
krož - krožiti
i - dovršnost
m - določenost glede na delo
\end{verbatim}
\end{quote}
\normalsize
\caption{\small Razdelitev besede \emph{obkrožim} na morfeme in razlaga pomena posameznih morfemov.}
\label{fig:morfem}
\end{figure}

\subsection{Besedni razredi}
\label{section:besednirazred}
Besedni razredi definirajo kategorije besed. Kategorije so definirane s pogledom na obnašanje besed, ki pripadajo določenemu razredu. Primera takšnih razdelitev besednih razredov so oznake PoS in MSD.

Pri statistični obdelavi naravnih jezikov (\gls{natural language processing}) se pogosto srečujemo s problemom redkih podatkov (\gls{sparse data problem}). Eden od običajnih načinov reševanja tega problema je razvrščanje besed v ekvivalenčne razrede, besedne razrede (\gls{word class}es).

\subsection{Oblikoskladenjska analiza besedil}
\label{section:morfoloska}
Oblikoskladenjska analiza je proces razčlenjevanja besed na njihove morfeme (pomenske enote). Oblikoskladenjska analiza je bistvena komponenta aplikacij jezikovnih tehnologij, uporabna pri odkrivanju pravopisnih napak (spelling error correction), strojnem prevajanju in drugem. Izvajanje polne oblikoskladenjske analize besedila običajno zahteva delitev besed na morfeme in analizo interakcije teh morfemov. Obe aktivnosti določata skladenjske razrede besednih oblik kot celote. Kompleksnost oblikoskladenjske analize se med naravnimi jeziki močno razlikuje, velja pa za relativno težek problem že v relativno preprostih primerih, kot je angleščina.

\subsection{Pravila\index{pravilo} prenosa\index{prenos} na osnovi regularnih izrazov}
\label{section:thefinitestaterulesshort}
Plitki strukturni prenos\index{strukturni prenos} (\gls{shallow structural transfer}\index{transfer}) omogoča premostitev slovničnih razlik obravnavanega jezikovnega para. Temelji na tehnologiji končnih avtomatov za odkrivanje vzorcev leksikalnih enot (oblikoskladenjsko označenih delov besedila ali fraz) konstantne dolžine, ki zahtevajo posebno obdelavo glede na slovnične razlike med jezikoma (na primer: spremembe v spolu, sklonu ali številu za zagotovitev ujemanja\index{ujemanje} v ciljnem jeziku).

\subsection{Statistični modeli jezika}
\label{section:statisticnimodeljezika}
Cilj statističnega jezikovnega modeliranja (\gls{statistical language modelling}) je izdelava statističnega modela, ki omogoča oceno distribucije naravnega jezika. Statistični model jezika (\gls{statistical language model -- SLM}) predstavlja distribucijo verjetnosti besednih nizov, ki odseva, kako pogosto se določen niz besed pojavlja v jeziku.

Jezikovno modeliranje se uporablja v mnogih vrstah jezikovnih tehnologij, kot so prepoznavanje govora, strojno prevajanje, označevanje MSD, razčlenjevanje in priklic informacij (information retrieval).

Najpogostejše tehnike jezikovnih modelov so:
\begin{itemize}
\item Modeli, temelječi na n-gramih, n-gramski modeli (\gls{n-gram language model}), so najpogosteje uporabljani statistični jezikovni modeli. Verjetnost niza besed $P(S)$ predstavimo s formulo v enačbi \ref{eq:ngram}, v kateri z $w_i$ označimo i-to besedo niza $S$. Torej je verjetnost niza besed $S$ enaka produktu pogojnih verjetnosti posameznih besed, ki sestavljajo $S$, pri pogoju, da pred i-to besedo v nizu nastopajo vse predhodne besede $S$.

\begin{equation}
\begin{split}
P(S) = P(w_1)P(w_2|w_1)P(w_3|w_1w_2)...p(w_l|w_1...w_{l-1}) = \\
 = \prod_i^l{P(w_i|w_1...w_{i-1})}
\end {split}
\label{eq:ngram}
\end{equation}

Osnovne parametre modela izračunamo s tehniko ocenjevanja največjega verjetja (\gls{maximum likelyhood estimation -- MLE}), ki je predstavljena z enačbo \ref{eq:mle}, v kateri funkcija $C$ pomeni štetje pojavitev (Count), torej z enostavnim štetjem pojavitev posameznih besed v učni množici, učnem korpusu.

\begin{equation}
p(w_i|w_{i-1}) = \frac{C(w_{i-1}, w_i)}{C(w_{i-1})}
\label{eq:mle}
\end{equation}

Modeli, temelječi na n-gramih, so najširše raziskani, predlaganih je tudi več razširitev, kot so Class-based N-gram model \citep{brown1992}, Grammatical Trigrams \citep{lafferty1992}. Najpogosteje je uporabljen model z dolžino n-grama 3, trigramski model.
\item Model največje entropije (\gls{maximum entropy language model}) je splošen statistični model, ki lahko vsebuje funkcije iz različnih virov. Pogojni ME-model ima obliko, kot jo kaže enačba \ref{eq:memodel}:

\begin{equation}
p(w|h) =  \frac{1}{Z(h)}e^{\sum\limits_{i}{\lambda_i \phi_i{(h_i, w)}}},
\label{eq:memodel}
\end{equation}

v kateri so $\lambda$ parametri, $w$ je beseda, $h$ je zgodovina, $Z(h)$ je normalizacijski faktor in $\phi(h, w)$ so poljubne funkcije besede in zgodovine. Model ME, ki vključuje trigrame, oddaljenost N-gramov in model na osnovi parov sprožil (trigger pairs), je bil primerjan z osnovnim trigramskim modelom. Ugotovljeno je bilo $30\:\%$ zmanjšanje nivoja začudenja (\gls{perplexity}) v primerjavi z izhodiščnim trigramskim modelom \citep{rosenfeld1996}.
%JERNEJ premisli prevod: zmanjšanje nivoja začudenja (perplexity)
\item Jezikovni modeli s strukturnimi podatki (Structured Language Models) upoštevajo tudi strukturo povedi. Jezikovni modeli na osnovi n-gramov ne morejo opisati oddaljenih odvisnosti (\gls{long-distance dependencies}) v podatkih. Predlagani so bili različni alternativni pristopi modeliranja jezika, ki vključujejo strukturne podatke za modeliranje jezika. Primeri takšnih modelov so:
\begin{itemize}
\item Jezikovni modeli na osnovi sprožil (\gls{trigger models}) \citep{lau1993} kot osnovno jezikovno informacijo uporabljajo pare sprožil. Če je neko besedno zaporedje \emph{A} značilno korelirano z besednim zaporedjem \emph{B}, potem \emph{AB} imenujemo sprožilni par. Če se zaporedje \emph{A} pojavi v besedilu, sproži spremembo ocene verjetnosti za \emph{B}.
\item Jezikovni modeli s preskakovanjem n-gramov (\gls{skipped n-gram language model}s) \citep{rosenfeld1994}. Modeli temeljijo na podobnem postopku izdelave n-gramov kot pri osnovnih modelih temelječih na n-gramih, vendar poleg zaporedja sosednjih besed uporabljajo tudi možnost "preskočitve" besede, torej določene besede ne upoštevamo pri gradnji n-grama. Za opisovanje oddaljenih odvisnosti bi lahko uporabili večje n-grame, vendar se z njihovo velikostjo manjša verjetnost, da v učnih podatkih obstaja podoben kontekst. Če pa uporabimo le večino besed, dobimo modele s preskakovanjem n-gramov.
\item Jezikovni model s skladenjskim razčlenjevanjem (LM by Syntactic Parsing) za modeliranje jezika uporablja verjetnost razčlenjevalnika, kot je na primer \citep{charniak97}.
\end{itemize}
\end{itemize}

V nadaljevanju je v vseh predstavitvah za statistični jezikovni model uporabljen trigramski jezikovni model (trigram language model). Za uporabo v metodah, ki so predstavljene v tem delu, model na osnovi trigramov zadošča in uporaba zapletenejših modelov ni smiselna. Izdelava modela je natančneje predstavljena v razdelku \ref{section:target}.

\subsection{Končno urejanje}
\label{section:postediting}

Končno urejanje (\gls{post-editing}) je postopek za izboljšanje strojno ustvarjenih prevodov\index{prevod} s čim manj ročnega dela. Vključuje popravljanje strojno izdelanih prevodov\index{prevod} za  zagotovitev ravni kakovosti, ki je bila dogovorjena med stranko in prevajalcem. Določene ponovljive operacije lahko avtomatiziramo oziroma vključimo v same strojne prevajalnike. Primer \ref{example:postediting} kaže združevanje določnega člena in predloga v italijanščini v predložno zvezo (preposizione articolata).

\begin{example}
\gll stretta di la mano
  stretta di-\emph{določni člen} la-\emph{predlog} mano
\glt ''(stretta) di la mano''
\glt ''(stisk) roke'' 
\glend  
\gll stretta della mano
  stretta della-\emph{predložna zveza} mano
\glt ''stretta della mano'' 
\glt ''(stisk) roke''
\glend  
\label{example:postediting}
\end{example}

\section{Slovanski jeziki}
\label{slovanskijeziki}
Slovanski jeziki so velika jezikovna družina v Srednji in Vzhodni Evropi ter na Balkanu in v delu Azije. Po številu govorcev je največji slovanski jezik ruščina, sledi poljščina. 

Večina slovanskih jezikov, razen bolgarščine in makedonščine, ima razvito bogato pregibanje samostalnikov.

\paragraph*{Beloruščina} je jezik, ki ga govori približno 7 milijonov ljudi v Belorusiji. Spada v skupino vzhodnoslovanskih jezikov ter je soroden ruščini in ukrajinščini.

\paragraph*{Bolgarščina} je jezik, ki ga govori približno 7 milijonov ljudi v Bolgariji. Velja za poseben jezik med slovanskimi jeziki, saj je izgubil samostalniške sklanjatve. Soroden jezik bolgarščini je makedonščina.

\paragraph*{Bosanščina, hrvaščina, črnogorščina in srbščina\index{srbščina} (Bosnian, Croatian, Serbian -- BCS)} so jeziki, ki jih govorijo na območju nekdanje Jugoslavije. Sodijo v južnoslovanski narečni kontinuum. V preteklosti je bil za te jezike uporabljen skupni izraz srbohrvaščina. So sorodni slovenščini na severozahodu ter bolgarščini in makedonščini na jugovzhodu. Skupaj imajo ti jeziki okoli 16 milijonov govorcev.

\paragraph*{Češčina} je zahodnoslovanski jezik, ki ga govori približno 10 milijonov ljudi v Češki republiki. Zaradi zgodovinskih okoliščin obstajata dve različici jezika, knjižna in pogovorna, med katerima obstajajo velike razlike. Poleg ruščine je češčina slovanski jezik z največ računalniškimi jezikovnimi viri in orodji.

\paragraph*{Kašubščina} ali pomorjanščina je jezik, ki ga govori približno 50.000 ljudi na severu Poljske. Vsi Kašubi so dvojezični (Poljska). Jezik je soroden slovinskemu jeziku (tudi v Severni Poljski), ki je izumrl na začetku 20. stoletja.

\paragraph*{Makedonščina} je južnoslovanski jezik, ki ga uporablja približno 1,5 milijona ljudi v Makedoniji ter makedonske manjšine v Albaniji, Bolgariji in Egejski Makedoniji (današnja Grčija). Sorodna je bolgarščini.

\paragraph*{Poljščina} je zahodnoslovanski jezik, ki ga govori približno 38 milijonov ljudi na Poljskem in nacionalne manjšine v Belorusiji, Republiki Češki, Litvi in Ukrajini.

\paragraph*{Ruščina} je vzhodnoslovanski jezik, ki ga uporablja približno 150 milijonov ljudi v Rusiji in nekdanjih sovjetskih republikah. Je slovanski jezik z največ govorci.
Ena od zanimivih lastnosti ruščine je, da nima preteklika, ki bi uporabljal pomožni glagol.

\paragraph*{Slovaščina} je zahodnoslovanski jezik s približno 4,5 milijona govorci. Je del češko-slovaškega narečnega kontinuuma \citep{townsend2003} in je soroden  češčini, razlike so predvsem na fonetični ravni.

\paragraph*{Slovenščina} je južnoslovanski jezik, ki ga govorijo Slovenci v Sloveniji ter narodne manjšine na avstrijskem Koroškem, v Italiji in na Madžarskem. Uporablja ga približno 1,8 milijona govorcev. Jezik je ohranil nekaj arhaičnih značilnosti, kot na primer dvojino.

\paragraph*{Spodnjelužiška srbščina} je jezik, ki ga govori približno 15 milijonov ljudi v nemški deželi Spodnja Lužica. Kot obrobna narečja ohranja veliko starih jezikovnih značilnosti, kot so dvojina in veliko preteklih časov (aorist in imperfekt). Po drugi strani pa je bil pod močnim vplivom jezika okolja, nemškega jezika.

\paragraph*{Ukrajinščina} je vzhodnoslovanski jezik, ki ga uporablja približno 37 milijonov ljudi v Ukrajini. Podobno kot poljščina je ohranila pasivni pretekli deležnik.

\paragraph*{Zgornjelužiška srbščina} je jezik, ki ga govori približno 35.000 ljudi v nemški deželi Zgornja Lužica. Za ta jezik veljajo podobne lastnosti kot za Spodnje lužiško srbščino, ki je opisana v tem razdelku.

\paragraph*{Starocerkvena slovanščina} je izumrli jezik, v katerem so bila napisana najstarejša, predvsem bogoslužna slovanska besedila. Temelji na srednjeveškem narečju makedonske metropole Solun in je bil jezik bogoslužja Velike Moravske. Jezik je dobro dokumentiran, obstajajo pisane slovnice in slovarji. Večina modernejših jezikov je z leti izgubljala posamezne značilnosti, ki jih je imela starocerkvena slovanščina.

\paragraph*{Polabščina} je izumrli zahodnoslovanski jezik, ki se je uporabljal v severovzhodni Nemčiji, natančneje med spodnjo ter srednjo Labo na zahodu ter spodnjo Odro na vzhodu. Izumrl je v 18. stoletju. Polabščina je sorodna kašubščini in lužiški srbščini.

\section{Podobnosti slovanskih jezikov kot pomoč pri prevajanju}
\label{podobnostislovanskihjezikov}
Pri izdelavi sistemov za strojno prevajanje sorodnih jezikov izkoriščamo podobnosti med jezikoma jezikovnega para (free rides). Izkušnje s področja strojnega prevajanja med sorodnimi jeziki \citep{homola2010a} kažejo, da je smiselno razdeliti podobnosti jezikov na kategorije (nivoje) ujemanja\index{ujemanje}. Ločimo tipološko, oblikoslovno, skladenjsko in leksikalno podobnost\index{podobnost}. V nadaljevanju sledi pregled posameznih kategorij z vidika strojnega prevajanja.

\subsection{Tipološke podobnosti\index{podobnost}}
\label{section:tipoloskapodobnost}
Za namene strojnega prevajanja je najpomembnejša tipološka kategorija podobnosti. Če sta jezika prevajanega jezikovnega para iz različnih tipoloških skupin, je prevajanje oteženo. Funkcije, kot so besedni vrstni red, obstoj oziroma neobstoj členov, različni sistemi časov in podobne razlike, predstavljajo za strojno prevajanje najhujše prepreke.

Oglejmo si primer slovenščine in makedonščine kot jezikov, ki pripadata isti jezikovni skupini, a se tipološko razlikujeta. Podoben primer bi lahko predstavili tudi za češčino ali srbščino ter makedonščino. Oba jezika poznata bogato pregibanje glagolov in načeloma prost besedni vrstni red, zato ni treba spreminjati vrstnega reda glagolov. Velika razlika med jezikoma pa je v dejstvu, da makedonščina ne pozna samostalniških sklanjatev.

Primera \ref{example:tipoloska1} in \ref{example:tipoloska3} pomenita približno isto, in sicer ,,Moj brat je bral knjigo''. Tabela \ref{tab:kraticejos} opisuje kratice oblikoskladenjskih značk, ki so uporabljene v primerih. Večina kratic je iz nabora specifikacije JOS \citep{erjavec2009}, kratice, označene z $\ast$, so po specifikaciji MULTEXT-EAST \citep{erjavec2004a}.

\begin{table}[ht]
\caption{\small Razširjene kratice, ki so uporabljene v Primerih \ref{example:tipoloska1} in \ref{example:tipoloska3}. Večina kratic je iz nabora specifikacije JOS, kratice, označene z $\ast$, so po specifikaciji MULTEXT-EAST.}
\centering
\begin{tabular}{|l|l|}
\hline
\hline
Somei &	samostalnik občno\_ime moški ednina imenovalnik\\
Soset & samostalnik občno\_ime srednji ednina tožilnik\\
Sozet & samostalnik občno\_ime ženski ednina tožilnik\\
Sozei & samostalnik občno\_ime ženski ednina imenovalnik\\
Gp-ste-n & glagol pomožni sedanjik tretja ednina nikalnost\\
Ggnd-em & glagol glavni nedovršni deležnik ednina moški\\
Gp-ppe-n & glagol pomožni prihodnjik prva ednina nikalnost(ne)\\
Ggdd-em &glagol glavni dovršni deležnik ednina moški\\
Ggdn & glagol glavni dovršni nedoločnik\\
Gp-spe-n & glagol pomožni sedanjik prva ednina nikalnost(ne)\\
Pp2-sa--n* & pronoun personal second singular accusative clitic=no\\
Zop-ed & zaimek osebni prva ednina dajalnik\\
Zspmeie & zaimek svojilni prva moški ednina imenovalnik ednina\\
Rsn & prislov splošni nedoločeno\\
Vmii3s* & verb main imperfect tense indicative singular third person\\
Npfsny* & noun proper feminine singular nominative Definiteness=yes\\
\hline
\end{tabular}
\label{tab:kraticejos}
\end{table}

\begin{example}
\gll Moj brat je bral knjigo.
     \emph{Zspmeie} \emph{Somei} \emph{Gp-ste-n} \emph{Ggnd-em} \emph{Sozet}.
\glt ``Moj brat je bral knjigo.''
\glend
\gll \textcyrillic{Брат} \textcyrillic{ми} \textcyrillic{читаше} \textcyrillic{книга.}
     \emph{Somei} \emph{Zop-ed} \emph{Vmii3s} \emph{Sozei}
\glt ``Brat mi čitaše kniga.''
\glend
\label{example:tipoloska1}
\end{example}

\begin{example}
\gll Knjigo je bral moj brat.
     \emph{Sozet} \emph{Gp-ste-n} \emph{Ggnd-em} \emph{Zspmeie} \emph{Somei}   .
\glt ''Knjigo je bral moj brat.''
\glend
\gll \textcyrillic{Книгата} \textcyrillic{ја} \textcyrillic{читаше} \textcyrillic{брат} \textcyrillic{ми.}
     \emph{Npfsny} \emph{Pp2-sa--n} \emph{Vmii3s} \emph{Somei} \emph{Zop-ed} 
\glt ``Knigata ja čitaše brat mi.''
\glend
\label{example:tipoloska3}
\end{example}

Zaradi skoraj prostega besednega vrstnega reda je pomen v obeh primerih enak. V angleščini bi tako tvorili pasivno obliko: \emph{My brother read a book} in \emph{The book has been read by my brother}. V makedonščini je besedni vrstni red enak kot v slovenščini.

\subsection{Skladenjske podobnosti\index{podobnost}}
\label{section:skladenjskapodobnost}
Skladenjska podobnost\index{podobnost} je pomembna predvsem v povezavi z glagoli. Razlike v glagolski vezavi (\gls{verb valency}) negativno vplivajo na kakovost prevoda\index{prevod}, saj v fazi prenosa\index{prenos} zahtevajo uporabo vezljivostnih slovarjev (valency dictionaries) izvornega in ciljnega jezika. Izdelava takšnih slovarjev je zapletena in predvsem draga. Razlike v skladenjskih strukturah manjših sestavin, kot so samostalniške in predložne besedne zveze, na kakovost prevodov nimajo takšnega vpliva. Analiza takšnih struktur je možna s pomočjo plitkega skladenjskega razčlenjevanja, sprememba skladenjske strukture ciljne povedi je lokalnega značaja.

Za sorodne jezike\index{sorodni jezik} po navadi velja, da se besedni vrstni red v prevodu\index{prevod} ne spreminja. Obstajajo tudi izjeme, kot kaže primer \ref{example:skladenjska1}: pri prevodih\index{prevod} povedi v prihodnjiku med slovenščino in srbščino ter slovenščino in hrvaščino se besedni vrstni red spremeni.
\begin{example}
\glt Jaz se bom oblekel. (SLO)
\glt Ja ću da se obučem. (SR)
\glt Ja ću se obući. (CR)
\label{example:skladenjska1}
\end{example}

\subsection{Oblikoslovne podobnosti\index{podobnost}}
\label{section:morfoloskapodobnost}
Oblikoslovna (morfološka) podobnost\index{oblikoslovna podobnost} pomeni podobno strukturo oblikoslovne hierarhije in paradigem\index{paradigma}, kot na primer podobnosti v sistemu sklonov, podobnosti pri spreganju glagolov itd. Slovanski jeziki, z izjemo makedonščine in bolgarščine, imajo podobne sklanjatvene in spregatvene vzorce. Razlike v oblikoslovju lahko razmeroma enostavno odpravimo z izkoriščanjem polnih oblikoslovnih modulov za oba jezika jezikovnega para. Podobni oblikoslovni sistemi lajšajo fazo prenosa\index{prenos}. Na primer, večina slovanskih jezikov, razen bolgarščine in makedonščine, pozna 6 ali 7 sklonov.

Nekaj problemov povzročajo sintetične forme, ki zahtevajo analitične konstrukte v drugih jezikih. Tak je primer prevajanja prihodnjika med slovenščino in srbščino. Primer \ref{example:morfoloska1} kaže prevod\index{prevod} slovenske povedi v prihodnjiku v srbsko poved. Pomožni glagol \emph{biti} v prihodnjiku pri prevodu\index{prevod} spremeni lemo v \emph{hteti} ter čas v sedanjik, glavni glagol, v tem primeru \emph{kupiti}, pri prevodu\index{prevod} iz preteklika preide v nedoločnik.
\begin{example}
\gll Jutri bom kupil darilo.
	jutri-\emph{Rsn} biti-\emph{Gp-ppe-n} kupiti-\emph{Ggdd-em} darilo-\emph{Soset}  
\glt ''Jutri bom kupil darilo.'' (SLO)
\glend	
\gll Sutra ću kupiti poklon.
	sutra-\emph{Rsn} hteti-\emph{Gp-spe-n} kupiti-\emph{Ggdn} poklon-\emph{Soset}
\glt ''Sutra ću kupiti poklon.'' (SR)
\glend	
\label{example:morfoloska1}
\end{example}

Razlike, kot je prikazana na primeru \ref{example:morfoloska1}, rešujemo s pomočjo pravil\index{pravilo} za plitki prenos. Pri prevodu se zamenja lema pomožnega glagola izvornega jezika \emph{biti} v lemo ciljnega jezika \emph{hteti} ter oblika glagola v ciljnem jeziku v nedoločnik (v prikazanem primeru glagola \emph{kupiti}).

Obširneje so primeri pravil prikazani v prilogi \ref{chapter:priloga1}.

\subsection{Leksikalne podobnosti\index{podobnost}}
\label{section:leksikalnapodobnost}
Leksikalna podobnost\index{podobnost} ne pomeni, da mora imeti besedišče enak izvor (enako etimologijo), da morajo besede izvirati iz istega korena. Kar je pomembno za strojno prevajanje, je semantično ujemanje\index{semantično ujemanje} besed, po možnosti ena-na-ena, torej za vsako izvorno lemo obstaja le ena ciljna lema in obratno.

Leksikalna podobnost\index{leksikalna podobnost} je z vidika strojnega prevajanja najmanj pomembna, z drugimi besedami, leksikalne razlike pri prevajanju enostavno premoščamo z uporabo glosarjev in splošnih slovarjev.

Kljub temu pa bo morda treba dvojezične slovarje razširiti z oblikoskladenjskimi podatki. Oglejmo si takšen primer na jezikovnem paru slovenščina\index{slovenščina}-srbščina\index{srbščina}; obstaja namreč nekaj samostalnikov, ki so različnih spolov v obeh jezikih. Primer \ref{example:leksikalna1} kaže spremembo spola iz srednjega v moški pri prevodu\index{prevod} besede \emph{okno} v srbsko besedo \emph{prozor}. V obeh jezikih se pridevnik ujema s samostalnikom v spolu.

\begin{example}
\gll Odprto okno.
	odprto-\emph{pridevnik, srednji spol} okno-\emph{samostalnik, srednji spol}
\glt ''Odprto okno.'' (SLO)
\glend	
\gll Otvoren prozor.
	otvoren-\emph{pridevnik, moški spol} prozor-\emph{samostalnik, moški spol}
\glt ''Otvoren prozor.'' (SR)
\glend	
\label{example:leksikalna1}
\end{example}

To razliko je mogoče popraviti med leksikalnim prenosom\index{leksikalni prenos}. V tej fazi ciljna lema zamenja mesto izvorne in obdrži ostale oblikoskladenjske oznake. Oznako za spol zamenjamo z ustrezno oznako ciljne leme. Takšen popravek pa povzroči neujemanje spremenjenega samostalnika z okoliškimi besedami. V večini slovanskih jezikov se sosednja samostalnik in pridevnik ujemata v spolu, sklonu in številu, v nekaterih primerih tudi v drugih oblikoskladenjskih kategorijah. Problem rešujemo s pravili za lokalno ujemanje\index{ujemanje}, s katerimi se popravljajo porušena lokalna ujemanja\index{ujemanje} v oblikoskladenjskih kategorijah. Pravilo\index{pravilo} lokalnega ujemanja\index{lokalno ujemanje} samostalnika in pridevnika je predstavljeno na sliki \ref{fig:praviloleksikalna1} v razdelku \ref{section:samodejnalocalagreementrules}.

\subsection{Podobnice}
\label{section:podobnice}
Podobnice (\gls{cognates}) so besede, ki imajo skupen etimološki izvor. Pri prevajanju med dvema jezikoma so predvsem dobrodošle podobnice, ki se s časom niso veliko spremenile ne v pomenu niti v obliki. Takšne besede lahko med jezikoma jezikovnega para prevajalnega sistema prevajamo z malenkostnimi spremembami (po navadi končnice ali posamezne črke). V tabeli \ref{tab:podobnice} je nekaj primerov parov podobnic med različnimi jezikovnimi pari.

Pri uporabi podobnic moramo paziti na \emph{lažne podobnice}, besede, ki so si podobne, a imajo drugačen etimološki izvor, in na \emph{lažne prijatelje}, podobne besede z različnim pomenom. Uporaba prvih, oziroma zanašanje na podobnosti pri prvih primerih, za samo prevajanje ni problematična, saj nas sicer napačno povezovanje besed po izvoru kljub temu pripelje do pravilnih prevodov. Lažni prijatelji pa povzročajo napačne prevode, ki so natančneje razloženi v razdelku \ref{section:lazniprijatelji}.

\begin{table}[ht]
\centering
\caption{\small Primeri podobnic: na začetku vsake vrstice je slovenski pomen podobnic, ki sledijo. Spisek izbranih jezikov uvaja primere podobnic v naslednji vrstici.}
\begin{tabular}{|l||l|l|l|}
\hline
\hline
SLO pomen & slovenščina & hrvaščina & srbščina\\
\hline
mleko & mleko & mlijeko & mleko\\
zvezda & zvezda & zvijezda & zvezda\\
noč & noč & noč & noč\\
\hline
\hline
SLO pomen & italijanščina & španščina & portugalščina\\
\hline
mleko & latte & leche & leite\\
zvezda & stella & estrella & estrela\\
\hline
\hline
SLO pomen & angleščina & nemščina & švedščina\\
\hline
mleko & milk & milch & mjölk\\
zvezda & star & sterne & stjärna\\
\hline
\end{tabular}
\label{tab:podobnice}
\end{table}

\subsection{Lažni prijatelji}
\label{section:lazniprijatelji}
Lažni prijatelji (\gls{false friends}) so po obliki podobne besede v različnih jezikih, ki imajo različne pomene. Problem lažnih prijateljev je še zlasti opazen pri sorodnih in sosednih jezikih, predvsem pri površnih poznavalcih jezikovnih parov. Lažni prijatelji lahko povzročajo težave pri učenju tujih jezikov, predvsem jezikov sorodnih maternemu. Lažnih prijateljev je med slovanskimi jeziki veliko, primeri so predstavljeni v tabeli \ref{tab:lazni_prijatelji}.

Pri izdelavi sistemov za strojno prevajanje moramo biti pazljivi zlasti v fazi gradnje dvojezičnih prevajalnih leksikonov. Z metodami, ki slonijo le na oblikovni podobnosti besed, lahko napačno uporabimo lažne prijatelje.

\begin{table}[ht]
\centering
\caption{\small Primeri lažnih prijateljev, to je podobnih besed v različnih jezikih z različnimi pomeni.}
\begin{tabular}{|l|l|l||l|l|l|}
\hline
primer & pomen & jezik & primer & pomen & jezik\\
\hline
tanjši & tanjši & SLO & tanji & cenejši & poljščina\\
\hline
najlepši & najlepši & SLO & nejlepši & najboljši & češčina\\
\hline
drago & drag & SLO & drago & ljubo & hrvaščina/srbščina\\
\hline
prost & prost & SLO & prost & preprost/vulgaren & hrvaščina/srbščina\\
\hline
\end{tabular}
\label{tab:lazni_prijatelji}
\end{table}

\section{Uporabljena učna gradiva}
\label{section:uporabljenaucnagradiva}
Metode za hitro izdelavo sistemov za strojno prevajanje naravnih jezikov, ki so predstavljene v nadaljevanju dela, temeljijo na učnih gradivih, iz katerih se izlušči znanje o jeziku in predvsem znanje o razlikah med jezikoma, ki ga sistem za prevajanje potrebuje pri samih prevodih. Uporabili smo večjezični oblikoskladenjsko označeni korpus relativno majhnega obsega ter večje, enojezične in neoznačene korpuse.

\subsection{Korpus Multext-east}
\label{section:multexteast}
Pri večini metod, predstavljenih v razdelku \ref{section:metode}, je bil kot učna množica uporabljen večjezični poravnani korpus MULTEXT-EAST\footnote{Korpus je dostopen na naslovu: http://nl.ijs.si/ME/V4/.} \citep{erjavec2010,dimitrova98}, ki je večjezična zbirka jezikovnih gradiv. Zapisan je v standardizirani obliki in podpira velik del srednje- in vzhodnoevropskih jezikov. Uporablja oblikoskladenjske označbe po vzoru EAGLES \citep{eagles1996}. Korpusni del gradiv je zapisan v standardizirani obliki v formatu XML \citep{xml2008} po smernicah TEI-P5 \citep{tei2007}. Gradiva sestavljajo oblikoskladenjske specifikacije, oblikoskladenjski leksikoni ter označeni, vzporedni, primerjalni in govorni korpusi. Trenutna različica gradiv obsega 16 jezikov in je prosto dostopna za raziskovalne namene.

Tabela \ref{tab:lemmatamultext} kaže število različnih besednih oblik in število lem za izbrane jezike, ki smo jih uporabili v raziskavah, predstavljenih v tem delu.
\begin{table}[ht]
\centering
\caption{\small Število lem in besednih oblik za slovenščino, češčino, srbščino, angleščino in estonščino}
\begin{tabular}{|l|l|l|l|}
  \hline
  jezik & število besednih oblik & število lem\\
  \hline
  
slovenščina\index{slovenščina}&	20.923&	7.895\\
srbščina\index{srbščina}&	2. 505&	8.392\\
češčina&	    22.273&	9.060\\
angleščina&	11.078&	7.020\\
estonščina&	18.853&	8.679\\
  \hline
\end{tabular}
\label{tab:lemmatamultext}
\end{table}

Primer povedi iz korpusa je prikazan na sliki \ref{fig:corpus}; vsaka poved je shranjena v znački \emph{s}, atribut \emph{id} služi za povezavo z drugimi jeziki. Vsaka beseda je shranjena v znački \emph{w}, atribut \emph{lemma} predstavlja lemo besede, atribut \emph{ana} pa oblikoskladenjsko oznako besede. Značka \emph{c} označuje ločila.

\begin{figure}[h]
\begin{quote}
\footnotesize
\begin{verbatim}


<s id="Osl.2.3.5.11">
  <w lemma="priti" ana="Vmps-dma">Prišla</w>
  <w lemma="biti" ana="Vcip3d--n">sta</w>
  <w lemma="do" ana="Spsg">do</w>
  <w lemma="podrt" ana="Afpnsg">podrtega</w>
  <w lemma="drevo" ana="Ncnsg">drevesa</w>
  <c>,</c>
  <w lemma="o" ana="Spsl">o</w>
  <w lemma="kateri" ana="Pr-nsl----a">katerem</w>
  <w lemma="on" ana="Pp3msd--y-n">mu</w>
  <w lemma="biti" ana="Vcip3s--n">je</w>
  <w lemma="praviti" ana="Vmps-sfa">pravila</w>
  <c>.</c>
</s>
\end{verbatim}
\end{quote}
\normalsize
%\end{mylisting}
\caption{\small Označena poved v korpusu ,,1984'' \citep{erjavec2010}.}
\label{fig:corpus}
\end{figure}

Vzporedni del korpusa, ki je uporabljen v metodah, predstavljenih v nadaljevanju, sestavlja roman Georga Orwella ,,1984'' \citep{orwell1949}, preveden v vseh 16 jezikov. Celoten roman je oblikoskladenjsko označen in vzporedno poravnan na nivoju povedi s pivotnim jezikom -- angleščino. Vsi prevodi\index{prevod} so poravnani z angleškim izvirnikom. V nadaljevanju dela bo ta korpus imenovan ,,1984''.

\subsection{Jezikoslovno označevanje slovenskega jezika}
\label{section:jos}
Projekt JOS, Jezikoslovno Označevanje Slovenskega jezika \citep{erjavec2010a}, prinaša označene korpuse slovenskega jezika in pridružene vire, namenjene spodbujanju razvoja jezikovnih tehnologij za slovenski jezik. Rezultati vsebujejo oblikoskladenjske specifikacije JOS (definicija nabora oblikoskladenjskih oznak) \citep{erjavec2009}, dva označena korpusa in dva spletna servisa. Ponovno naučen, na novih oznakah, je tudi označevalec oznak MSD; poleg prehoda na nove oznake se je še izboljšala tudi kakovost označevanja. Razviti viri so v celoti dostopni in licencirani z licencami Creative Commons \citep{coates2007}. Metode, predstavljene v nadaljevanju, uporabljajo starejše oznake MULTEXT-EAST  \citep{erjavec2004a}, saj je njihov razvoj potekal še pred izidom rezultatov in smernic projekta JOS. Dodatno težavo povzročajo razlike v označevanju oznak MSD, ki sicer omogočajo boljše označevanje slovenskega jezika. Razlike v označevanju ostalih jezikov lahko izdelavo prevajalnega sistema otežijo.

\subsection{Enojezični korpusi člankov iz Wikipedie}
\label{section:wikipedia}
Enojezični korpus je bil uporabljen kot učna množica za izdelavo trigramskega jezikovnega modela. V okviru poskusov so bili izdelani korpusi za vse ciljne jezike testnih prevajalnih sistemov, ki so predstavljeni v nadaljevanju dela. Korpusi so sestavljeni iz naključno izbranih člankov iz Wikipedije za vse uporabljene jezike\footnote{http://cs.wikipedia.org, http://en.wikipedia.org, http://et.wikipedia.org, http://sr.wikipedia.org}. Velikost korpusov je bila približno 15 milijonov besed za češčino in angleščino ter približno 7 milijonov za estonščino in srbščino.

\subsection{Korpus SVEZ-IJS}
\label{section:svezijs}
Korpus SVEZ-IJS ACQUIS \citep{erjavec2006b} vsebuje celotno evropsko zakonodajo v obliki poravnanih povedi v slovenskem in angleškem jeziku, ki tvorijo angleško-slovenski pomnilnik prevodov SVEZ ACQUIS. Ta pomnilnik prevodov je izdelala prevajalska skupina SVEZ (Služba vlade RS za evropske zadeve) med procesom prevajanja zakonodaje EU (ACQUIS) v slovenski jezik. Korpus je oblikoskladenjsko označen po smernicah MULTEXT-EAST \citep{erjavec2004a}, lematiziran in normaliziran. Je največji večjezični korpus s slovenskim jezikom, vsebuje okoli 270.000 povedi v vsakem jeziku, skupaj torej približno 10 milijonov besed. Povedi so slabo oblikovane, z veliko naštevanja in posebnostmi pravnega jezika. Ta korpus je bil uporabljen za učenje besednih poravnav sistema za statistično strojno prevajanje na osnovi dreves izpeljav, ki je natančneje predstavljen v \ref{chapter:prevajanjenaosnovidrevesizpeljave}. poglavju.

\subsection{Korpus JRC-Acquis}
\label{section:jrcacquis}
Korpus JRC-Acquis \citep{steinberger2006} vsebuje celotno evropsko zakonodajo od leta 1950 do najnovejših gradiv v obliki poravnanih povedi. Korpus obsega 22 uradnih jezikov evropske skupnosti, trenutno manjka le irski jezik. Sestavljen je iz več kot 4 milijonov dokumentov in več kot 630 milijonov besed . Ta korpus je bil uporabljen kot testna množica pri samodejni metriki vrednotenja METEOR, vrednotenje ja natančneje opisano v razdelku \ref{section:meteor}.

\subsection{Korpus člankov dvojezičnega časopisa}
\label{section:elperiodico}
Pri razvoju in empiričnem vrednotenju metode za vrednotenje pravil strukturnega prenosa, predstavljene v razdelku \ref{section:izbiranajboljsihpravil}, je bil uporabljen korpus, zgrajen iz člankov dnevnika El Periódico de Catalunya. Velikost korpusa je približno 50.000 povedi oziroma 2 milijona besed.

\subsection{Jezikoslovno označevanje z orodjem TOTALE}
\label{section:totale}

Orodje za jezikoslovno označevanje besedil TOTALE \citep{erjavec2005} je bilo uporabljeno pri označevanju korpusov, kot so Acquis Communautaire \citep{erjavec2005}, JOS \citep{erjavec2010a} in SVEZ-IJS ACQUIS \citep{erjavec2006b}. Orodje združuje skupek orodij za jezikovno označevanje, in sicer tokenizacijo, oblikoskladenjsko označevanje ter lematizacijo.

Samo označevanje poteka v treh delih:
\begin{itemize}
\item \emph{tokenizacija}: delitev besedil na besede in ločila,
\item \emph{oblikoskladenjsko označevanje}: dodajanje oblikoskladenjskih oznak besedam, TOTALE za to nalogo uporablja orodje TnT \citep{brants2000},
\item \emph{lematizacija}: pripisovanje osnovne slovarske oblike posameznim besedam, TOTALE za to nalogo uporablja orodje CLOG \citep{erjavec2004b}.
\end{itemize}

TnT in CLOG sta programa, ki se jezikovnih modelov naučita na vnaprej pripravljenih podatkih, korpusih. Orodje bi lahko uporabili tudi za postavitev celotnega prevajalnega sistema, saj lahko uspešno nadomesti oblikoskladenjsko analizo vhodnega besedila in z manjšimi spremembami tudi oblikoskladenjsko sintezo. Jezikovni modeli, ki so izdelani z opisanima orodjema, so težko berljivi in napake težko odpravljamo, torej sistem ni primeren za dodatno izboljšanje, pri čemer lahko uporabimo jezikovno znanje.

\section{Prevajalni sistem Guat\index{Guat}}
\label{section:prevajalnisistemGUAT}

Prevajalni sistem Guat\index{Guat} \citep{vicic2009d} (ime je dobil po majhnih ribah Gobiidae, ki živijo tudi v slovenskem morju) je bil zgrajen med razvojem metod, prikazanih v \ref{chapter:morfologijainleksikoni}. in \ref{chapter:pravilatransferja}. poglavju. Sistem podpira jezikovni par slovenščina-srbščina. Metode so bile preverjene skozi več iteracij (sistematične napake so bile popravljene in popravki so vključeni v osnovno ogrodje). Jezikovni par slovenščina-srbščina je bil uporabljen za preverjanje kakovosti predstavljenih metod na popolnoma delujočem prevajalnem sistemu. Posebnosti jezikovnega para so: oba jezika sta zelo pregibna, oblikoslovno in derivacijsko bogata. Čeprav sta jezika sorodna, visoka stopnja pregibnosti zahteva oblikoskladenjsko analizo izvornega jezika in posledično oblikoskladenjsko sintezo v končni fazi v ciljnem jeziku.

Prevajalni sistem je prosto dostopen na spletnem naslovu\footnote{Sistem je dostopen na spletnem naslovu: \url{http://jt.upr.si/guat/}.}.

Eden od najprivlačnejših razlogov za uporabo sistema za strojno prevajanje na osnovi pravil (RBMT) je možnost, da strokovnjaki (jezikoslovci) izboljšajo samodejno izdelane jezikovne podatke. Strokovnjaki lahko enostavno dodajajo prevajalna previla in popravljajo napake v oblikoskladenjsko označenih slovarjih sistema ter v dvojezičnih prevajalnih slovarjih.

\section{Umestitev pričakovanih prispevkov k znanosti}
\label{section:umestitev}
Slika \ref{fig:umestitev} kaže eno od možnih razdelitev strojnega prevajanja. V ospredju so metode, ki slonijo na pravilih\index{pravilo} (Rule Based Machine Translation -- RBMT). Pričujoče delo se večinoma posveča prevajalnim sistemom te skupine. Predstavljeni so še alternativni sistemi, ki jih lahko v grobem združimo v dve skupini: statistično strojno prevajanje (Statistical Machine Translation -- SMT) in strojno prevajanje na osnovi primerov (Example Based Machine Translation -- EBMT).
Sisteme, sloneče na pravilih\index{pravilo}, nadalje razdelimo na sisteme popolnega razčlenjevanja, kot sta Promt \citep{promt2010} in Systran \citep{systran2010}, ter sisteme plitkega razčlenjevanja; primera takšnih sistemov sta Apertium \citep{corbi1} ter Česilko \citep{homola2008}.

\begin{figure*}[ht]
\centering
\includegraphics[width=0.95\textwidth]{umestitev.eps}
\caption{\small Ena od možnih razdelitev strojnega prevajanja z umestitvijo pričakovanih prispevkov k znanosti. Prispevki so predstavljeni z zaporednimi številkami.}
\label{fig:umestitev}
\end{figure*}

Prispevki k znanosti so oštevilčeni. Na sliki \ref{fig:umestitev} so številke metod zapisane ob opisih posameznih delov prevajalnih sistemov. Prispevki so predstavljeni v nadaljevanju.
\begin{enumerate}
\label{section:metoda1}
\item{\textbf{Metoda za statistično strojno prevajanje z drevesi izpeljav za manj uporabljene jezike.}} Metoda omogoča izdelavo sistema za statistično strojno prevajanje z drevesi izpeljave za manj uporabljene jezike (less-used languages), ki nimajo izdelane drevesnice (treebank), tj. standardizirane zbirke skladenjsko označenih dreves, ki je običajna učna množica sistemov tega področja. Metoda je obširneje predstavljena v \ref{chapter:prevajanjenaosnovidrevesizpeljave}. poglavju.
\label{section:metoda2}
\item{\textbf{Metoda za samodejno označevanje paradigem\index{paradigma}.}} Metoda je primerna za dodajanje novih besed v oblikoskladenjsko označen enojezični slovar. Predpogoj za metodo je dovolj dober in dovolj velik neoznačen enojezični korpus ter že izdelan oblikoskladenjsko označen slovar s paradigmami.

Pravilna izbira paradigme omogoča enostavno izdelavo vseh besednih oblik nove leme. 
Besedi s pomočjo krnenja \citep{popovic1992} in dodajanja končnic vzorcev iz paradigem dodelimo množico z dvojniki (\gls{multiset}) možnih pregibanj. Verjetnosti za posamezne paradigme izračunamo s preiskovanjem korpusa oziroma besed v njem. Paradigme z najvišjo oceno so dodatno preverjene s pragovno funkcijo. Metoda je obširneje predstavljena v \ref{chapter:morfologijainleksikoni}. poglavju.
\label{section:metoda3}
\item{\textbf{Samodejno luščenje\index{luščenje} paradigem\index{paradigma} za visoko pregibne jezike in izdelava pripadajočih leksikonov.}} Samodejno luščenje\index{luščenje} paradigem\index{paradigma} iz označenega korpusa predstavlja poseben primer razvrščanja neznanih primerov v množice in združevanj množic. Na osnovi vnaprej označenega enojezičnega korpusa je razvit algoritem\index{algoritem} za samodejno luščenje\index{luščenje} osnovnih paradigem\index{paradigma}. Paradigme\index{paradigma} so dodatno združene na osnovi podobnosti. Za preizkus metode je bil uporabljen korpus MULTEXT-EAST \citep{erjavec2010} in pripadajoči leksikoni. Metoda je obširneje prikazana v \ref{chapter:morfologijainleksikoni}. poglavju.
\label{section:metoda4}
\item{\textbf{Ocenjevanje pravil\index{pravilo} za strukturni prenos\index{strukturni prenos}.}} Raziskava ocenjevanja pravil\index{pravilo} strukturnega prenosa je razdeljena na tri področja:
\begin{itemize}
\label{section:metoda41}
\item{Raziskava možnih uporab ocenjevanja pravil\index{pravilo}.} Porajajo se naslednje možnosti uporabe ocenjevanja pravil\index{pravilo}:
\begin{itemize}
\item Ocenjevanje obstoječih pravil\index{pravilo}, ki so jih ročno pripravili strokovnjaki. To so pravila\index{pravilo}, ki se uporabljajo v sedanjih prevajalnih sistemih, temelječih na ogrodju Apertium. To ocenjevanje nam omogoča vzpostavitev korelacije med ocenjevalnim modelom in trenutno najboljšo možno izbiro pravil\index{pravilo}. Ta pravila\index{pravilo} so preverjena v praksi, saj jih uporabljajo pri prevajanju dnevnih izdaj časopisov. Pravila\index{pravilo}, ki jih sistem oceni kot neprimerna, lahko po pregledu strokovnjaka ustrezno popravimo oziroma izbrišemo.
\item Odkrivanje primernejših iskalnih algoritmov. V sistemu Apertium\index{Apertium} poteka izbira pravil\index{pravilo} po požrešni metodi algoritma najdaljšega možnega ujemanja\index{ujemanje} z leve proti desni (\gls{left-to rigth longest match -- LRLM} rule selection). Preiskovanje vseh možnih pokritij izvorne povedi (iskanje optimalnega pokritja) je zamudno.
\item Ocenjevanje samodejno grajenih pravil\index{pravilo}. Metode za samodejno grajenje pravil\index{pravilo} \citep{sanchez2006,sanchez2007c} izdelajo veliko število pravil\index{pravilo}; izbira najprimernejših pravil\index{pravilo} v določenih primerih je posebna domena ocenjevanja pravil\index{pravilo}.
\end{itemize}
\label{section:metoda42}
\item{Raziskava algoritmov za izbiro pravil\index{pravilo}.} V sistemu Apertium\index{Apertium} poteka izbira pravil\index{pravilo} po požrešni metodi algoritma najdaljšega možnega ujemanja\index{ujemanje} iz leve proti desni (Left-to Rigth Longest Match Rule Selection -- LRLM). V večini primerov se ta algoritem\index{algoritem} lepo sklada s človeškim načinom tvorjenja povedi, v določenih primerih pa ta algoritem\index{algoritem} ne najde najboljše rešitve, tj. najboljšega pokritja izvorne povedi. Odkrivanje takšnih primerov in iskanje boljšega algoritma predstavlja razdelek \ref{section:izbiranajboljsihalgoritmovzaizbiropravil}.
\label{section:metoda43}
\item{Izdelava metrike za ocenjevanje pravil\index{pravilo}.} V okviru doktorskega dela je bila izdelana posebna metrika za ocenjevanje pravil\index{pravilo} strukturnega transferja. Preizkušena je bila na ročno grajenih pravilih\index{pravilo} preizkušenega prevajalnega sistem \citep{forcada1} in na nepreizkušenih pravilih\index{pravilo} novega testnega sistema \citep{vicic2008a}.
\end{itemize}
\label{section:metoda5}
\item{ \textbf{Hitra izdelava prevajalnega sistema na osnovi pravil plitkega transferja za sorodne jezike.}} Osnova sistema je Apertium, ki je predstavljen v razdelku \ref{section:apertium}. Osnovni vodili snovanja sistema sta:
\begin{itemize}
\item Omogočanje enostavnega dodajanja novih metod ter preizkušanja njihove uporabnosti, kar omogoča enostavno in kar najbolj objektivno evalvacijo opisanih prispevkov k znanosti. Metode so bile preizkušene na dejanski uporabi in ne le v umetno ustvarjenih okoljih.
\item Pri snovanju in postavljanju sistema so bili izdelani napotki za hitro izdelavo podobnih sistemov z drugimi jezikovnimi pari.
\end{itemize}
\end{enumerate}