Poglavje predstavlja pregled področja vrednotenja sistemov za strojno prevajanje. Omejuje se na prikaz testiranja kakovosti prevodov. Hitrost prevajanja in odzivnost celotnega sistema, prijaznost do uporabnika in ostale lastnosti strojnih prevajalnikov niso predstavljene, saj so opisani sistemi trenutno namenjeni le raziskavam in te vrste funkcionalnost še ni bila upoštevana. Vrednotenje sistema na osnovi dreves izpeljav je opisano v posebnem razdelku, saj rezultati tega vrednotenja niso primerljivi z ostalimi rezultati. Predstavljena je tudi motivacija za izvedbo evalvacije sistemov, omejitve in sredstva, ki smo jih pri tem uporabili, ter sami rezultati.

\section{Vrednotenje sistemov za strojno prevajanje}
\label{section:evalvacijasistemov}
Evalvacija je zelo subjektivna in kompleksna, zato univerzalna metoda ocenjevanja še ni določena. Pri strojnem prevajanju se pojavlja veliko metod za vrednotenje sistemov prevajanja. Tolikšno število metod izvira iz dejstva, da se strokovnjaki ne uskladijo, kaj sploh je dober prevod, kaj šele, kakšna so merila za njegovo oceno. Predlagani primeri kriterijev ocenjevanja so predstavljeni v nadaljevanju.
\begin{itemize}
\item \citet*{hutchins1992} navajata tri kriterije:
\begin{itemize}
\item \emph{informativnost} (\gls{fidelity, accuracy}) pomeni, v kolikšni meri prevod posreduje enake informacije kot izvirnik,
\item \emph{razumljivost} (\gls{intelligibility}) pomeni, ali je prevod jasen,
\item \emph{ustreznost jezika} (\gls{language style}) pomeni, ali je v prevodu uporabljen jezik, primeren vsebini in sporočilu.
\end{itemize}
\item Konzorcij \citet*{ldc2005} priporoča dva kriterija z izdelanima lestvicama:
\begin{itemize}
\item \emph{vsebinska ustreznost} (\gls{translation adequacy}) prevodov\index{prevod},
\item \emph{slovnična pravilnost} (\gls{fluency}) prevodov\index{prevod} v ciljnem jeziku.
\end{itemize}
\item Statistični pristopi; vse samodejne metode izvirajo iz te skupine in omogočajo oprijemljivejše ocene. Za vse metode te skupine je skupno, da primerjajo število napak različnih vrst.
\item Ocenjevanje dodatnega dela, ki ga je treba vložiti za izdelavo dovolj dobrih prevodov iz rezultatov sistema za strojno prevajanje (\gls{post-editing} job). Metoda, ki temelji na tej oceni, je predstavljena v razdelku \ref{section:metrikaeditdistance}. 
\end{itemize}

Vrednotenje MT-sistemov je postalo pomembno področje razvoja MT \citep{hutchins1992}. Ena od možnih delitev metod za vrednotenje \citep{vicic2009d} glede na način uporabe je na:
\begin{itemize}
\item samodejne metode,
\item ročne metode,
\item metode, ki vključujejo posege strokovnjakov (ljudi).
\end{itemize}

\subsection{Samodejne metode}
Samodejne metode temeljijo na primerjavi števila napak različnih vrst. Metode določajo napake kot razlike med prevodom ocenjevanega sistema za strojno prevajanje in enim ali več referenčnimi prevodi. 
\subsubsection{Metrika BLEU\index{BLEU}}
\label{section:metrikableu}
Bilingual Evaluation Understudy -- BLEU\index{BLEU} \citep{papineni2001} je bila prva in je še vedno najbolj razširjena metrika za vrednotenje kakovosti prevodov\index{prevod} sistemov strojnega prevajanja. Kakovost prevodov\index{prevod} je predstavljena kot natančnost ujemanja\index{ujemanje} prevodov\index{prevod} sistema za strojno prevajanje z referenčnimi prevodi\index{prevod} poklicnih prevajalcev. Vrednosti so izračunane za posamezne prevedene odseke, po navadi povedi, in povprečene za celoten testni korpus. Berljivost in slovnična pravilnost nista upoštevani.

Osnova metrike je primerjava med n-grami kandidata za prevod in referenčnimi prevodi (lahko jih je več), pri čemer ujemanja niso odvisna od položaja. Višje število ujemanj pomeni boljši prevod oziroma prevod, ki je bližje referenčnemu prevodu. Sama primerjava temelji na preciznosti, ki je v paru s priklicem pogosto uporabljana metrika za ugotavljanje pravilnosti metod za iskanje vzorcev.

Za primerjavo kandidata za prevod\index{prevod} z enim ali več referenčnimi prevodi\index{prevod} uporablja BLEU\index{BLEU} spremenjeno različico preciznosti. Preciznost lahko predstavimo kot število pravilno klasificiranih elementov (\gls{true positives}). Sprememba z osnovno različico naj bi poskrbela za lastnost sistemov strojnega prevajanja, ki pogosto težijo k daljšim prevodom\index{prevod}, ki jih osnovna različica dobro oceni, sami prevodi pa so neuporabni.

Na sliki \ref{fig:bleuprimer} je predstavljen primer slabega kandidata za prevod\index{prevod} in referenčni prevod\index{prevod}, ki mu po osnovni različici preciznosti izračunamo visoko vrednost.
\begin{figure}[ht]
\centering
\begin{verbatim}
Hruška je je sladka.
Hruška je sladka.
\end{verbatim}
\caption{\small Kandidat za prevod\index{prevod} in referenčni prevod\index{prevod}.}
\label{fig:bleuprimer}
\end{figure}

Osnovno preciznost (\gls{precision}) opisuje enačba \ref{eq:bleuprecision}, izračunane vrednosti veljajo za primer na sliki \ref{fig:bleuprimer}.
\begin{equation}
P = \frac{m}{w_{t}} = \frac{4}{4} = 1\\
\label{eq:bleuprecision}
\end{equation}
$m$ predstavlja število besed kandidata za prevode\index{prevod}, ki so v referenčnih prevodih\index{prevod}, in $w_{t}$ število vseh besed v kandidatu za prevod\index{prevod}. Izračunana vrednost je 1, kar bi pomenilo popoln prevod\index{prevod}, kar seveda ni res. Sprememba metrike BLEU\index{BLEU} je, da algoritem\index{algoritem} za vsako besedo v kandidatu za prevod\index{prevod} poišče največje število pojavitev v referenčnih prevodih\index{prevod} $m_{max}$. Za primer, opisan na sliki \ref{fig:bleuprimer}, velja $m_{max} = 1$, saj se beseda \emph{hruška} pojavi le enkrat. Enačba opisuje spremenjeno metriko in izračunano vrednost za primer na sliki \ref{fig:bleuprimer}.

\begin{equation}
P = \frac{m}{w_{t}} = \frac{1 + 1 + 1 + 0}{4} = \frac{3}{4}\\
\label{eq:bleuchange}
\end{equation}
Metoda je uporabljena za n-grame do predefinirane dolžine, po navadi $n=4$. Rezultati unigramov približno odražajo ustreznost prevodov\index{prevod} (adequacy), koliko izvorne vsebine je preneseno v prevod\index{prevod}. Rezultati za daljše unigrame pa opisujejo slovnično pravilnost prevoda\index{prevod} (fluency).

Metrika BLEU\index{BLEU} \citep{papineni2001} je najbolj razširjena metrika za vrednotenje sistemov strojnega prevajanja, vendar mnogi avtorji, kot na primer \citep{callison2006} in \citep{labaka2007}, soglašajo, da BLEU\index{BLEU} sistematično zapostavlja sisteme RBMT in ni primeren za visoko pregibne jezike. Metrika naj bi bila uporabljana v ožjem obsegu kot doslej, predvsem za primerjanje sorodnih sistemov in za sledenje postopnih sprememb pri gradnji sistema za strojno prevajanje. Za klasično vrednotenje sistemov za strojno prevajanje pa priporočajo metriko METEOR, ki je opisana v razdelku \ref{section:metrikameteor}.

\subsubsection{Metrika METEOR\index{METEOR}}
\label{section:metrikameteor}
Metric for Evaluation of Translation with Explicit ORdering -- METEOR\index{METEOR} \citep{banerjee2005,lavie2009} predstavlja odgovor na pomanjkljivosti trenutno najbolj razširjene metrike za vrednotenje sistemov za strojno prevajanje, BLEU. Metrika temelji na harmonični sredini preciznosti in priklica unigramov (\gls{unigram precision and recall}), in sicer je priklic močneje utežen kot preciznost. Vsebuje še več metod jezikovnih tehnologij, ki niso prisotne pri ostalih samodejnih metrikah strojnega prevajanja, kot so krnjenje in ujemanje\index{ujemanje} sinonimov kot pomoč pri iskanju ujemanja\index{ujemanje} besed. Krnjenje je predvsem primerno za visoko pregibne jezike, saj omejuje vpliv napačne uporabe pregibanja; na primer napačne uporabe sklona pri samostalnikih. Pomembna razlika z bolj razširjeno metriko BLEU je v tem, da METEOR dobro korelira s človeškim vrednotenjem tudi na nivoju povedi, BLEU metrika pa le na nivoju korpusa (daljšega besedila).

Osnovna enota vrednotenja je poved; algoritem poskuša sestaviti povezave (\gls{mappings}) med besedami vrednotene in referenčne povedi. Za povezave velja omejitev, da se vsak unigram kandidata za prevod veže z nič ali enim unigramom referenčne povedi in obratno. Poravnave nastajajo v več stopnjah, ki jih nadzorujejo jezikovno osveščeni moduli. Modul je le algoritem ujemanja, ki s pomočjo dodatnega jezikovnega znanja išče boljša ujemanja, na primer modul ,,wn\_synonymy'' išče poravnave na osnovi WordNeta \citep{fellbaum1998}. Modul ,,Porter stem'' uporablja krnjenje (\gls{stemming}) pri poravnavi, modul ,,exact'' pa išče le točna ujemanja.

Preciznost $P$ izračunamo po osnovni formuli:
\begin{equation}
P = \frac{m}{w_t},
\label{eq:meteorprecision}
\end{equation}
kjer je $m$ število unigramov kandidata za prevod, ki se pojavljajo v referenčni povedi, in $w_t$ število unigramov v kandidatu za prevod.
Priklic $R$ izračunamo po osnovni formuli:
\begin{equation}
R = \frac{m}{w_r},
\label{eq:meteorrecal}
\end{equation}
kjer je $m$ število unigramov kandidata za prevod, ki se pojavljajo v referenčni povedi, in $w_r$ število unigramov v referenčni povedi.
Harmonska sredina preciznosti in priklica je izračunana z devet krat večjo utežjo priklica po:
\begin{equation}
F_{mean} = \frac{10 * P * R}{R + 9 * P}.
\label{eq:meteormean}
\end{equation}
Opisano harmonsko sredino preciznosti in priklica penaliziramo z vrednostjo $p$, ki opisuje kongruenco daljših nizov med kandidatom za prevod in referenčno povedjo. Unigrame grupiramo v najmanjše število nizov, za katere velja, da so si unigrami sosedni v kandidatu za prevod in referenčni povedi. Čim daljša so zaporedja medsebojno povezanih unigramov kandidata za prevod ter referenčne povedi, manjše število nizov dobimo; prevod, ki je enak referenčnemu prevodu, bo imel le en niz. Vrednost $p$ izračunamo po enačbi: 
\begin{equation}
p = 0.5 * (\frac{c}{u_m})^3,
\label{eq:meteorpenalty}
\end{equation}
kjer je $c$ število nizov in $u_m$ število unigramov, ki so bili uspešno povezani.
Končna ocena je izračunana kot $M$ v enačbi \ref{eq:meteorkonec}
\begin{equation}
M = F_{mean} * (1 - p).
\label{eq:meteorkonec}
\end{equation}

\subsubsection{Metrika WER\index{WER}}
\label{section:metrikawer}
Stopnja napačnih besed (\gls{word error rate -- WER}) je bila ena prvih statističnih metod za določanje kakovosti prevodov. Temelji na uteženi Levenshteinovi razdalji (\gls{weighted Levenshtein edit-distance}) \citep{fu82}. Ta predstavlja razširitev osnovne razdalje \citep{levenshtein1965}, ki šteje najmanjše število sprememb, ki jih moramo opraviti med prevodom sistema za strojno prevajanje in referenčnim prevodom. Število sprememb še utežimo z dolžino povedi. Dovoljene spremembe so vstavitev, brisanje in zamenjava besede.

Izračun vrednosti WER za eno poved je oblike:

\begin{equation}
WER = \frac {S + D + I} {N},
\label{eq:wer}
\end{equation}
kjer je
\begin{itemize}
\item \emph{S} -- število substitucij,
\item \emph{D} -- število izbrisov,
\item \emph{I} -- število vstavkov,
\item \emph{N} -- število besed v povedi.
\end{itemize}

Predstavljena metrika opisuje velikost napake prevajalnega sistema. Pogosto želimo rezultate takšnega vrednotenja predstaviti kot kakovost prevajalnega sistema; takrat uporabimo različico metrike, ki predstavlja stopnjo prepoznanih besed (\gls{word recognition rate -- WRR}), ki je enostavno razlika med ,,popolnim'' prevodom\index{prevod} in napako sistema:

\begin{equation}
WRR = 1 - WER.
\label{eq:wrr}
\end{equation}

\subsection{Ročne metode}
\subsection{Vrednotenje po smernicah LDC\index{LDC}}
\label{section:metrikaldc}
Smernice LDC\index{LDC} \citep{ldc2005} so bile predstavljene na letni delavnici o vrednotenju strojnega prevajanja NIST (\gls{NIST machine translation evaluation workshop}) in so najpogosteje uporabljena načela za ročno ocenjevanje kakovosti prevodov\index{prevod} sistemov za strojno prevajanje. Pri ročnem ocenjevanju kakovosti prevodov\index{prevod} upoštevamo dve lestvici, ki predstavljata vsebinsko ustreznost prevodov\index{prevod} (adequacy) in slovnično pravilnost prevodov\index{prevod} v ciljnem jeziku (fluency).

Prva lestvica kaže kakovost prevodov\index{prevod}, tj. koliko izvornega pomena se je pri prevodu\index{prevod} ohranilo:
\begin{itemize}
\item 5 = vse, 
\item 4 = večina, 
\item 3 = precej, 
\item 2 = malo, 
\item 1 = nič. 
\end{itemize}
Druga lestvica kaže slovnično pravilnost povedi v ciljnem jeziku. Pri prevodu\index{prevod} v ciljni jezik velja:  

\begin{itemize}
\item 5 = prevod brez napak,
\item 4 = dober ciljni jezik,
\item 3 = ciljni jezik, kot nematerni jezik (\gls{non-native language}), 
\item 2 = ciljni jezik z veliko napakami, 
\item 1 = nesmiselno besedilo. 
\end{itemize}

Ločeni lestvici za kakovost prevodov\index{prevod} in slovnično pravilnost sta bili izdelani ob predpostavki, da lahko tudi prevod\index{prevod} z veliko slovničnimi napakami prikaže vso informacijo, ki je zapisana v originalu.

\subsection{Vrednotenje po smernicah ALPAC}
\label{section:metrikaalpac}
Leta 1966 je Alpac (Automatic Language Processing Advisory Committee) objavil raziskavo \citep{alpac1966}, ki velja za prvi večji poskus vrednotenja strojnega prevajanja. Ocenjevali so prevode iz ruščine v angleščino, in sicer z vidika razumljivosti (intelligibility) in z vidika zvestobe (angl. fidelity). Ocenjevalci so bili pred raziskavo posebej šolani. Raziskava je pokazala, da so bile razlike med ocenjevalci majhne, kljub temu pa priporočajo, da pri vrednotenju sodelujejo vsaj trije ali štirje ocenjevalci.

\subsection{Vrednotenje po smernicah DARPA}
\label{section:metrikaarpa}
Pri agenciji DARPA (Defense Advanced Research Projects Agency) so objavili metodologijo vrednotenja prevajalnih sistemov \citep{baker1966}. Glavni izziv pri vrednotenju je bil zmanjšati subjektivnost, ki jo lahko merimo s stopnjo odstopanja med ocenjevalci. Najprimernejše metode, ki so jih izbrali za nadaljnjo uporabo, so vključevale vrednotenje razumljivosti s pomočjo testov razumevanja, vrednotenje primernosti, ki so jo izvedli materni govorci angleščine, in vrednotenje, ki temelji na kriterijih, kot jih predlagata \citet*{hutchins1992}.

\subsection{Metode, ki vključujejo posege strokovnjakov}
\subsubsection{Utežena Levenshteinova razdalja}
\label{section:metrikaeditdistance}
Metrika, temelječa na uteženi Levenshteinovi razdalji (weighted Levenshtein edit-distance) \citep{fu82}, poznana tudi kot Word Error Rate (WER), ki je natančneje predstavljena v razdelku \ref{section:metrikawer}, izračuna najmanjše število sprememb, ki jih moramo narediti za izdelavo \emph{pravilne} povedi v ciljnem jeziku iz samodejno izdelane povedi (prevoda\index{prevod} ocenjevanega sistema).

Kot pravilen prevod\index{prevod} po navadi pojmujemo poved, ki popolnoma izraža pomen izvorne povedi in je v ciljnem jeziku zapisana slovnično pravilno. Opisana metrika kaže, koliko dela moramo opraviti za izdelavo dobrega prevoda\index{prevod} iz že izdelanega strojnega prevoda\index{prevod}. Metrika v grobem ponazarja kompleksnost opravila končnega čiščenja prevodov\index{prevod} (\gls{post-editing} task).

Izvedbo testiranja kakovosti prevodov\index{prevod} prevajalnega sistema s pomočjo utežene Levenshteinove razdalje sestavljajo naslednja dejanja: 
\begin{itemize}
\item izbira testnih povedi v izvornem jeziku;
\item prevajanje testnih povedi s pomočjo testiranega sistema;
\item \emph{ročno} popravljanje prevodov\index{prevod} (popravljavci upoštevajo navodilo čim manjšega števila sprememb);
\item izračun utežene Levenshteinove razdalje.
\end{itemize}
Tako kot pri metriki WER tudi tukaj uporabimo različico, ki predstavlja kakovost prevodov, WRR = (1 - WER).

\section{Rezultati}
\label{section:rezultati}
Metode, predstavljene v razdelku \ref{section:metode}, se osredotočajo na gradnjo sistemov za strojno prevajanje za sorodne, oblikoslovno bogate jezike. Poleg same uporabnosti predstavljenih metod in ocenjevanja hitrosti izdelave novih prevajalnih sistemov, stremi predstavljeno vrednotenje k preverjanju kakovosti samodejno izdelanih podatkov za sisteme strojnega prevajanja na popolnoma funkcionalnih sistemih.

Zgrajeni in ovrednoteni so bili štirje popolnoma delujoči sistemi za strojno prevajanje:
\begin{enumerate}
\item SL-SR, prevajalni sistem za jezikovni par slovenščina\index{slovenščina}-srbščina\index{srbščina};
\item SL-CS, prevajalni sistem za jezikovni par slovenščina\index{slovenščina}-češčina;
\item SL-EN, prevajalni sistem za jezikovni par slovenščina\index{slovenščina}-angleščina;
\item SL-ET, prevajalni sistem za jezikovni par slovenščina\index{slovenščina}-estonščina.
\end{enumerate}
\subsection{Opis sistemov}
\label{section:description}

Sistem za prevajanje jezikovnega para slovenščina\index{slovenščina}-srbščina\index{srbščina} (SL-SR) je bil zgrajen kot pilotni sistem, ki je služil za testiranje naših metod v procesu svojega razvoja. Metode, predstavljene v tem prispevku, so bile pregledane v več iteracijah (sistematične napake so bile odpravljene, popravki pa vključeni v novo iteracijo sistema). Ta jezikovni par je bil uporabljen za preverjanje kakovosti predstavljenih metod na popolnoma funkcionalnem sistemu strojnega prevajanja. Oba jezika sta pregibno, oblikoslovno in derivacijsko bogata. Čeprav sta oba jezika sorodna, visoka stopnja pregibnosti obeh jezikov še vedno zahteva oblikoskladenjsko analizo izvornega jezika in posledično oblikoskladenjsko sintezo ciljnega jezika.

Sistem za prevajanje jezikovnega para slovenščina\index{slovenščina}-češčina (SL-CS) je bil izdelan za preverjanje uporabnosti metod, predstavljenih v razdelku \ref{section:metode}, na novem jezikovnem paru sorodnih jezikov in z namenom, da bi preizkusili, kako hitro je mogoče izdelati nov sistem. Lastnosti tega jezikovnega para so podobne lastnostim prvega jezikovnega para (SL-SR).

Sistema za jezikovna para SL-EN in SL-ET sta bila izdelana za oceno uporabnosti predstavljenih metod in celotne arhitekture za oddaljene jezikovne pare. Rezultati, predstavljeni v razdelkih \ref{section:meteor}, \ref{section:eval_editdistance} in \ref{section:eval_ldc}, kažejo jasno zmanjšanje kakovosti prevodov\index{prevod} z uporabo enake metodologije in enakih učnih podatkov. Estonski jezik je bil izbran kot oddaljen pregibni jezik, angleški jezik pa kot oddaljen izolativni jezik, tj. jezik, pri katerem je razmeroma malo pregibanj. Za postavitev vsakega od predstavljenih sistemov smo porabili enako časa, in sicer je sisteme izdelala ena oseba z uporabo običajnega osebnega računalnika\footnote{prenosni računalnik z 2 GB RAM in procesorjem Intel Core2 duo.)} in za vsak sistem porabila po dva delovna dneva.

\subsection{Izbrane metrike vrednotenja}
\label{section:descriptionmetrics}
Ovrednotenje prevodov\index{prevod} je bilo opravljeno s tremi metodami vrednotenja, vsaka od njih je podrobno opisana v razdelku \ref{section:evalvacijasistemov}, sama uporaba pa v nadaljevanju razdelka:
\begin{enumerate}
\item Samodejno objektivno vrednotenje z uporabo metrike METEOR\index{METEOR} \citep{banerjee2005,lavie2009}.
\item Vrednotenje z metodo, ki vključuje posege strokovnjakov na podlagi utežene Levenshteinove razdalje.
\item Vrednotenje z metodo, ki vključuje posege strokovnjakov na osnovi predlaganih smernic \citep{ldc2005}.
\end{enumerate}
Metrike BLEU nismo uporabili, saj po mnenju več avtorjev ni primerna za takšno evalvacijo; razlogi so širše predstavljeni v razdelku \ref{section:metrikableu}.

\subsubsection{Samodejno objektivno vrednotenje z metriko METEOR\index{METEOR}}
\label{section:meteor}
Metrika METEOR\index{METEOR} je natančneje opisana v razdelku \ref{section:metrikameteor}.
Uporabljena je bila javno dostopna implementacija metrike METEOR\index{METEOR} \citep{lavie2009}, različica v0.6. Metrika kot enega izmed algoritmov za večanje korelacije s človeško oceno za visoko upogibne jezike uporablja mehanizem krnjenja. Uporabili smo mehanizem krnjenja, ki je stranski izdelek našega prevajalnega sistema, ki je obširneje predstavljen v razdelku \ref{section:krnjenjealgoritem}. Rezultati so predstavljeni na sliki \ref{fig:meteor}, števila, označena z \emph{*}, kažejo vrednosti metrike METEOR\index{METEOR} z običajnim Porter-stem \citep{porter1980} algoritmom krnjenja, ostala števila kažejo vrednosti metrike z lastnim algoritmom krnjenja.

Kot testna množica primerov s poravnanimi referenčnimi prevodi\index{prevod} je bil uporabljen večjezični vzporedni korpus JRC-Acquis \citep{steinberger2006}. Nov korpus je bil uporabljen zaradi prevelike koreliranosti povedi v učnem korpusu, vse povedi so iz istega romana \citep{orwell1949}. Izbira korpusa JRC-Acquis \citep{steinberger2006} je bila pragmatična, to je še edini korpus, ki vsebuje vse jezike, ki smo jih uporabili v eksperimentu. Testni primeri so bili še posebej izbrani, odločili smo se za omejitev dolžine povedi na 40 besed, saj je korpus JRC-Acquis specifičen in vsebuje veliko povedi z naštevanjem odsekov pravnih besedil. Manjkajoče besede iz testnih povedi so bile ročno dodane v enojezični in prevajalni slovar. S tem postopkom smo se želeli izogniti napakam tipa ,,besede izven domene'' (\gls{out of domain error}). 

\begin{figure}[h!]
\centering
\includegraphics[width=1\textwidth]{meteor1.eps}
\caption{\small Rezultati vrednotenja z metriko METEOR\index{METEOR}. Uporabili smo korpus Acquis Communautaire \citep{erjavec2005}. Ovrednotenja, označena z zvezdico \emph{*}, predstavljajo uporabo krnjenja z algoritmom Porter-stem, ostala pa z uporabo lastnega algoritma za krnjenje.}
\label{fig:meteor}
\end{figure}

Testna množica primerov je bila sestavljena iz 1500 povedi. Rezultati vrednotenja so predstavljeni na sliki \ref{fig:meteor}.

Zadnji stolpec na sliki \ref{fig:meteor} kaže vrednosti evalvacije na istih testnih podatkih za prevajalni sistem Google Translate \citep{google1} in prevajalni par slovenščina-srbščina. Opis sistema in način vrednotenja je predstavljen v \citep{vicic2010c}. Vrednosti so primerljive, sistem na osnovi pravil pa lahko še izpopolnimo z ročnim pregledom.

Rezultati Googlovega prevajalnega sistema, na sliki \ref{fig:meteor}, so boljši kot rezultati našega sistema. Moramo se zavedati, da je tudi naš sistem popolnoma samodejno grajen in omogoča lingvistom veliko izboljšav, saj lahko vsa gradiva dodatno spreminjamo oziroma dodajamo nova, pri Googlovem sistemu pa je to praktično nemogoče. Edini način izboljšave je uporaba večje količine učnih gradiv oziroma izdelava drugačnih algoritmov.

\subsubsection{Vrednotenje z metodo, ki vključuje posege strokovnjakov na podlagi utežene Levenshteinove razdalje}
\label{section:eval_editdistance}

Utežena Levenshteinova razdalja je natančneje predstavljena v razdelku \ref{section:metrikaeditdistance}. Iz korpusa smo naključno izbrali 200 povedi, ki niso bile del učne množice. Uporabili smo soležne povedi za vse jezike (iste testne primere, vendar v drugem jeziku). 
\begin{figure}[h!]
\centering
\includegraphics[width=1\textwidth]{informatica_wer.eps}
\caption{\small Rezultati vrednotenja s pomočjo metrike Word Recognition Rate (WRR).}
\label{fig:wer1}
\end{figure}

Povedi so bile prevedene s prevajalnim sistemom in ročno popravljene. Kot \emph{zadovoljivi prevod\index{prevod}} štejemo prevod\index{prevod}, ki popolnoma odraža vsebino izvorne povedi in je v ciljnem jeziku slovnično popolnoma pravilno zapisan. Med prevodi\index{prevod} sistema in popravljenimi prevodi\index{prevod} smo izračunali uteženo Levenshteinovo razdaljo. Rezultati so prikazani na sliki \ref{fig:wer1} in predstavljajo WRR, Word Recognition Rate (1 - WER), ki odraža kakovost sistema namesto njegove napake.

Popravljavci so sledili napotkom, naj prevode\index{prevod} popravijo s čim manj spremembami. Vrednotenja so večinoma opravljali študenti in raziskovalci, sodelujoči pri poskusu. Ocene kakovosti prevodov\index{prevod} slovenščine in češčine sta opravila po dva ocenjevalca, ki jima je bil ciljni jezik materni jezik (\gls{native speaker}). Ocene kakovosti prevodov\index{prevod} angleščine, srbščine in estonščine je opravil po en ocenjevalec, ki mu je bil ciljni jezik materni jezik.

Zadnja dva stolpca na sliki \ref{fig:wer1} kažeta vrednosti ročno izdelanih sistemov za strojno prevajanje na osnovi Apertiuma za dva različna jezikovna para. Opisi sistemov in rezultati so obširneje predstavljeni v \citep{villarejo2010}. Najvišje vrednosti sistemov, postavljenih s testirano metodo, so primerljive z nižjimi vrednostmi ročno postavljenih sistemov.

\subsubsection{Vrednotenje z metodo, ki vključuje posege strokovnjakov na podlagi vnaprej podanih smernic}
\label{section:eval_ldc}
Metoda ročnega vrednotenja na podlagi smernic \citep{ldc2005} je natančneje predstavljena v razdelku \ref{section:metrikaldc}.
Iz korpusa smo naključno izbrali 100 povedi, ki niso bile del učne možice. Uporabili smo soležne povedi za vse jezike (iste testne primere, vendar v drugem jeziku).

Vrednotenja so večinoma opravljali študenti in raziskovalci, sodelujoči pri poskusu. Ocene za slovenski in češki jezik sta opravila po dva ocenjevalca, ki jima je bil ciljni jezik materni jezik (\gls{native speaker}), ocene za angleški, srbski in estonski jezik je opravil po en ocenjevalec, ki mu je bil ciljni jezik materni jezik. Rezultati so predstavljeni na sliki \ref{fig:ldc}. Rezultati za sistema SL-SR in SL-CS so zadovoljivi, predvsem vrednosti za ustreznost prevodov\index{prevod}, vrednosti za preostala sistema so nižje, predpostavljamo, da predvsem na račun različnosti jezikovnih parov.
\begin{figure}[ht]
\centering
\includegraphics[width=1\textwidth]{informatica_ldc.eps}
\caption{\small Rezultati vrednotenja po smernicah \citep{ldc2005}. Povprečne vrednosti dveh neodvisnih ocenjevanj kažejo visoke vrednosti za vsebinsko ustreznost prevodov\index{prevod} (adequacy) in nižje vrednosti za slovnično pravilnost.}
\label{fig:ldc}
\end{figure}

Tabela \ref{tab:ldc_agreement} kaže zadovoljivo (satisfactory) (SL-CS) in zelo visoko (very-high) (SL-SR) ujemanje\index{ujemanje} med ocenjevalci (\gls{inter-rater agreement}) glede na Cohenov koeficient kapa \citep{cohen1960}, ki je predstavljen v nadaljevanju. Opisna magnituda rezultatov je povzeta po \citep{landis1977}.
\begin{table}[ht]
\centering
\caption{\small Cohenov koeficient kapa \citep{cohen1960} za sistema SL-SR in SL-CS kaže zadovoljivo ujemanje (satisfactory agreement) za jezikovni par (SL-CS) ter znatno ujemanje (substantial agreement) za jezikovni par (SL-SR). Pričakovano ujemanje je ujemanje, pri katerem bi se ocenjevalca odločala naključno. Opazovano ujemanje je enako koeficientu kapa. Vsi ocenjevalci so ocenjevali po 100 primerov.}
\begin{tabular}{|l|r|r|}
\hline
ff & sl-sr & sl-cs \\
\hline
kapa & 0,86 & 0,69\\
\hline
opazovano ujemanje\index{ujemanje} & $0,86$ & $0,69$\\
\hline
pričakovano ujemanje\index{ujemanje} &$ 0,300$ & $0,317$\\
\hline
število primerov & $100$ & $100$\\
\hline
\end{tabular}
\label{tab:ldc_agreement}
\end{table}
%JERNEJ vrstico s 65% mogoce vrzem ven
\paragraph*{Cohenov koeficient kapa}\citep{cohen1960} je statistično merilo ujemanja\index{ujemanje} med ocenjevalci (\gls{inter-rater agreement}). Na splošno velja prepričanje, da je ta mera robustnejša od enostavnega deleža ocenjevanj, ki se ujemajo, saj upošteva ujemanja, ki se pojavljajo po naključju. Cohenov koeficient $\kappa$ meri ujemanje med dvema ocenjevalcema, ki klasificirata po N elementov v C medsebojno izključujočih se razredih:
\begin{equation}
\kappa = \frac{\Pr(a) - \Pr(e)}{1 - \Pr(e)},
\label{eq:kappa}
\end{equation}kjer je $Pr(a)$ relativno opazovano ujemanje med ocenjevalcema, $Pr(e)$ je hipotetična verjetnost naključnega ujemanja, ki je določena iz podanih podatkov, če bi vsak ocenjevalec elemente ocenjeval naključno.

Če se ocenjevalca popolnoma ujemata, je $\kappa$ = 1, če pa se ujemata le v številu primerov, kot bi pričakovali, če bi odgovarjala naključno, je $\kappa$ = 0. V literaturi so se pojavile smernice, ki določajo magnitudo $\kappa$; ena od možnih razdelitev je podana v \citep{landis1977}, ki deli vrednosti $\kappa$ po naslednjem kriteriju:
\begin{itemize}
\item < 0; ni ujemanja (\gls{no agreement}),
\item 0,00-0,20; rahlo ujemanje (\gls{slight agreement}),
\item 0,21-0,40; dokajšnje ujemanje (\gls{fair agreement}),
\item 0,41-0,60; zadovoljivo ujemanje (\gls{moderate agreement}),
\item 0,61-0,80; znatno ujemanje (\gls{substantial agreement}),
\item 0,81-1,00; skoraj popolno soglasje (\gls{almost perfect agreement}).
\end{itemize}

\subsection{Vrednotenje sistema na osnovi dreves izpeljav}
\label{section:smtbypevalvacija}

V empiričnem vrednotenju sistema za strojno prevajanje na osnovi dreves izpeljav sta bili obravnavani dve težavi:
\begin{itemize}
\item kakovost prevodov nizov oznak besednih vrst;
\item stopnja uspešnosti iskanja nizov besednih vrst.
\end{itemize}
Vsaka naloga je podrobneje predstavljena v \ref{chapter:prevajanjenaosnovidrevesizpeljave}. poglavju.

\subsubsection{Eksperimentalno okolje}
\label{section:smtbypevalvacijaokolje}

Za postavitev testnega okolja so bila uporabljena že dostopna orodja, kjer je bilo le možno. Kar nekaj aplikacij pa je bilo ustrezno spremenjenih. Izdelan je bil tudi nov modul, ki implementira metodo, predstavljeno v \ref{chapter:prevajanjenaosnovidrevesizpeljave}. poglavju. Modul je bil umeščen v sistem GenPar. Sledi kratek opis testnega okolja po komponentah:

\begin{itemize}
\item Za postavitev prevajalnega sistema je bil kot osnova uporabljen GenPar, obširneje je predstavljen v razdelku \ref{section:genpar}.
\item Metrika, ki temelji na uteženi Levenshteinovi razdalji (\gls{weighted Levenshtein edit-distance}), obširneje je predstavljena v razdelku \ref{section:metrikawer}, je bila uporabljena za določanje kakovosti nizov oznak besednih vrst.
\item Kot učni in testni korpus je bil uporabljen korpus ,,1984''; učni in testni podatki se niso prekrivali.
\item Za učenje modela poravnave besed je bil uporabljen korpus SVEZ-IJS \citep{erjavec2006b}; natančneje je predstavljen v razdelku \ref{section:svezijs}.
\end{itemize}

\subsubsection{Nabor podatkov}
\label{section:smtbypevalvacijanaborpodatkov}
Korpus ,,1984'' je že oblikoskladenjsko označen, izluščen je bil le prvi del oznake MSD, tako da ni bilo potrebe po uporabi oblikoskladenjskega označevalca. Zaradi časovne zahtevnosti je bil uporabljen le del celotnega korpusa, in sicer povedi, ki so krajše od 15 besed.

Pred učenjem je bil korpus razdeljen na dva dela, na učno ter testno množico in sicer v razmerju $9:1$, torej učna množica je bila $9-krat$ večja od testne. Kot testni vhodni podatki prevajalnega sistema, so bili uporabljeni nizi oznak besednih vrst izvornega jezika (IZVOR). Kot referenčne vrednosti v postopku ocenjevanja so bili uporabljeni nizi besednih vrst ciljnega jezika (CILJ). Izhod sistema, ciljni niz oznak besednih vrst (TEST) je bil primerjan z nizoma (IZVOR) ter (TEST).

\subsubsection{Rezultati}
\label{section:smtbypevalvacijarezultati}

\paragraph*{Kakovost prevedenih nizov oznak besednih vrst.}
\label{section:smtbypevalvacijarezultatikakovost}

Vrednotenje kakovosti prevedenih nizov oznak besednih vrst, kandidatov za končne prevode, je bila izvedena z uporabo metrike utežene Levenshteinove razdalje \citep{fu82}. Vsak niz oznak besednih vrst predstavlja list v drevesu izpeljav in je posledično osnova za končni prevod (oznake besednih vrst zamenjamo z dejanskimi besednimi oblikami s pomočjo izvornih besed).

\begin{figure}[htp]
\centering
\includegraphics[width=1\textwidth]{doktorat_eval_smtbyp1.eps}
\caption{\small Kakovost najdenih nizov oznak besednih vrst z metodo, ki upošteva le nize z urejevalno razdaljo 0. T-test kaže signifikantno razliko med povprečnima vrednostma.}
\label{fig:evalsmtbyprezultati1}
\end{figure}

Urejevalna razdalja (edit distance) kaže, koliko se razlikujeta niz, ki ga je izdelal sistem (TEST), in referenčni niz (CILJ). Manjše vrednosti pomenijo boljše rezultate.

Urejevalna razdalja med izvornim nizom besednih vrst (IZVOR) ter referenčnim prevodom (CILJ) kaže, koliko naj bi se spremenila struktura povedi pri prevodih. Vrednosti so bile izračunane kot osnovne vrednosti, ki jih želimo izboljšati (baseline values).
\begin{figure}[htp]
\centering
\includegraphics[width=1\textwidth]{doktorat_eval_smtbyp2.eps}
\caption{\small Kakovost najdenih nizov oznak besednih vrst z metodo, ki upošteva le nize z urejevalno razdaljo manjšo kot 3. T-test kaže signifikantno razliko med povprečnima vrednostma.}
\label{fig:evalsmtbyprezultati2}
\end{figure}
Izvedeni sta bili dve skupini testov:
\begin{itemize}
\item Kakovost ciljnih nizov besednih vrst, ki jih je vrnil sistem z metodo, ki je upoštevala le urejevalno razdaljo 0 (edit distance = 0). Rezultati vrednotenja so prikazani na sliki \ref{fig:evalsmtbyprezultati1}.
\item Kakovost ciljnih nizov besednih vrst, ki jih je vrnil sistem z metodo, ki je upoštevala urejevalne razdalje, manjše od 3 (edit distance < 3). Rezultati vrednotenja so prikazani na sliki \ref{fig:evalsmtbyprezultati2}.
\end{itemize}
T-testa na slikah \ref{fig:evalsmtbyprezultati1} in \ref{fig:evalsmtbyprezultati2} kažeta, da sta bili povprečji uteženih urejevalnih razdalj med referenčnimi nizi (CILJ) in nizi, ki jih je izdelal sistem (TEST), za obe metodi signifikantno nižji kot povprečji uteženih urejevalnih razdalj med izvornimi (IZVOR) in referenčnimi nizi. To pomeni, da metoda pri strukturnem prenosu vnaša signifikantno količino informacij.

\paragraph*{Stopnja uspešnosti iskanja nizov oznak besednih vrst.}
\label{section:smtbypevalvacijarezultatistevilo}
Drugi problem, ki je bil obravnavan v empiričnem testiranju, je bil oceniti stopnjo uspešnosti iskanja niza oznak besednih vrst; tj., koliko kandidatov za prevode je algoritem dejansko našel.

\begin{table}[h!]
\centering
\caption{\small Delež testnih povedi, ki imajo v učni množici vsaj enega kandidata za prevod.}
\begin{tabular}{|l|l|l|l|}
  \hline
  Urejevalna razdalja& test1 & test2 & test3 \\
  \hline
\hline
0 & $40\% $ & $37\% $ & $39\% $ \\
\hline
1 & $43\% $ & $42\% $ & $44\% $ \\
\hline
2 & $67\% $ & $69\% $ & $70\% $ \\
\hline
3 & $89\% $ & $91\% $ & $89\% $ \\
\hline
4 & $95\% $ & $97\% $ & $97\% $ \\
\hline
5 & $100\% $ & $100\% $ & $100\% $ \\
\hline
\end{tabular}
\label{tab:smtbypevalvacijarezultatitabela1}
\end{table}

Če izvorni niz oznak besednih vrst, ki ga sestavimo s pomočjo označevalnika MSD, v izvorni učni množici ni najden niti ob upoštevanju urejevalne razdalje, se osnovni prevajalni tok konča. Za sam prevod potrebujemo drugo metodo, lahko bi povečali urejevalno razdaljo. Tabela \ref{tab:smtbypevalvacijarezultatitabela1} kaže delež vhodnih povedi, ki imajo v učni množici vsaj enega kandidata za prevod. Delež strmo naraste pri mejni vrednosti urejevalne razdalje 2 in vse povedi imajo kandidate za prevode pri urejevalni razdalji 5. Vzorčenje je bilo izvedeno trikrat (test1, test2, test3).

\begin{table}[h!]
\centering
\caption{\small Kakovost nizov oznak besednih vrst glede na izbran prag urejevalne razdalje. Kakovost je ovrednotena s povprečno urejevalno razdaljo do referenčnih prevodov.}
\begin{tabular}{|l|l|l|l|}
  \hline
  Iskalni  & Povprečna& Standardna \\
  algoritem & razdalja& deviacija \\
  \hline
\hline
prag = 0 & 2,11 & 1,96 \\
\hline
prag = 1 & 2,34 & 1,89\\
\hline
prag = 2 & 2,70 & 1,66\\
\hline
prag = 3 & 3,20 & 1,89\\
\hline
prag = 4 & 4,05 & 2,34\\
\hline
prag = 5 & 5,11 & 3,01\\
\hline
\end{tabular}
\label{tab:smtbypevalvacijarezultatitabela2}
\end{table}

Tabela \ref{tab:smtbypevalvacijarezultatitabela1} kaže, kako se odstotek najdenih nizov besednih vrst veča z višanjem praga za urejevalno  razdaljo. Z višanjem praga urejevalne razdalje se zmanjšuje kakovost nizov oznak besednih vrst in posledično kakovost prevodov. Ta pojav kaže tabela \ref{tab:smtbypevalvacijarezultatitabela2}. Algoritem s pragom urejevalne razdalje, večje od 0, tako uporabimo le v skrajni sili; prag povečujemo v minimalnih korakih in vrednosti, večje od 2, niso priporočljive. Povprečna napaka rezultatov iskalnega algoritma s pragom velikosti 3 je skoraj enako velika kot napaka izvornih nizov, torej metoda s tem algoritmom rešitev ne izboljšuje. Večji prag pa rešitve občutno poslabša. 

\subsection{Vrednotenje metode za izbiro najboljših pravil\index{pravilo}}
\label{section:evalizbiranajboljsihpravil}

Dve vrsti preskusov sta bili izvedeni z uporabo metrik, predstavljenih v razdelku \ref{section:izbiranajboljsihpravil}. Opisni rezultati so predstavljeni v tabeli \ref{fig:t1}, kumulativni in primerjalni rezultati pa so predstavljeni v tabeli \ref{fig:t2}.

Poleg pravil iz delujočega prevajalnega sistema so bila izdelana še posebna pravila, ki namerno uvajajo napake v prevode. S pomočjo teh pravil smo želeli pokazati, ali predstavljene metrike odkrijejo takšna, slaba pravila. Uporaba jezikovnih modelov za odkrivanje teh slabih pravil je eden od osnovnih ciljev te raziskave. Zlonamerno pravilo je uporabljalo vzorec, ki se v besedilih pogosto pojavi; v testnem korpusu se je pojavil v $12\:\%$ povedi. Pravilo je predstavljeno na sliki \ref{fig:sedem} in izdela krajše povedi. Primer vpliva tega pravila je prikazan na sliki \ref{fig:osem}.

\begin{figure}
\centering
%\includegraphics[width=.9\textwidth]{JV_sedem.eps}

\framebox[9.5cm][l]{\parbox[b]{9cm}{
Vzorec: členek presledek samostalnik presledek pridevnik
Ukrep: izhod: členek presledek pridevnik
}
}
\caption{\small Zlonamerno pravilo, ko se pojavi vzorec členek -- samostalnik -- pridevnik; pravilo izpiše le členek in pridevnik (pobriše samostalnik).}
\label{fig:sedem}
\end{figure}

\begin{figure}
\centering
\framebox[12.5cm][l]{\parbox[b]{12cm}{
Original:\\
Sus acciones han subido de un 75 \% desde el ano pasado.\\
Les seves accions han pujat d'un 75 \% des de l'any passat.\\
Changed:\\
Sus acciones han subido de un 75 \% desde el ano pasado. \\
Els seus accions han pujat d'un 75 \% des de passatpassa-tany.\\
}
}

%\includegraphics[width=.9\textwidth]{JV_osem.eps}
\caption{\small Primer vpliva pravila s slike \ref{fig:sedem}. Prvi par kaže primer španske povedi in primernega prevoda v katalonščino, drugi par pa prevod, ki ga je pravilo pokvarilo.}
\label{fig:osem}
\end{figure}

\begin{table}[h!]
\centering
\caption{\small Rezultati vrednotenja. Testiranje je bilo izvedeno na množicah 480, 1000 in 2000 povedih. Stolpec \emph{popravek dolžine (da/ne)} kaže, katera metoda je bila uporabljena: metrika z uporabo osnovnega trigramskega jezikovnega modela (ne) ali metrika z uporabo spremenjenega modela (da). Drugi stolpec kaže, koliko pokritij algoritma LRLM sta metriki označili kot neoptimalna. Tretji stolpec kaže to število v odstotkih.}
\begin{tabular}{|l|l|l|}
  \hline
  Popravek dolžine& \# ne-optimalnih pokritij LRLM & odstotek napak \\
  \hline
\multicolumn{3}{|c|}{480 testnih povedi}\\
\hline
ne & 4 (vse napačne)  & $0,80 \% $\\
\hline
da & 4 (vse napačne)  & $0,80 \% $\\
\hline
\multicolumn{3}{|c|}{1000 testnih povedi}\\
\hline
ne & 4 (vse napačne)  & $0,40 \% $\\
\hline
da & 4 (vse napačne) & $0,40 \% $\\
\hline
\multicolumn{3}{|c|}{2000 testnih povedi}\\
\hline
ne & 12 (vse napačne)  & $0,60 \% $\\
\hline
da & 6 (vse napačne) & $0,40 \% $\\
\hline

\hline
\end{tabular}
\label{fig:t1}
\end{table}

\begin{table}[h!]
\centering
\caption{\small Rezultati vrednotenja. Testiranje je bilo izvedeno na množicah 480, 1000 in 2000 povedih. Stolpec \emph{popravek dolžine (da/ne)} kaže, katera metoda je bila uporabljena: metrika z uporabo osnovnega trigramskega jezikovnega modela (ne) ali metrika z uporabo spremenjenega modela (da). Drugi stolpec kaže, koliko pokritij algoritma LRLM sta metriki označili kot neoptimalna. Tretji stolpec kaže število napačno označenih pokritij. Četrti stolpec kaže število pokritij algoritma LRLM, ki uporabljajo zlonamerno pravilo, peti stolpec, pa kaže odstotek povedi, ki jih je metoda odkrila in ki uporabljajo zlonamerno pravilo (idealno naj bi bile odkrite vse takšne povedi).}
\begin{tabular}{|l||l|l|l|l|l|}
  \hline
  Popravek & \# ne-optimalnih & število & \# ne-optimalnih  & \\
  dolžine& pokritij LRLM &napak & pokritij LRLM z& v \% \\
  &  & &zlonamernim pravilom & \\

  \hline
\multicolumn{5}{|c|}{480 testnih povedi (60 povedi vsebuje zlonamerno pravilo)}\\
\hline
ne & 35 & 4 & 31 & $52 \%$ \\
\hline
da & 52 & 4 & 48 & $80 \%$ \\
\hline
\multicolumn{5}{|c|}{1000 testnih povedi (120 povedi vsebuje zlonamerno pravilo)}\\
\hline
ne & 65 & 4 & 61 & $50 \%$ \\
\hline
da & 90 & 4 & 95 & $79 \%$ \\
\hline
\multicolumn{5}{|c|}{2000 testnih povedi (218 povedi vsebuje zlonamerno pravilo)}\\
\hline
ne & 109 & 11 & 98 & $40 \%$ \\
\hline
da & 178 & 10 & 168 & $77 \%$ \\
\hline

\hline
\end{tabular}
\label{fig:t2}
\end{table}

Tabela \ref{fig:t1} kaže opisne rezultate ocenjevanja. Testiranje je bilo izvedeno na množicah 480, 1000 in 2000 povedih španskega dela testnega korpusa.

Tabela \ref{fig:t2} predstavlja rezultate vrednotenja sistema z uporabo nekoliko spremenjenega nabora pravil, ki je vseboval tudi zlonamerna pravila. Namen tega preskusa bi bil ugotoviti, ali je za odkrivanje slabih pravil mogoče uporabiti verjetnostne porazdelitve.

\subsubsection{Raziskava algoritmov za izbiro pravil\index{pravilo}}
\label{section:izbiranajboljsihalgoritmovzaizbiropravil}

Pri uporabi sistema z nespremenjenimi pravili bi obe metriki zamenjali le majhen odstotek pokritij, ki jih določi algoritem LRLM (nekaj primerov na vsako testno množico). Podrobnejši pregled primerov kaže, da so bila alternativna pokritja izbrana zaradi zamenjave spola, ki ima v korpusu večjo verjetnost (v tem primeru moški spol namesto ženskega); ta sprememba prinaša napačne povedi. Rezultati kažejo, da algoritem LRLM v večini primerov najde optimalno pokritje izvornih povedi. Ta rezultat je bilo pričakovati, saj se algoritem LRLM uporablja v sistemih za strojno prevajanje in so pravila napisana zanj.