機械翻訳の評価はどのように行われるか

具体的にどのように機械翻訳の性能を評価しているかについて書きます。我々は、MTを開発しているわけではない。MTのユーザに過ぎません。開発する場合の評価方法とは大きく異なります。あくまでも翻訳会社が実務で使用に耐えることができるかどうかを社内で評価するの方法について書きます。

例えば、翻訳会社は、MTを評価する際、以下のような項目を評価します。

【MT評価項目】

1. omission/addition／訳抜け及び付け足し 
2. incorrect translation／誤訳 
3. grammatical error／文法の誤り（係り受けの誤りも含む） 
4. fluency／流暢さ
5. inconsistency／用語の不統一
6. term appropriateness／適切な用語の選択

これ以上の項目についても評価できますが、弊社では、これ以上の項目は評価しません。時間がかかり過ぎるし、複雑すぎるからです。実際、３項目程度に絞れば十分だと思います。

【簡易版MT評価項目】

1. omission/addition／訳抜け及び付け足し 
2. incorrect translation／誤訳 
3. grammatical error／文法の誤り（係り受けの誤りも含む）

なぜならそもそもMTに以下の項目を期待する方が誤っていると思います。

1. fluency／流暢さ
2. inconsistency／用語の不統一
3. term appropriateness／適切な用語の選択

ですのでこの３項目は、評価をする場合、除外しても問題ないでしょう。