グーグルグラスごいすー！

もうスキャナーいらなんじゃないの！

通訳翻訳ジャーナル 機械翻訳２０２０ (English version)

I have written an article.

Magazine: 124 pages.
Published by: Icarus Publishing (2020/5/21)
Language: English
ASIN: B086PMZP4Z
Release date: May 21, 2020
Product Dimensions: 25.7 x 21 x 0.7 cm
Price: 1320 yen

I think you can find out more about the trends in machine translation in the year 2020 by reading this book.

Today's post was also post-edited using DeepL.

通訳翻訳ジャーナル 機械翻訳２０２０

記事を執筆いたしました。

• 雑誌: 124ページ
• 出版社: イカロス出版 (2020/5/21)
• 言語: 日本語
• ASIN: B086PMZP4Z
• 発売日： 2020/5/21
• 商品の寸法: 25.7 x 21 x 0.7 cm
• 価格：１３２０円

２０２０年の機械翻訳のトレンドについては、この一冊を読めば分かるのではないでしょうか。

How does the evaluation of machine translation take place?

I will write about how specifically we are assessing the performance of machine translation. We're not developing MT, we're just users of MT. Therefore, our evaluation method is very different from the developer's evaluation method. I write about how to internally evaluate whether a particular MT can be used in practice by a translation company.

For example, when a translation company evaluates MT, the company evaluates the following

[MT evaluation items].

1. omission/addition 
2. incorrect translation 
3. grammatical error 
4. fluency
5. inconsistency
6. term appropriateness

You can rate other items, but we don't rate any more than that. It's too time consuming and too complicated. In fact, I think it's enough to narrow it down to the following three items

[Simple MT evaluation items].

1. omission/addition 
2. incorrect translation 
3. grammatical error

The reason I narrowed it down to these three items is that I think it's wrong to expect the following three items from MT in the first place.

1. fluency
2. inconsistency
3. term appropriateness

Therefore, there is no problem in excluding these three items when making an evaluation.

* Note that today's article was translated using DeepL.

機械翻訳の評価はどのように行われるか

具体的にどのように機械翻訳の性能を評価しているかについて書きます。我々は、MTを開発しているわけではない。MTのユーザに過ぎません。開発する場合の評価方法とは大きく異なります。あくまでも翻訳会社が実務で使用に耐えることができるかどうかを社内で評価するの方法について書きます。

例えば、翻訳会社は、MTを評価する際、以下のような項目を評価します。

【MT評価項目】

1. omission/addition／訳抜け及び付け足し 
2. incorrect translation／誤訳 
3. grammatical error／文法の誤り（係り受けの誤りも含む） 
4. fluency／流暢さ
5. inconsistency／用語の不統一
6. term appropriateness／適切な用語の選択

これ以上の項目についても評価できますが、弊社では、これ以上の項目は評価しません。時間がかかり過ぎるし、複雑すぎるからです。実際、３項目程度に絞れば十分だと思います。

【簡易版MT評価項目】

1. omission/addition／訳抜け及び付け足し 
2. incorrect translation／誤訳 
3. grammatical error／文法の誤り（係り受けの誤りも含む）

なぜならそもそもMTに以下の項目を期待する方が誤っていると思います。

1. fluency／流暢さ
2. inconsistency／用語の不統一
3. term appropriateness／適切な用語の選択

ですのでこの３項目は、評価をする場合、除外しても問題ないでしょう。

新しい機械翻訳サービスを検証してみました。

新しい機械翻訳サービスが開始されたそうです。デモ版を使わせていただいて検証してみました。

【検証方法】

• 各翻訳者が自分で選んだドキュメントをシステムにアップロードする。
• そのドキュメントに対して機械翻訳を走らせる。
• その結果をGoogle translate と比較及び検証する。
• 様々なオプションを試してみる。

【コメント】

• カスタマイズ化されているとは言え、基本エンジンの性能が高くない。Google Translate や DeepLの性能より劣る。
• 化合物名と実験の部の処理に不満があり。
• 請求項の構造もしっかり理解できていた。Google Translateより優れていると思う。
• 短い文（請求項）は、さすがに精度が良かった。

【各人の評価】

• ５０～８０点までバラバラでした。

点数は、各人バラバラでした。評価する人や評価するテキストにより採点は大きく変わるようです。今後、様残なエンジンや様々なMTサービスが現れると思います。テキストや内容により使い分けるといいかもしれませんね。今後も新しいサービスが出てきたら検討していきたいです（結果がよかったら是非導入させていただきたいです）。