How does the evaluation of machine translation take place?

I will write about how specifically we are assessing the performance of machine translation. We're not developing MT, we're just users of MT. Therefore, our evaluation method is very different from the developer's evaluation method. I write about how to internally evaluate whether a particular MT can be used in practice by a translation company.

For example, when a translation company evaluates MT, the company evaluates the following

[MT evaluation items].

1. omission/addition 
2. incorrect translation 
3. grammatical error 
4. fluency
5. inconsistency
6. term appropriateness

You can rate other items, but we don't rate any more than that. It's too time consuming and too complicated. In fact, I think it's enough to narrow it down to the following three items

[Simple MT evaluation items].

1. omission/addition 
2. incorrect translation 
3. grammatical error

The reason I narrowed it down to these three items is that I think it's wrong to expect the following three items from MT in the first place.

1. fluency
2. inconsistency
3. term appropriateness

Therefore, there is no problem in excluding these three items when making an evaluation.

* Note that today's article was translated using DeepL.

機械翻訳の評価はどのように行われるか

具体的にどのように機械翻訳の性能を評価しているかについて書きます。我々は、MTを開発しているわけではない。MTのユーザに過ぎません。開発する場合の評価方法とは大きく異なります。あくまでも翻訳会社が実務で使用に耐えることができるかどうかを社内で評価するの方法について書きます。

例えば、翻訳会社は、MTを評価する際、以下のような項目を評価します。

【MT評価項目】

1. omission/addition／訳抜け及び付け足し 
2. incorrect translation／誤訳 
3. grammatical error／文法の誤り（係り受けの誤りも含む） 
4. fluency／流暢さ
5. inconsistency／用語の不統一
6. term appropriateness／適切な用語の選択

これ以上の項目についても評価できますが、弊社では、これ以上の項目は評価しません。時間がかかり過ぎるし、複雑すぎるからです。実際、３項目程度に絞れば十分だと思います。

【簡易版MT評価項目】

1. omission/addition／訳抜け及び付け足し 
2. incorrect translation／誤訳 
3. grammatical error／文法の誤り（係り受けの誤りも含む）

なぜならそもそもMTに以下の項目を期待する方が誤っていると思います。

1. fluency／流暢さ
2. inconsistency／用語の不統一
3. term appropriateness／適切な用語の選択

ですのでこの３項目は、評価をする場合、除外しても問題ないでしょう。

新しい機械翻訳サービスを検証してみました。

新しい機械翻訳サービスが開始されたそうです。デモ版を使わせていただいて検証してみました。

【検証方法】

• 各翻訳者が自分で選んだドキュメントをシステムにアップロードする。
• そのドキュメントに対して機械翻訳を走らせる。
• その結果をGoogle translate と比較及び検証する。
• 様々なオプションを試してみる。

【コメント】

• カスタマイズ化されているとは言え、基本エンジンの性能が高くない。Google Translate や DeepLの性能より劣る。
• 化合物名と実験の部の処理に不満があり。
• 請求項の構造もしっかり理解できていた。Google Translateより優れていると思う。
• 短い文（請求項）は、さすがに精度が良かった。

【各人の評価】

• ５０～８０点までバラバラでした。

点数は、各人バラバラでした。評価する人や評価するテキストにより採点は大きく変わるようです。今後、様残なエンジンや様々なMTサービスが現れると思います。テキストや内容により使い分けるといいかもしれませんね。今後も新しいサービスが出てきたら検討していきたいです（結果がよかったら是非導入させていただきたいです）。

話題（？）のDeepLを試してみました！

話題のDeepLが日本語も使用できるようになったそうです。早速検証してみることにしました。

試した言語ペア：日英
試したテキスト：大阪市役所のお知らせ文
評価：４０／１００
コメント：そもそも「３密」なんて今の時点では、機械翻訳は翻訳できないと思います。できなくても仕方ないと思います。精度は、プロの翻訳者（またはポストエディタ）でないと訳文に仕上げることはできないレベルだと思います。

【追記】
さきほど別のテキストで試してみると結果がものすごく良かったです。テキストの内容により出力結果が大幅に異なるようです。

試した言語ペア：英日
試したテキスト：有機化学論文
評価：９０／１００
コメント：＜省略＞大学の研究室で、英語が苦手な学生が大量の論文を読む場合ならば、そのまま使ってもかまわないと思われるレベルです。＜省略＞これが自然科学系論文の特徴なのかもしれません。

試した言語ペア：英独
試したテキスト：特許明細書
評価：９０／１００
コメント：英→独の場合は精度が良いです。しかし、特許の翻訳に試してみたところ、請求項の特有の構成・表現はまだ十分に反映されていません。

次回のMemsource のアップデートで、DeepLがデフォルトのMTエンジンとしてMemsource Translate に搭載されると聞いています。Google Translate, Microsoft Translator, DeepL のうち、結果が良い翻訳が人工知能により選択されるようになれば、今よりもポストエディットの負担が減るのではないかと思います。

『機械翻訳2020』（仮）のアンケートに回答しました。

『通訳翻訳ジャーナル』（イカロス出版さん）夏号に掲載される予定の特集タイトル『機械翻訳2020』（仮）に対してアンケートを答えました。今回は、「分野別動向　特許＋MTの場合」（仮題）というタイトルだそうです。MTの導入や活用について、医薬、金融、特許など、分野別に専門の翻訳会社に対するアンケートの回答が掲載される予定です。

何社ぐらいアンケートに参加されているのかは存じ上げませんが、様々な分野を専門とする翻訳会社さんがご意見等が読めて面白いのではないかと思います。MTを活用している会社もしてない会社も独自のお考えがあると思うので僕も早く読んでみたいなと思います。ちなみにアンケートに答えたので１冊いただけることになっています。

日英／英日のみならず日独／独日に関しても回答しました。

発売は、５月２１日だそうです。

機械翻訳は、公報訳に使え！

今更ながらですが、機械翻訳は、公報訳に使用するのがベストだと思います！出願明細書の場合、クライアントさんか様々な指示があって、それを反映するのに手間がかかります。しかし公報の場合、訳し方には（基本的に）それほど指示はないはずなので機械翻訳を使うとす～いす～い進みます。

スタッフ全員が在宅勤務で翻訳業務を行うには？

リモートで翻訳ができるシステムを使って翻訳業務を行えば、これまで通りの通常勤務が可能です。

プロジェクトマネージャーも事務所に勤務する必要はありません。プロジェクトマネージャーも在宅勤務で問題ありません。

必要なツールは、

1. クラウド翻訳テクノロジー
2. コミュニケーションツール
3. オンラインビジネスオフィスツール

ぐらいです。

これらさえあれば全員が在宅勤務になっても業務に支障は全くないと断言できます。

＜MT-translated English translation follows＞

How do all staff translate from home to work?

If you perform translation work using a system that can translate remotely, you can continue working as usual.

The project manager also does not need to work in the office. The project manager works from home without any problems.

The necessary tools are:

1. Cloud translation technology
2. Communication tool
3. Online business office tools

If you have these, you can be assured that all employees will be able to work from home without any interruption to company management.

Stay home and work as usual!