翻訳評価分析のご依頼を受けて

先日、懇意にしている企業から新たなご依頼を受けました。「外注に出した翻訳物」の評価です。私がかかわっている部署以外の外注翻訳物の出来がどうも信頼できないと。社内翻訳者がその成果物を拝見して疑問に思う項目について客観的にどう思うかという相談でした。

翻訳者側からよく聞こえてくるのは「納品後、クライアントがごく些細なニュアンスについてケチをつけてきた」という声ですが、今回の企業や私がお世話になっている担当者はとても良心的で丁寧な仕事をする人たち。「よほどのことなのかな」と想像しました。

そのお困り訳文ファイルが手元に届きました。社内チェッカーのコメントも参考にしながら訳文全体を見て思ったこと。訳文の品質もすばらしいとは言えず社内翻訳者から間違い指摘をされている箇所がここそこに見られましたが、何と言っても私が今までで初めて……と驚いたのが「単位の間違い」数か所と「ハルシネーション」数か所……を見つけたことでした。ハルシネーションとは生成AIを使うと出てくる顕著な特徴で、原文にない内容がまるっと生成結果に紛れ込んでいることです。実際、社内チェッカーから「この文章は原文にありませんがなぜ入っていますか?」という指摘が。さらに、まるっきり同じ訳文が2回繰り返されている箇所もあるなど。

むうう。これはちょっとまずいぞと。それで社内担当者に「MTPE(機械言語処理+ポストエディット)で依頼しましたか?」と確認。帰ってきた答えは「いいえ、人間翻訳で依頼しました」。頭を抱えました。どう見てもこの訳文を見れば品質もイマイチ、誤訳もここそこ、細かい単複の理解ができていない、訳抜け、ハルシネーション、単位の間違い(単位が千倍またはまったく違う単位になっている)……。どうみても人間翻訳とは見えません。百歩譲って嘘言ってMT使ったとしても翻訳会社側で翻訳者から上がってきた原稿をしっかりチェックしていればこんなことにはなっていないはずです。おいおいと突っ込みを入れたくなりました。

私が下した結論はD。つまり、厳重注意ののち今後はこの翻訳会社および翻訳者からは距離をとることをお勧めしました。何が一番よくないか。クライアントの信頼を裏切ったことです。いったん依頼を引き受けたなら内容が難しかったとしても適当に流してはいけないですし、翻訳者が至らない点は申し送りをして翻訳会社内でしっかりケアをしてクライアントに納品すべきです。それなのになぜこんなに穴がたくさんある結果がクライアントの元に納品されたのか。そこをしっかり反省していただきたいものです。

今回のご依頼を機会として、クライアント企業の担当者さんに生成AI言語処理の特徴をしっかりお伝えしました。 ①ハルシネーション発生、②数字に弱い、③訳抜け多い、④否定に弱い、など。私がひとつひとつ問題の訳文を参照して「ほら、ここは①に該当するでしょう。こちらは②に該当です」とご説明するたびに担当者さんは納得顔で頷いてくださいました。いや、私も翻訳者の立場として、誰か知らない翻訳者翻訳会社がやったこととはいえ、こんな結果を実際に目にするとは思いませんでした。

今回ご依頼を受けたクライアント企業は「世間では膨大な量が瞬時にこなせるとの評判ですが、うちは正確な結果が欲しいので使ってきませんでした。あらためて例示の上説明くださり納得です。AI言語処理や機械言語処理は使いません」との結論に至ったようです。

最後に。このエッセイで翻訳会社が悪いと属性でまとめているのではありません。責任と誠意をもって対応している翻訳会社もあります。良い成果物にするには、翻訳会社、クライアント、翻訳者、チェッカー全員が自分の工程に責任をもって臨んでほしいです。目標に向けて自分の工程責任をまず果たし、都合良いことだけ主張してはいけません。この教訓は翻訳周囲だけに限りません。どんなプロジェクトでも同様です。かかわる全員が目標に向けて自分の役割を認識して責任を果たすことでしか、完璧な結果や成功は得られません。

*当カレッジでは今回のように、社内で検討できかねるような内容の客観的診断などご相談にも応じております。ご相談はこのサイトのお問い合わせから内容を 簡単にご記入の上送信願います。