変換候補「ゴキブリイモタ」について

[faketanaka]

「ごきぶり」と入力すると、予測候補に「ゴキブリイモタ」が出ます。
この言葉について調べたところ、5ちゃんねる掲示板で用例があるようです。しかし、どうも荒らしが連呼しているに過ぎず、特定コミュニティにおけるインターネットスラングとして定着しているようには思えません。ニコニコ大百科やpixiv百科事典といったインターネットの文化に詳しい、インターネットスラング辞典としての性質を有するウェブサイトにも記載はありません。

いい加減、インターネットの言葉をクローラーで収集し、人間が精査することなくホイホイ辞書に突っ込むのはやめませんか。以前、Mozcの辞書には実在の著名人を中傷する文言すらありました。それを問題視するイシューが立てられましたが、 @hiroyuki-komatsu の返答は「ソースコードには含まれているが、変換候補に出るわけではないので問題ない」という良識を疑う見解です。Mozcが実在の人物を中傷し、社会問題となるのも時間の問題でしょう。

参照: #422

[faketanaka]

#1337
障害者を中傷するスラングが変換候補の上位に出るから問題だという指摘に対しても、 @hiroyuki-komatsu は「NSFW用フォーム作りました」というどう考えてもズレているとしか思えない返答です。「ガイジ」というワードを非公開のフォームに押し込めて、Mozcの辞書をどう作っていくかという議論に蓋をしているようにしか思えません。

[yukawa]

まず、Issue ではなく Discussion に投稿していただきありがとうございます。Discussion であれば複数の論点について個別にツリーを展開することができ、こちらとしても大変助かります。

いい加減、インターネットの言葉をクローラーで収集し、人間が精査することなくホイホイ辞書に突っ込むのはやめませんか。

そうですね、個人的にもMozcの辞書は安全側に倒していくのが良いのではないかと思います。
今度Komatsuさんに会う機会があるので、今後のMozcの辞書をどう作っていくかについて相談してみます。

ご指摘のエントリを削除した方が良いだろうという点についても同意します。

私自身は既にGoogleを離れているのでプルリクエストの形でしか貢献できませんが、オープンソースになっているデータの範囲内、および自分がこの作業のために無給で働いてよいと思える労働の範囲内であれば何らかのお手伝いはできるかと思います。

[yukawa]

それを問題視するイシューが立てられましたが、 @hiroyuki-komatsu の返答は「ソースコードには含まれているが、変換候補に出るわけではないので問題ない」という良識を疑う見解です。Mozcが実在の人物を中傷し、社会問題となるのも時間の問題でしょう。

こちらについては、過去の #404 におけるメンテナの回答内容について、実際の原文とは大きく異なる不正確な引用が行われており、極めてミスリーディングとなっている点について指摘させていただきます。

あなたはメンテナの見解として「ソースコードには含まれているが、変換候補に出るわけではないので問題ない」と記述されていますが、実際の #404 の回答にそのような記載はありません。実際の原文は以下の通りです。

Thank you for the reporting. We will check the logic of the automatic data generation to reduce unnecessary data.
These files are internal data which are not intended to be used directly. It may contain any character sequences.

ここでメンテナは「不要なデータを減らすため、自動生成のロジックを確認する」と明言しており、問題を容認して「問題ない」と発言した事実は一切ありません。

さらに歴史的な事実として、当該Issueで指摘された不適切な用語は、上記のコメントから約1か月後の2017年3月22日に行われたコミットにてすべて削除されています。この事実は、メンテナが問題を軽視したというあなたの主張と完全に矛盾するものです。

システム構造上の事実説明（「直接使用されることを意図した内部データではない」）を曲解し、あたかも「だから問題ない」と開き直ったかのように独自の解釈を加え、さらにその後の実際の修正対応を無視して批判を展開することは、事実関係の重大な誤認です。

意図的であったかどうかにかかわらず、このような不正確な言説はコミュニティに不要な混乱と不信感を招き、建設的な議論を著しく阻害します。過去の議論を参照する際は、事実に基づいた正確な引用を行っていただきますようお願いいたします。

本件に関する誤った記述の訂正を求めます。

[faketanaka]

いくら著名人であるとはいえ、実在の人物を侮辱する文言の修正に1か月もかかっているのは怠慢では？問題の重大度を軽視している証拠でしょう。
そもそもインターネットの語彙を収集して人間がチェックしなかったことに問題があると言わざるを得ません。ちゃんとチェックして弾いていれば未然に防げました。

[yukawa]

いくら著名人であるとはいえ、実在の人物を侮辱する文言の修正に1か月もかかっているのは怠慢では？問題の重大度を軽視している証拠でしょう。
そもそもインターネットの語彙を収集して人間がチェックしなかったことに問題があると言わざるを得ません。ちゃんとチェックして弾いていれば未然に防げました。

改めて要求します。

あなたはメンテナの見解として「ソースコードには含まれているが、変換候補に出るわけではないので問題ない」と記述されていますが、実際の #404 の回答にそのような記載はありません。実際の原文は以下の通りです。

Thank you for the reporting. We will check the logic of the automatic data generation to reduce unnecessary data.
These files are internal data which are not intended to be used directly. It may contain any character sequences.

ここでメンテナは「不要なデータを減らすため、自動生成のロジックを確認する」と明言しており、問題を容認して「問題ない」と発言した事実は一切ありません。

この誤った記述について、訂正を求めます。

[faketanaka]

「These files are internal data which are not intended to be used directly. It may contain any character sequences.」を機械翻訳にかけてみましたが、これは「直接使用することを意図していない内部データです。任意の文字シーケンスを含む場合があります。」と受け取れます。私はこれを「直接使用することを意図していない内部データであるから、（不適切であっても）任意の文字列が含まれていても問題ない」と解釈しました。というか誤解されたくないのであればそもそも日本語で話すべきです。ここは日本語入力システム開発プロジェクトなのですから、ここで制作されたプログラムの使用者はふつうに考えれば日本語話者であるはずです。日本語話者のコミュニティで英語にこだわる理由はなんですか？英語かぶれ？英語帝国主義？

[yukawa]

本来のトピックとはずれますが、この場をお借りして @faketanaka さんに質問があります。以下の Issue は @faketanaka さんの別アカウントから行われたものでしょうか?

• このレポジトリに寄せられた情報を不適切な形で利用していませんか？ #1358

これに関しては、前々から気になっていたのですが、ご本人に聞いてみるのが最も手っ取り早いと思うので改めて質問させていただいた次第です。

[faketanaka]

本来のトピックとはずれますが、この場をお借りして @faketanaka さんに質問があります。以下の Issue は @faketanaka さんの別アカウントから行われたものでしょうか?

* [このレポジトリに寄せられた情報を不適切な形で利用していませんか？ #1358](https://github.com/google/mozc/issues/1358)

これに関しては、前々から気になっていたのですが、ご本人に聞いてみるのが最も手っ取り早いと思うので改めて質問させていただいた次第です。

いいえ、そのディスカッションをオープンした人物は私ではありません。

[yukawa]

了解しました。ご回答ありがとうございます。

[tats-u]

Many Katakana words are included in the dictionary. They are collected as unknown words during the text processing over the Web data.

個人的にはこれで欧米語由来のカタカナ語に紛れ込んだのではないかと疑っています。IPAdicにこんなものが紛れ込んでいるとは到底思えません。ひとまずdictionary_filter.tsv行きですね。
本気で対策する場合は、GeminiやGemmaの軽めのもの（Flash Lite・Nano。3.5 Flashは焼け太りすぎ）で明らかに不適切かどうかを判定させるしかないと思います。いくらAIが持っている知識が浦島太郎とはいえ、ゴキブリで始まる悪口を意図した合成語を見逃すとはあまり思えません。 確率で逃す・誤検知する場合があるのでダメ？