「焦点:アマゾンがAI採用打ち切り、「女性差別」の欠陥露呈で」

https://jp.reuters.com/article/amazon-jobs-ai-analysis-idJPKCN1ML0DN
https://gigazine.net/news/20181011-amazon-secret-ai-recruiting-tool/
http://ascii.jp/elem/000/001/755/1755527/
https://www.gizmodo.jp/2018/10/amazon-recruitment-ai-aborted-due-to-gender-bias.html
メモ.

事情に詳しい5人の関係者がロイターに語ったところでは、アマゾンは優秀な人材をコンピューターを駆使して探し出す仕組みを構築するため、2014年から専任チームが履歴書を審査するプログラムの開発に従事してきた。

ところが15年までに、アマゾンはソフトウエア開発など技術関係の職種において、システムに性別の中立性が働かない事実を見つけ出してしまった。これはコンピューターモデルに10年間にわたって提出された履歴書のパターンを学習させたためだ。つまり技術職のほとんどが男性からの応募だったことで、システムは男性を採用するのが好ましいと認識したのだ。

逆に履歴書に「女性」に関係する単語、例えば「女性チェス部の部長」といった経歴が記されていると評価が下がる傾向が出てきた。関係者によると、ある2つの女子大の卒業生もそれだけで評価を落とされた。

アマゾンはこうした特定の項目についてプログラムを修正したものの、別の差別をもたらす選別の仕組みが生まれていないという保証はない、と関係者は話す。このため同社の幹部はプロジェクトの先行きに失望し、最終的に昨年初めにチームは解散したという。

おおむね予想通りの結果.

学習データの偏り*1や教師信号に含まれるバイアスを,素直にそのまま学習してしまったのだろう.


これはたまたま発覚したのが分かりやすい男女差別だっただけで,年齢や人種,宗教,学歴,趣味などによる差別もキチンと学習している可能性が高いので,これを廃止する以外の道はなかったんじゃないかな.

学習には過去データを使うしかないから,超保守的なのも問題の一つだな.景気や国際関係の変化は考慮されない.古いデータならインドや中国のエンジニアは「過去実績がないから」を理由にシャットアウトしていたかもしれない.まるで日本企業のようじゃないか.

http://b.hatena.ne.jp/entry/s/jp.reuters.com/article/idJPKCN1ML0DN
  • id:itochan 介護保険の導入のとき、「等級の審査はコンピュータが判断するので完璧です」ってマスメディアを通して言ってたのを思い出す。ばか?と思った記憶。
  • id:junpei191 防衛省が文書公開の可否をAIで判定、って話が以前あったけど、あれを聞いて真っ先に危惧したのがこういうの。本邦では社会的な不正義を温存する理由付けに「AIの判断」が使われそう。
  • id:udonkokko 性別に関わるような部分を黒塗りするなり、データとして利用しないように学習させるんじゃあかんのか。あかんのやろな。
  • id:jap_genocide パラメータから性別を抜いても意味がないと思うぞ。そもそもこれまで応募してきた人の多くが男性という事実に変わりはないのだから、応募者の性別をマスクしたところで、AIは母集団から男性に傾斜加点する。
  • id:perl-o-pal 性別をパラメータから除いたら、名前や経歴から性別を予測する人工知能ができてより性差別的になったでござる、ってなりそう。
  • id:crowserpent 「まさに統計的差別」という感じ。採用人事のように「良し悪しの明確な基準が作れない」ものは機械学習と相性悪いんだよなぁ。

性別情報は削除していたけれど,「アメフト部所属してたら+2だけどチアリーディング部にいたら-5」みたいな話じゃないかな.日本だと「剣道部なら+5だけど,なぎなた部なら-50」とか「MT免許持ってたら+」とか,「(iPhoneじゃなくて)Androidつかってたら+」とか「育児休暇とったら-100」「住所がかぼちゃの馬車なら−100」みたいなのもあるかもしれない.

性別は明記してなくても,性別と相関のある要素を「完全に」排除するのはむずかしい.ましてや人種や国籍や宗教ならもっとだろう.*2 *3


それで産まれた採用AIが従来の人間による採用と互角になるかもしれないけど,Amazonのような企業がAI採用に求めているのは,従来よりも優れた判断力であって,従来と同等の偏見にまみれのAIなら,大金をかけてまで開発する意味がないのだ.*4

特にプログラマは一人の尖った人が数百人の凡人に勝ることもあるから,データ数が少ない天才を取りこぼす他ないAI採用はデメリットがでかいと思う.

  • id:ardarim これはAI悪くない。サンプルとして入力したこれまでの採用傾向が偏っていただけ/ 経歴は技能に無関係で、採用で考慮すべきではないという知見は得られたな
  • id:te2u機械学習面の欠陥」とあったので、仕組み上の根本的な問題が見つかのかと思ったら、学習データの誤りなのか。Microsoft人工知能の差別問題や、Googleの顔認識の問題と同じ。

学習データに「常に」バイアスが含まれていてディープラーニングがそれを愚直に学習してしまうのは,ディープラーニングの基本的特性であり弱点だと思いますよっと.

世の中には完全に公平で中立なサンプルなど存在しないのだ.


匿名ダイアリー「やっとはてなーがAIに疑問を持ってくれたよ」

https://anond.hatelabo.jp/20181012093212

私のイメージでははてな村民のAIに対する認識というのは、
・AIすげえ。超すげえ。
・AIこそが社会を救う。
....

へー.ぼくのしってるはてな村と違う.


というか,ここはハテナ村の中では無かったのか.

ところが、AIが思ったような結果を出さないどころか、自分たちにとって不愉快な挙動を示すこともあるという現実にぶち当たったようだ。

しかもその気づきを得るきっかけがポリティカル・コレクトネスだったというところでいかにもはてなーっぽいなと苦笑した。

ウソばっか. *5

http://b.hatena.ne.jp/entry/s/anond.hatelabo.jp/20181012093212
  • id:ryun_ryun エンジニアの人たちはAIと深層学習・機械学習を混同するなとわりと言い続けて来た気が。一部の知識無い人がずっと勘違いしていただけという印象。
  • id:satomi_hanten ずっと「理解して使えよバカジャネーノ」と言い続けましたが。過去ログ見てもらえば一目瞭然だと思います。技術よりのエントリだと肯定的な意見なんてほとんど見なかったと思うが(特にSIerが絡む案件

激しく同意.

  • id:el-condor そんなに全面的な賛成一色だったっけ。「導入すればどうにかなる」的なオッさんにツッコミ入れてるコメントが多かったように思うけれど。
  • id:sisya 個人的感情としては「AIに期待しすぎ」という若干冷めた目線で、はてなブックマーク的には「わかってない奴がAIAI言い出すから、夢を持たせるな」という論調だったように思う。疑う以前に評価段階に来ていない感覚。
  • id:mobile_neko 一般的なはてなーって、ビッグデータとか機械学習ディープラーニングの延長というか包括した概念としてAIを認識していて、そこら辺は織り込み済みというイメージだが。そんなにバラ色に見ていたか?
  • id:fujii_yuji 機械学習の仕組みをご存知ないようですね。Amazonのは過去データからそうなったのであって、設計者の思想が反映されたのではないでしょ。 > "当然男性優位AIが爆誕する(略)AIは一握りのエリートに偏ったエリート優位AI"

https://anond.hatelabo.jp/20181012235158

完全に想像でしかないが、アマゾンの採用AIは、10年分の採用者の履歴書の中から、学歴や経歴、職務内容、スキルなどの性別に依存しない情報と採用後の実績を学んだのではないか。研究者は馬鹿ではないから、初めから性別情報など使っているとは思えない。

本当に想像だけだと思う.

いかにAmazonの技術者が優秀であろうと,統計情報に本質的に含まれているバイアスの除去などできようはずがない.バイアスが含まれてない統計などないのだから.バイアスの存在を証明することも無理だろう.それができるなら,最初からバイアスのない集団からバイアスのない統計を得て、バイアスをない学習を実行した方が早い.

その現実がポリコレとの間で齟齬をきたした場合に、計算結果としては蓋然性の高い納得できるものでありながらも、不誠実な結果と言われてしまった研究者の悔しさはいかばかりだっただろうか?

何が言いたいのか意味不明.「蓋然性の高い納得できるもの」って一体なんなのか.

技術者ならバイアスのリスクは知ってるし,統計の持つ制限事項だって分かってるだろうさ.*6

女性が優位になる様にアルゴリズムを作り直すときに、

そんなことはしてないだろう.

それをするくらいなら,アファーマティブ・アクションと併用すればいいだけなんだからなんの苦労もないんだ.

ポリコレが科学を歪める

どれほど女性優位のバイアスをかけてもAIが正しい答えを求める以上は男性優位の結果は覆らない、

これ書いた人って,ディープラーニングやAIに幻想持ってるよね.

AIは常に中立で偏見なんて持ってない.計算で出た結果に間違いはないし,自動運転車は事故を起こさないって.「科学」には間違いはないって.この人にとってはピルトダウン人も,きっとどこかにいたんだろう.

でも現実はそうじゃない.

東洋経済「天才プログラマーが予測する「AIが導く未来」」

https://toyokeizai.net/articles/-/185678
古い奴だが,

ところがディープラーニングを使うと、何が「態度が悪い」ことなのかもコンピュータで判断できるようになるんです。態度が悪い人ってこんな感じだよね、というコンセンサスがデータとして取れる。つまり、「態度が悪い」という指摘が、ある種客観的な指標でもって示せるわけですよ。そうなると、「お前の態度が悪い、とAIが言っている」と言えるので、問題と人間関係を切り分けられる。AIに責任をなすりつけられるのです。素晴らしいですね。

注意されるほうも、「僕の態度のどこが悪いのですか」と聞き返したら、こいつ反抗してやがる、と誤解されがちでした。そういうのもなくなって、「AIが態度を悪いって言っているから、どう改善するか一緒に考えようか」となる。

へー.

技術記事が駄目なのも東洋経済クオリティ.


AERA「AIは中立ではなく「女性嫌い」 検証結果で見えてきた負の側面」

https://dot.asahi.com/aera/2019021900059.html

AIが女性嫌いなんじゃなくて.DeepLearningが教師信号に含まれる人事部の好みを忠実に反映しただけなんだが.人間の責任転嫁ヒデェ.

http://b.hatena.ne.jp/entry/s/dot.asahi.com/aera/2019021900059.html
  • id:timetrain 元になるデータがそうだからそうなる
  • id:imatac 「うちがAI使って人材配置とか評価とかやったら過去の傾向から年上の人を昇進させるべきって結果になっちゃいますね笑」って言う大企業の人事部長に会ったことある


朝日新聞 「AIが男女格差を広げる? 津田大介さんが語る落とし穴」

https://www.asahi.com/articles/ASM363JPYM36UPQJ002.html
追記.

拡大はしないよ.今まで通りに固定化はされても.

悪いのは入力データを作った人間の持つ差別意識であって,AIはそれをそのまま学習しただけ.人間が持つ差別意識が全てなのに,AIに責任転嫁するなよ.

男女平等が進んだようにみえて、実はそうではなかったことが明らかになったのが

日本で男女平等が進んだ事なんてあったか?何を根拠にそんなことを主張しているのだろう.


そもそも津田大介って誰よ.深層学習の専門家でもなんでもないのに,なんでコメントしてんの?

itmedia「AI採用は「書類選考まで」なら許せる――転職希望者の5割」

https://www.itmedia.co.jp/news/articles/1903/22/news102.html
https://headlines.yahoo.co.jp/hl?a=20190322-00000056-zdn_n-sci
追記.まだこんなムダなことやってるのか.

転職希望者の56.0%が、採用活動にAIを導入するなら「書類選考まで」が適切だと回答した。理由は「公平な審査が行われると思う」「一番候補者が多い工程だから担当者の負担を減らせる」といった公平性や効率化を挙げる意見の他、「人の魅力は対話で判断されるべき」「一緒に働く仲間は、実際に会って判断するべき」という声もあった。

 AIを「導入するべきではない」という意見(15.3%)もある。「人生を機械に判断されるのは嫌だ」「採用する人材の多様性が失われる」などの懸念の声があり、ワークポートは「AI採用が肯定的に捉えられるためには、統計的処理精度の向上や信頼度の向上に加え、それらを求職者にどう理解させるかが課題になる」と分析している。

ここでいう「AI採用」なんて,「女性だったら不採用」「Fラン大は不採用」「30歳以上は不採用」みたいな基準で単純作業する人事部並の,いわゆる「人工無能」だろ?

この結果は「転職者の約半数がAIについてよく分かってない」というだけの話だと思う.

*1:「応募して採用された人」のデータは把握できても,「不採用の人」や「応募しなかった人」のデータはもってない.たとえば応募しなかった理由が「その企業の人事は女性を採らないから応募するだけムダ」である場合は,人間の偏見をそのまま学習することになる.

*2:囲碁だと「勝ち負け」が明確に定義できるから,機械学習にとっては「簡単」な分野なのだ.機械翻訳の方が正誤の判定がむずかしく,人の秘められた才能みたいなのはさらに難しい.肺ガン診断の場合は写真だけから判断するのは難しくても,実際に手術する,もしくは放置して死ぬのを待てば真相を知るのは容易い.さらに過去の膨大な診察データがあるから,各々の写真の人が実際にガンだったかどうかというのを後知恵で判断するのは難しくない.

*3:Amazonで面接うけてるのに,米国の大学ならともかくインドの大学だったらインド出身って推測されるだろう.まだインドが台頭するまえのデータを使って学習すれば,インド人エンジニアを自動的に不採用にするAIのできあがりだ.DHHなんてコペンハーゲン・ビジネス・スクールだそうだけど,そんな経歴持ってる人はAmazonに一体何人いることか.

*4:ある意味ではもっとヒドイ.過去の『成功事例』に囚われて,今となっては時代遅れとなった昔ながらのやり方に固執し続ける,堅物の老害みたいなAIになるぞ.
囲碁やガン細胞なら100年たっても仕様変更は発生しないが,採用なんて数年で一変するものに古いやり方は通用しないだろう.それこそトランプ政権誕生で大騒ぎだ.

*5:統計的に学習する高度なAIが実現すれば,人間の存在を認識することなく,人間に対して敵対的とも言える行動を取りうるという話は「未来の二つの顔」時代からあるんでね.SF的にもAI研究者的にも古典だろうな.

*6:いくら文系でも「確率統計」くらいは必修科目にして欲しいなあ.