アップルカードが男女差別

https://www.bloomberg.co.jp/news/articles/2019-11-11/Q0S3YQ6K50XT01
https://www.bbc.com/japanese/50370810
https://www.gizmodo.jp/2019/11/apple-card-algorithm.html
https://www.gizmodo.jp/2019/11/apple-card-limitbreak.html
https://www.bloomberg.co.jp/news/articles/2019-11-13/Q0TVU8T0AFB601
https://headlines.yahoo.co.jp/hl?a=20191113-11604360-bloom_st-bus_all

 ウォズニアック氏は、自分と妻は銀行やクレジットカードの口座を共有しているにもかかわらず、アップルカードの自分の利用限度額は妻の10倍だと明らかにし、他の金融機関では自分と妻は平等に扱われているとも指摘。

  アルゴリズムに明らかに欠陥がある」とし、「非常に多くの人は『技術は敬愛するが、制御がなっていない』とぼやくだろう。これはまさに今回の件に当てはまると思う」と語った。

やっぱ深層学習で男女差別的なデータを学習した奴かな.

  アップルカードの問題は、ハイテク起業家のデービッド・ハイネマイヤー・ハンソン氏が7日以降のツイートで、自身に与えられた利用限度額が同氏の妻の20倍だったことに疑問を呈したのがきっかけで明らかになった。ニューヨーク州金融サービス局(DFS)は調査開始を発表している。

あの DHH か.なるほど.そら彼が言えば大ニュースになる.


https://b.hatena.ne.jp/entry/s/www.bbc.com/japanese/50370810



  • id:quick_past システムのバグは開発側にあるわけだけど、AIの場合なぜ擁護が湧くのだろうか?
  • id:TakamoriTarou 「コンピュータがアルゴリズムに従ってるから公平だ」って言うのは「ルールに従っているから公平」ってのと同じだよなあ…。まずいと言われて「レシピに従ってるからおいしい」と反論するみたいな。
  • id:nowa_s 男性は身長が高い方が高い地位につきやすく、収入も高くなりやすいって調査結果があるけど、購入した洋服や靴のサイズとかから身長を判定されて、カードの限度額を変えられたら嫌だよね
  • id:yuzumikan15 直接関係ないけど、米国では囚人を仮?釈放していいかを過去の犯罪者の再犯率から機械学習してるとこがあり、どうしても黒人スラム街出身者は仮釈放されにくくなるとテレビでやっていた。教師データに何使うかよね。



  • id:marmot1123 食わせるデータに男女の別や名前等を入れずに判定させれば良いのではなかろうか。そう簡単ではない?
  • id:differential 与信の情報から性別をなくしたらダメなん?アファーマティブは別建てで考えるとして/性別で年収の多寡傾向はあるだろうけど、性別で精算や返済のトラブルの差とかあるのかな。

それが違うんですよ.

Amazonの採用AIの事例で報告済み.男女という項目を消したところで他のデータから性別との相関がとれるから,間接的に女性の可能性を推測し,それを元に教師信号に含まれる男女差別を再現したようだ. *1

Apple Cardはクレジットカード中でも最も立ち上げに成功」提携先のゴールドマン・サックスCEO発言

https://japanese.engadget.com/2019/10/17/apple-card-ceo/
少し前の記事より,

もっともApple Cardの審査基準に関しては、米国では通常なら落とされてもおかしくないクレジットスコア(その人の信用を測る目安)600台でも承認されたとの報告もありました。もともと投資銀行であるゴールドマンにとって消費者金融は新たな領域であり、アップルと提携したのも莫大な数のiPhoneユーザーにすそ野を広げる狙いと見られていることからも、ひとまず審査基準は甘くして多くの顧客の取り込みを優先していると思われます。


サブプライムローンと同じ匂いが.キナ臭くなってきたなあ.

ディズニー 「 白雪姫 」 毒リンゴ 貯金箱 SAN2885

ディズニー 「 白雪姫 」 毒リンゴ 貯金箱 SAN2885




追記

Appleカードによる愛妻の限度額差別にRails作者が怒りツイ→ウォズ降臨→州が調査へ」

https://www.gizmodo.jp/2019/11/apple-card-algorithm.html

さっそくAppleに問い合わせてみたところ、窓口は「アルゴリズムのことはわからない」の一点張りで、異議申し立てプロセスも用意されていなかった模様です。

Appleカードの限度額男女差別問題、カード発行元のゴールドマンサックスが限度額見直しへ」

https://www.gizmodo.jp/2019/11/apple-card-limitbreak.html

発表文の中でHalio氏は、(限度額)決定に性別を考慮したことはない、Appleカードの審査過程では性別や既婚・未婚などのユーザー情報はなかったとし、男女差別は一切ないとまず強調。その上で、より公平な査定を約束すると語っています。また、Appleカードの限度額に夫婦間で差がでた理由に、結婚前を含む個人のクレジットカードヒストリーが影響したケースもあると説明しています。

Appleカードはローンチ後、利用限度額の見直しは基本受け付けていなかったものの、今回の件を踏まえ、査定が適切ではないと感じたユーザーは見直しを申請できるようになるとのこと。iPhoneアプリのWalletアプリから、カスタマーサポートを通じて見直し申請をすることができます。

「AI、1970年代の問題に直面-アップルカードの性差別疑惑が示す」

https://www.bloomberg.co.jp/news/articles/2019-11-13/Q0TVU8T0AFB601

  今回の問題の背景の一つには、アップルカードでは家族間での口座共有が認められていないことがあり、これが家族間で与信限度額が大幅に異なる事態を引き起こしているのかもしれない。クレジットカード会社の多くは家族間での口座共有を認めており、ゴールドマンはこの選択肢の提供を検討していると説明した。

  またゴールドマンは、与信限度額が顧客の予想よりも低い場合は与信判断を見直すとツイッターで表明。「与信審査は性別などの要因に基づいて行ったことはなく、これからも決してない。実際、アップルカードの申請過程で、申請者の性別や配偶者の有無などの情報は分からない」とコメントした。

うーん,だとすると今回のは性差別や結婚歴による差別を回避するために既婚/未婚の情報をインプットしてないことが,裏目にでたかもしれないわけか.DHHがビッグネームなのに,彼と結婚しているという情報抜きで査定すると,そりゃこうなっても不思議はない.金持ちの女性と結婚した貧乏男性がいたら,この逆になるかぜひ検証してもらいたいものだ.

これが原因なら審査に問題はあっても「男女差別」はなかったかもしれない.少なくとも故意には.

それにしてもお粗末な話.

  今回の件でゴールドマンは、金融で最も扱いが難しい法律の一つである信用機会均等法と真正面から向き合うことになった格好だ。これは米国で1970年代に成立した法律で、与信判断において性別や既婚・未婚、人種や肌の色、宗教、出身国などによる差別を禁止している。

Apple Cardに発覚した“性差別”問題から、「性別を見ないアルゴリズム」に潜むリスクが浮き彫りに」

https://wired.jp/2019/11/22/the-apple-card-didnt-see-genderand-thats-the-problem/

  • 第一に、性別を「分析対象としないように」プログラムされている場合でも、アルゴリズムが性差別を行うことは完全に可能である。
  • 第二に、性別などの重要な項目を意図的に分析しないようにすると、企業がその変数に関するバイアスを発見・防止したり、逆バイアスをかけたりすることを困難にするだけである。

第一の点については、より明白である。性別を分析対象としないアルゴリズムであっても、性別と相関するデータを取り込んで利用する限り、女性に対するバイアスが生じてしまう可能性がある。このような「代理変数」がさまざまなアルゴリズムで望ましくないバイアスを引き起こすケースがあることは、多くの研究で証明されている。

ある研究によると、使用しているパソコンがMacWindows PCかといった単純なデータから、信用力を予測できることが示されている。自宅の住所のようなデータが、人種の代理変数として機能する可能性もある。同じように、買い物をする場所は性別と重なる情報であると考えられている。

このレポートでは、アルゴリズムに入力されるデータだけでなく出力も調査することで、女性と男性の扱いが概して異なるか、男女間のエラー率に違いがあるかを確認することが推奨されている。

だが、性別がわからなければ、こうしたテストを実施するのは極めて困難になる。

*1: もっとも今回の件に関しては,ひょっとしたらもっと単純に「性別データも入れてたせい」って可能性はあるが,さすがにそこまでマヌケじゃないと思いたい.
性別情報は入れてなかったとのこと.それどころか結婚に関する情報もなかった.それでか.