アップルカードが男女差別

システムトラブル 人工知能

https://www.bloomberg.co.jp/news/articles/2019-11-11/Q0S3YQ6K50XT01
https://www.bbc.com/japanese/50370810
https://www.gizmodo.jp/2019/11/apple-card-algorithm.html
https://www.gizmodo.jp/2019/11/apple-card-limitbreak.html
https://www.bloomberg.co.jp/news/articles/2019-11-13/Q0TVU8T0AFB601
https://headlines.yahoo.co.jp/hl?a=20191113-11604360-bloom_st-bus_all

　ウォズニアック氏は、自分と妻は銀行やクレジットカードの口座を共有しているにもかかわらず、アップルカードの自分の利用限度額は妻の10倍だと明らかにし、他の金融機関では自分と妻は平等に扱われているとも指摘。

　　「アルゴリズムに明らかに欠陥がある」とし、「非常に多くの人は『技術は敬愛するが、制御がなっていない』とぼやくだろう。これはまさに今回の件に当てはまると思う」と語った。

やっぱ深層学習で男女差別的なデータを学習した奴かな．

　　アップルカードの問題は、ハイテク起業家のデービッド・ハイネマイヤー・ハンソン氏が７日以降のツイートで、自身に与えられた利用限度額が同氏の妻の20倍だったことに疑問を呈したのがきっかけで明らかになった。ニューヨーク州金融サービス局（ＤＦＳ）は調査開始を発表している。

あの DHH か．なるほど．そら彼が言えば大ニュースになる．


https://b.hatena.ne.jp/entry/s/www.bbc.com/japanese/50370810



  • id:quick_past システムのバグは開発側にあるわけだけど、AIの場合なぜ擁護が湧くのだろうか？
  • id:TakamoriTarou 「コンピュータがアルゴリズムに従ってるから公平だ」って言うのは「ルールに従っているから公平」ってのと同じだよなあ…。まずいと言われて「レシピに従ってるからおいしい」と反論するみたいな。
  • id:nowa_s 男性は身長が高い方が高い地位につきやすく、収入も高くなりやすいって調査結果があるけど、購入した洋服や靴のサイズとかから身長を判定されて、カードの限度額を変えられたら嫌だよね
  • id:yuzumikan15 直接関係ないけど、米国では囚人を仮？釈放していいかを過去の犯罪者の再犯率から機械学習してるとこがあり、どうしても黒人スラム街出身者は仮釈放されにくくなるとテレビでやっていた。教師データに何使うかよね。



  • id:marmot1123 食わせるデータに男女の別や名前等を入れずに判定させれば良いのではなかろうか。そう簡単ではない？
  • id:differential 与信の情報から性別をなくしたらダメなん？アファーマティブは別建てで考えるとして／性別で年収の多寡傾向はあるだろうけど、性別で精算や返済のトラブルの差とかあるのかな。

それが違うんですよ．

Amazonの採用AIの事例で報告済み．男女という項目を消したところで他のデータから性別との相関がとれるから，間接的に女性の可能性を推測し，それを元に教師信号に含まれる男女差別を再現したようだ． *1

「Apple Cardはクレジットカード中でも最も立ち上げに成功」提携先のゴールドマン・サックスCEO発言

https://japanese.engadget.com/2019/10/17/apple-card-ceo/
少し前の記事より，

もっともApple Cardの審査基準に関しては、米国では通常なら落とされてもおかしくないクレジットスコア（その人の信用を測る目安）600台でも承認されたとの報告もありました。もともと投資銀行であるゴールドマンにとって消費者金融は新たな領域であり、アップルと提携したのも莫大な数のiPhoneユーザーにすそ野を広げる狙いと見られていることからも、ひとまず審査基準は甘くして多くの顧客の取り込みを優先していると思われます。


サブプライムローンと同じ匂いが．キナ臭くなってきたなあ．

ディズニー 「 白雪姫 」 毒リンゴ 貯金箱 SAN2885

ディズニー 「 白雪姫 」 毒リンゴ 貯金箱 SAN2885

  • メディア: ホーム&キッチン




追記

「Appleカードによる愛妻の限度額差別にRails作者が怒りツイ→ウォズ降臨→州が調査へ」

https://www.gizmodo.jp/2019/11/apple-card-algorithm.html

さっそくAppleに問い合わせてみたところ、窓口は｢アルゴリズムのことはわからない｣の一点張りで、異議申し立てプロセスも用意されていなかった模様です。

「Appleカードの限度額男女差別問題、カード発行元のゴールドマンサックスが限度額見直しへ」

https://www.gizmodo.jp/2019/11/apple-card-limitbreak.html

発表文の中でHalio氏は、（限度額）決定に性別を考慮したことはない、Appleカードの審査過程では性別や既婚・未婚などのユーザー情報はなかったとし、男女差別は一切ないとまず強調。その上で、より公平な査定を約束すると語っています。また、Appleカードの限度額に夫婦間で差がでた理由に、結婚前を含む個人のクレジットカードヒストリーが影響したケースもあると説明しています。

Appleカードはローンチ後、利用限度額の見直しは基本受け付けていなかったものの、今回の件を踏まえ、査定が適切ではないと感じたユーザーは見直しを申請できるようになるとのこと。iPhoneアプリのWalletアプリから、カスタマーサポートを通じて見直し申請をすることができます。

「ＡＩ、1970年代の問題に直面－アップルカードの性差別疑惑が示す」

https://www.bloomberg.co.jp/news/articles/2019-11-13/Q0TVU8T0AFB601

　　今回の問題の背景の一つには、アップルカードでは家族間での口座共有が認められていないことがあり、これが家族間で与信限度額が大幅に異なる事態を引き起こしているのかもしれない。クレジットカード会社の多くは家族間での口座共有を認めており、ゴールドマンはこの選択肢の提供を検討していると説明した。

　　またゴールドマンは、与信限度額が顧客の予想よりも低い場合は与信判断を見直すとツイッターで表明。「与信審査は性別などの要因に基づいて行ったことはなく、これからも決してない。実際、アップルカードの申請過程で、申請者の性別や配偶者の有無などの情報は分からない」とコメントした。

うーん，だとすると今回のは性差別や結婚歴による差別を回避するために既婚/未婚の情報をインプットしてないことが，裏目にでたかもしれないわけか．DHHがビッグネームなのに，彼と結婚しているという情報抜きで査定すると，そりゃこうなっても不思議はない．金持ちの女性と結婚した貧乏男性がいたら，この逆になるかぜひ検証してもらいたいものだ．

これが原因なら審査に問題はあっても「男女差別」はなかったかもしれない．少なくとも故意には．

それにしてもお粗末な話．

　　今回の件でゴールドマンは、金融で最も扱いが難しい法律の一つである信用機会均等法と真正面から向き合うことになった格好だ。これは米国で1970年代に成立した法律で、与信判断において性別や既婚・未婚、人種や肌の色、宗教、出身国などによる差別を禁止している。

「Apple Cardに発覚した“性差別”問題から、「性別を見ないアルゴリズム」に潜むリスクが浮き彫りに」

https://wired.jp/2019/11/22/the-apple-card-didnt-see-genderand-thats-the-problem/

  • 第一に、性別を「分析対象としないように」プログラムされている場合でも、アルゴリズムが性差別を行うことは完全に可能である。
  • 第二に、性別などの重要な項目を意図的に分析しないようにすると、企業がその変数に関するバイアスを発見・防止したり、逆バイアスをかけたりすることを困難にするだけである。

第一の点については、より明白である。性別を分析対象としないアルゴリズムであっても、性別と相関するデータを取り込んで利用する限り、女性に対するバイアスが生じてしまう可能性がある。このような「代理変数」がさまざまなアルゴリズムで望ましくないバイアスを引き起こすケースがあることは、多くの研究で証明されている。

ある研究によると、使用しているパソコンがMacかWindows PCかといった単純なデータから、信用力を予測できることが示されている。自宅の住所のようなデータが、人種の代理変数として機能する可能性もある。同じように、買い物をする場所は性別と重なる情報であると考えられている。

このレポートでは、アルゴリズムに入力されるデータだけでなく出力も調査することで、女性と男性の扱いが概して異なるか、男女間のエラー率に違いがあるかを確認することが推奨されている。

だが、性別がわからなければ、こうしたテストを実施するのは極めて困難になる。


Newsweek 「都市伝説？　クレジットカードの男女差別は本当に存在するのか」

https://www.newsweekjapan.jp/stories/woman/2019/12/post-302.php

クレジットカードの取得・使用を含めて、女性がお金を借りるのは、もちろん昔は難しかった。アメリカでもほとんどの銀行やカード会社は、男性の連帯保証人がいない女性を門前払いしていた。

そんな差別は1974年の信用機会均等法で解消されたはずなのだが、実際は今も女性の方が分が悪い。カードローンでも住宅ローンでも、女性はたいてい男性よりも少し高い金利を課される。

起業の世界も似たようなもの。女性起業家の資金調達額はベンチャーキャピタルの投資総額の3％に満たない。銀行から融資を受けられる金額も、平均すると（女性の経営する会社のほうがしっかり稼いでいるのに）男性起業家の半分に満たない。

これが現実。だからカード会社による女性差別なんて話を聞くと、みんな過敏なまでに反応する。

差別についてはさまざまな意見があるが、誰もが一致する点が1つある。アップルとゴールドマン・サックスのカードだけでなく、あらゆるクレジットカードの審査の仕組みが不透明であるため、発行の可否や利用限度額、ローンの金利、その他の要因がどのように考慮されているか分かりにくいという問題だ。

要するに外部の人間には、意図的でなくても結果として差別につながるような要因を見つけ出す手段がない。そしてシュルツに言わせれば、「どんなアルゴリズムにも意図せぬ結果をもたらしてしまう可能性がある」のだ。

なぜなら、今回の騒ぎの発端になった富裕層の経験は、庶民には全く当てはまらないものだからだ。「この騒動は非常に特殊なケース。収入も財産も私たちとは比較にならない人たちの話で、住む世界が違う」と、シュルツは言う。

ハンソンが夫婦の利用限度額に20倍も差があると怒りを込めてツイートした直後、前述したように妻ジェイミーのカードの利用限度額は上方修正されて夫と同額になった。ジェイミーはコメントを出して、限度額が速やかに変更されたのは自分たちの裕福な財務状況に関係があるかもしれないと認めている。

「これは性差別だとか、クレジットカードの審査アルゴリズムの不透明性とかの問題ではない。むしろ問題は、金持ちの言い分はたいてい通るという現実だ」。ジェイミーはそう言い、さらに続けた。

「金持ちで肌の白い1人の女性にもたらされた正義は、必ずしも全ての人にとっての正義ではない」

*1: もっとも今回の件に関しては，ひょっとしたらもっと単純に「性別データも入れてたせい」って可能性はあるが，さすがにそこまでマヌケじゃないと思いたい．
性別情報は入れてなかったとのこと．それどころか結婚に関する情報もなかった．それでか．