差別を生み出す道具としてのAI活用術

人工知能 男女差別 システムトラブル

　滞納予測AIは、リースが保証事業を運営する中で得た1万件以上のデータを基に開発。年齢や雇用形態、年収など9項目の情報を入力するだけで、滞納発生度合いと滞納発生時期の予測を表示する。

　同社が持つ、家賃保証の入居審査と家賃滞納データから20を超える特徴量を抽出し、毎週リアルタイムにデータを加えてモデルを更新。延滞を繰り返す属性の特徴量から滞納発生の予測精度は、70％を超えたという。

入力項目は「引っ越し先住所，入居希望先家賃，性別，年齢，国籍，結婚状態，現住所形態，雇用形態，勤務先，現住所，居住年数，勤続年数，家賃補助，年収，貯金額，金融機関，ローン，連帯保証人」．
うわあ真っ黒な奴じゃないか．ドン引きだわ．*1

あれ，この問題は以前にも見た事ある気がするぞ．


「レッドライニング」という奴か．不動産業界の差別の道具として，深層学習を使って欲しくはないなあ．その差別を生み出したのはあなた方自身であって，AIに罪はない．

政府はこれは放置したらダメだろう．また前例はすでにあるので，「前例が亡かったから」「予想できなかった」という言い訳は許されない．


それと「与信ならいいけど，家賃なら悪いのはなぜか」みたいなこと書いてる人もチラホラみかけるけど，与信でも悪いし，過去に既に Appleカードで問題になったことがある．

声を上げたのが他でもない，あのDHHだったのでわりと有名だと思う．

「アルゴリズムがつくる「公正さ」には、差別を助長する危険性が潜んでいる」

https://wired.jp/2019/05/18/ideas-joi-ito-insurance-algorithms/

　レッドライニングによって、マイノリティーのコミュニティーと周囲との格差が助長され、金融や保険などの面で不平等が深まるというサイクルが生じる。つまり、地図の上に赤い線を引くことで、こうした地域が周囲と隔絶されてしまったそもそもの原因である貧困に拍車がかかるのだ。


保険会社とソーシャルメディアの共通項

　 保険会社は黒人やヒスパニック系といった人種的マイノリティーへの商品販売を拒んでいるわけではなかったが、業界ではレッドライニングを含む明らかに差別的な商慣行が許容されていた。そして、保険がなければ金融機関の融資は受けられないため、こうした地域に住む人は住宅購入や起業が実質的に不可能だった。

　委員会の報告を受けて、レッドライニングの禁止とインナーシティ周辺への投資促進に向けた法律が制定されたが、この慣行はなくならなかった。保険会社は黒人への商品販売拒否を正当化するために、特定の地域における統計的リスクという言い訳をもち出した。つまり、レッドライニングは保険の引受リスクという純粋にテクニカルな問題であって、倫理的なこととは何も関係がないというのだ。

　レッドライニングは、完全に人種差別的なアイデアと間違った固定観念に基づいて始まったものだ。しかし、保険会社はこの差別が「公正」であると主張するために、一見それらしく見える数学的手法を編み出し、それを発展させていった。

　女性は男性より平均寿命が長いのだから年金保険料を多く払うべきである、黒人コミュニティは犯罪の発生率が高いから黒人の損害保険料率を高く設定することは許される──というわけだ。

https://b.hatena.ne.jp/entry/s/www.itmedia.co.jp/news/articles/2106/22/news118.html

  • id:develtaro 国籍や性別が項目に入ってる。これAIが差別していて謝罪しなきゃいけなくなる案件じゃないのかな…
  • id:fukken 完全にあかんやつの予感しかないな
  • id:hunglysheep1 統計的差別かな
  • id:BlueSkyDetector 最近のディープラーニングとかのAIだと、そのロジックがブラックボックス化してしまうけど、例えば入力画面の例の「男性・女性・その他」の項目で予測に差が出た場合に差別にならないのかな。
  • id:taruhachi うわぁ。。。未婚だと家賃滞納しやすいとか、完全にスコアリング社会になってしまう。。。統計的、期待値的、経済的には正しいからこそ難しいけど嫌だなぁ。。。
  • id:l_etranger 1万件のデータからモデル(回帰式)を作り，データを足しながらモデル更新(係数を調整)って，それAI？？おそらく滞納発生確率はロジスティック回帰，滞納発生時期は重回帰か。AIというにはレベル低いし責任逃れしてる感。
  • id:maeda_a 統計的差別をどう防ぐんか
  • id:lifefucker trainデータにバイアスあるだろうね。リリースした会社はその辺のリテラシー低そう。
  • id:hagino_3000 fairness aware machine learning講義のネタがまた一つ爆誕しててニコニコしてしまった



  • id:klaps 保証会社より前払いのほうが良いだろってコメあるけど、貸す側からしたら保証料は入居者が払うのだから前払いにするメリットは大してないだろう。強いて言えば、資産運用出来るが1年分程度ではなあ。

「保証金は日本人なら2ヶ月だけど，外国人だから3ヶ月ね」みたいなのは既にある．だがそれでも貸してくれるだけマシらしい．


Twitter







前述レッドライニングみたいな話かな．

女性が貧困なのは男女格差によるものだとして，彼等はその格差をさらに強く確固たるモノにするために，AIを道具に使ってる．AIを魔法の箱だと思ってる人は，これでコロッと欺されるのだろうか．


日本だと銀行が土地に対しては気軽に融資する→ 金を借りたい企業や個人はこぞって土地を購入する→ その結果土地は値上がりする →「土地は絶対に値下がりしない」という「土地神話」が信じられるようになる．

なんのことはない．銀行の審査がザルだったために生まれたバブルだ．それはいずれ弾けて，我々はそのツケをこの30年払い続けてる．

「「悪いやつをAIで予測する」のがなぜいけないか」

https://yhara.jp/2021/06/23/ai-ethics

https://b.hatena.ne.jp/entry/s/yhara.jp/2021/06/23/ai-ethics
  • id:sugawara1991 本人の実際の過去行動実績に基づかない統計的材料が、AI経由でなら無理くり紐づけ予測での与信が正当化されそうになってて、それは不味いという話。実際の過去の滞納などの振る舞いで与信が下がるとはまた話が別
  • id:vbwmle 単に大家が「リスクあるし外国人とか単身高齢者とかシングルマザーに貸したくねえなあ」という気持ちを「AIの決定」としてボカしてくれる装置
  • id:guldeen 因果関係(AをするからBが発生する)と相関関係(Aをする人はB要素も併せ持つ事が多い)の混同の典型やね;-) ヒップホップ音楽を禁じても、スラムでの犯罪が減るわけではないように。
  • id:mozukuyummy もう20年前だけど、東大の顔学で有名な原島先生の講演会を聞いたことがあって、その時すでに「犯罪者の平均顔は作らない。間違った因果関係を想定して『この顔は犯罪者』とする人が出てくるから」と言ってたよ。



  • id:beerbeerkun 銀行のローンとかクレカの与信って属性使った判定してるんだけどそれはOKなの？「AI」とは呼ばれてないけど。

問題は同じだと思う．年収や預貯金，株くらいならまだしも，人種，性別，国籍，既婚／未婚，そして宗教などを基準にするとアウト．それと前述Appleカードの事件を見ろ．

そういえば，沼津信金が団体名に「イスラム」が入ってる組織だから口座開設を拒否した事件もあったな．
https://www.huffingtonpost.jp/2015/02/28/numazu-shinkin_n_6776940.html

  • id:karukaru7 いや、そのシステムが公平ならフィードバックで正しくなっていくでしょ、なんで更新されない前提なわけ？
  • id:studycalnu0220 そんな雑なアルゴリズム使ったAIは、すぐに改善されるよ。 技術の発展を舐めるなよ。 はっきり言って偏見に塗れた人（警官等）の判断より、ビックデータ読ませたAIの方が俺はよっぽど信用できる。

それは間違い．AIのバイアスはなくたらない．

特にこの例では教師信号が「それを作った人間の色眼鏡」である以上は，こういうバイアスを強化する方向にしか働かない．むしろフィードバックされて差別はますます拡大し固定化される．貧困の結果AIがそう教育されるだけでなく，今後はAIが貧困の原因になるのだ．


  • id:otchy210 これがマズいのはそう思う。でも車の保険料が年齢によって変わるのはみんな受け入れてる。閾値はその間のどこにあるのだろう。

誰もが老化によって身体能力が落ちるのは，経験的にも科学的に立証されてるからじゃね．

もし不老不死の一族がいて，彼等も同じように年齢によって変わったら，彼等は声を上げるかもしれない．

*1: Togetter「 連帯保証人について『代わりに返さなくてはいけない人』という認識では甘いという話」 https://togetter.com/li/1732446