差別を助長するためのアルゴリズム

人工知能 政治 男女差別

メモ．ホットエントリ経由．

一連の事態を理解するためには、特定警戒地区指定（レッドライニング）という言葉を知る必要がある。これは保険業界の専門用語で、保険を引き受けるにはリスクが高すぎることを示すために、地図上で赤線で囲まれた区域のことを指す。

この委員会の調査で、ある事実が明らかになった。レッドライニングによって、マイノリティーのコミュニティーと周囲との格差が助長され、金融や保険などの面で不平等が深まるというサイクルが生じる。つまり、地図の上に赤い線を引くことで、こうした地域が周囲と隔絶されてしまったそもそもの原因である貧困に拍車がかかるのだ。


保険会社とソーシャルメディアの共通項

保険会社は黒人やヒスパニック系といった人種的マイノリティーへの商品販売を拒んでいるわけではなかったが、業界ではレッドライニングを含む明らかに差別的な商慣行が許容されていた。そして、保険がなければ金融機関の融資は受けられないため、こうした地域に住む人は住宅購入や起業が実質的に不可能だった。

レッドライニングは、完全に人種差別的なアイデアと間違った固定観念に基づいて始まったものだ。しかし、保険会社はこの差別が「公正」であると主張するために、一見それらしく見える数学的手法を編み出し、それを発展させていった。

割と普通の話なのだが，わかってない人もたまにいるので．特にAIに幻想を抱く人はいる．

中でも東洋経済の記事は酷かった．

東洋経済「天才プログラマーが予測する｢AIが導く未来｣ 人間の｢なんとなく｣は合理的に判断される」


ところがディープラーニングを使うと、何が「態度が悪い」ことなのかもコンピュータで判断できるようになるんです。態度が悪い人ってこんな感じだよね、というコンセンサスがデータとして取れる。つまり、「態度が悪い」という指摘が、ある種客観的な指標でもって示せるわけですよ。そうなると、「お前の態度が悪い、とAIが言っている」と言えるので、問題と人間関係を切り分けられる。AIに責任をなすりつけられるのです。素晴らしいですね。

注意されるほうも、「僕の態度のどこが悪いのですか」と聞き返したら、こいつ反抗してやがる、と誤解されがちでした。そういうのもなくなって、「AIが態度を悪いって言っているから、どう改善するか一緒に考えようか」となる。

https://toyokeizai.net/articles/-/185678

これが，アルゴリズムを差別に悪用しようとした例．さすがは東洋経済．