「できました！」「テストコードだけしか動かんじゃないか，このボケ！」

徒然 システムトラブル アジャイル

けっこう大きな事件になってるけど，

でもってこれら試験のミソなのが、「速度パターンの規格が予めきっちり定められている」という点です。

で、今回ボロが出たのがUS06と呼ばれる実際の走行のような急発進や急加速、高速運転、急停止などを考慮していないFTP-75の計測上の欠点を改良した試験方法でして、この方法で試験をした際に、極端にNOXの排出値が悪くなるという現象が発端となったと推測されます。また、ヨーロッパの排出規制であるNEDC（New European Driving Cycle）でも問題のVW車はUS06程ではないにせよ数値が悪くなる傾向にあり、計測方法によって極端な性能差が出る事に疑問を抱かれたのが切っ掛けになったのではないかと思われます。

ヒドイ話だ．


だが，なんかすごーく，既視感のある話だよね？


あと下手っぴの書いたプログラムとかなー

「テストコード『だけ』は通るけど，それ以外だとまともに動かねえじゃねえか！」みたいな．

http://b.hatena.ne.jp/entry/shimesaba.dyndns.org/?p=24043

  • id:stealthinu VWのNOx検査回避の件の手法詳細。この手のソフトで細工してベンチマークを良くするというのはGPUやスマホやらであったがそれが車にも応用された。こういう調査って必要だね。
  • id:khtokage 分かりやすい。グラボでベンチ特化モード搭載ドライバがあるように自動車でもなんかあるんじゃないかなーとは思ってたけど、ここまでとはある意味凄い。
  • id:kemuken グラボ界にはベンチマークで高スコアを出すことにのみ喜びを見出すベンチマーカーなる人達がいるらしい。そしてメーカーもベンチマーカー向け機能を搭載した製品を出しているとか。すげえ世界だ。
  • id:nobiox id:wwolf 「テストだと察知すると優等生モードに切り替える」のがチートだ、という話では。「ネズミ捕りの区間だけ速度落とす」的な

普段はぐーたらしてるくせに，就職面接の日だけスーツ着てネクタイ締めて，「御社が第一志望です！」「どんな長時間残業でもへこたれません！」と元気いっぱい挨拶する的な．

  • id:simabuta 大きく見ればやってることは最悪やけど、基準決めてそれに従った試験して合格してるんやから問題は制度の方じゃないの？販売する車は書き換えて出荷とかならアウトやろうけど。

いわゆる「受け入れテスト」とは別に，開発時に行うテストは各自動車メーカーの開発部門で用意してあるんじゃないのかなあ．そうでないと，悪意がなくても受け入れテストのみに最適化されて，それ以外ではかえって酷くなる制御ソフトなんていくらでもできるからな．