「履歴書ではわからないプログラマ能力を評価するHackermeter。採用現場での普及を目指す」
まあそういうのは今までもあった．
ただし初級から，せいぜい中級くらいまでしか評価できない．テストなんてそんなもんだ．
実は、採用者側は後に回答者のキーストロークをひとつひとつ再現できるようになっているのだ。ペースト動作一発で回答を作成しているとしたならば、それはおそらくカンニングの事実を示すものといえるだろう（あるいは使い慣れた自分のエディタで作業をしたということを示すのかもしれないが、それはしてはならないことになっている）。
えー，EmacsやVim使用禁止？メモ帳レベルで記述しろって？それはシステムとしてアホすぎるだろ．
しかも「消費時間」も評価基準に入ってるって，どういうこと？
透明性の問題。課題に回答すると得点が付けられる。しかし、どのような部分で減点されているのかということがよくわからない仕組みになっているのだ。Hackermeterの共同ファウンダーであるLucas Bakerによれば、得点は消費時間、コードの効率性、そして課題の難易度などを考慮してつけられているのだと言う。しかし得点についての疑問の声もある中、評価基準の客観化も進めようとしているのだそうだ。現在のところはブラックボックスとなっている。
これもしごく当然だな．良いコードを評価するのは非常に難しい．採点する側のスキルが採点される側のスキルを数段上回らない限りは，適切な点数付けは望めない．
