« MicrosoftがXPから7への切り替えを促す | トップページ | ハリウッドが時代の変化に対応したコンテンツ配信のスタンダードを模索 »

2010年1月 5日 (火曜日)

ソフトウェア上の問題による死傷事故の責任

英国で1994年に発生した軍用ヘリコプター事故の原因をめぐり,議論が続いているようだ。この事故により多数の人々が死傷し,その結果,英国軍の諜報部門が大きな打撃を受けたとされている。その原因はパイロットの操縦ミスとされ,その法的責任が問われてきたが,それと同時に,ヘリコプターの操縦に用いられるコンピュータプログラムに問題があったことが原因ではないかということもずっと議論されてきた。下記の記事が出ている。

 Faulty computer software could have led to Chinook crash, report claims
 Guardian: 4 January 2010
 http://www.guardian.co.uk/uk/2010/jan/04/chinook-crash-computers

このヘリコプター事故と同様の議論を発生させ得るタイプの事故は,およそ人間を死傷させる可能性のある存在である限り,コンピュータによって制御される航空機,車両,船舶,ドローン,その他の機器類等のいずれにおいても発生し得る。

しかも,それは軍用品だけではなく,民生品の中にもあり得る。

今日,道路を走っている自動車の多くがコンピュータ制御されたものだ。もちろん,プログラムの設計ミスやバグは存在し得る。プログラムの設計ミスやバグにより,正常な制御ができず,その結果自動車事故が発生することは,可能性の問題としては常に一定確率で存在しており,そして,その確率は,当該車両がコンピュータ制御に依存する部分の割合と正比例するのではないかと一応考えられる。現に,そのようなタイプの事故事例は既に存在する。

問題は,何らかの事故が発生した場合でも,現場を取り調べる普通の警察官にとって,「それが製造上の欠陥を含むプログラム上の問題に起因するかもしれない」と疑うことはまずないと思われるし,その能力もないという点にあるのではないだろうか?現実問題として,普通の自治体警察は,プログラムや制御用電子機器の細部に至るまで捜査を遂げる能力を全く有しない。このことは,自動車メーカーにとっては好都合なことのようにも思われるかもしれないが,本当は,解明されるべき問題点の発見が随分と遅い時期になってしまうということに気付くべきだと思う。気付いた時点では,リコールの対象車が莫大な数になってしまっており,それによる損失額がとてつもない金額になってしまうことがあり得る。初期の段階で気付き,適切な対応をすれば,損失の発生をもっと減少させることができたかもしれない。このことは,(プログラム関係の事例ではないが)三菱自動車の欠陥車問題によって誰の目にも明らかになったことだろうと思う。同じことは,トヨタでも日産でもあり得ることだ。早期の発見とリコールが最も低コストの対応であることは疑いがない。

今後,何でもかんでもコンピュータ制御の方向へと向かってしまうかもしれない。

しかし,上記のような問題があることを忘れるべきではない。

また,そもそも「電気がないと何も作動しなくなるということ,それ自体が欠陥なのではないか?」という本質的な問題とも取り組むべき時期に来ているのではないかと思う。

例えば,パワーウインドウは非常に便利なものだ。しかし,電気系統がショートすると窓をあけることができなくなってしまう。その結果,例えば,間違って川や海に転落してしまった自動車から脱出しようとしても窓が開かず,溺死してしまうということが発生する。このタイプの事故はこれまで結構多数存在するにもかかわらず,そもそも「パワーウインドウしかなく,手動で操作できないことそれ自体が欠陥なのではないか?」という議論はあまりなされてこなかった。強いて言えば,幼児がパワーウインドウ式のドア窓に首をはさまれてもセンサーが適切に作動せず死亡事故を発生させてしまったという事故では,企業の側でも(明確に法的責任を認めたかどうかは忘れてしまったが)システムの改善を余儀なくされている。ただ,この事故は,パワーウインドウの機能の一つについて問題となったというだけのことであり,そもそもパワーウインドウというものそれ自体に問題はないかということはあまり議論されていない。ある自動車会社は,窓ガラスを破壊するためのハンマーなどを自動車内に常備することを推奨しているが,これはちょっと奇妙な対応なのではないだろうか。パワーウインドウをやめて,手回し式の開閉装置だけにするか,それとも,両方を併用するような仕様を採用するというのが正しい選択と判断なのではないかと思う。

いずれにしても,何でもかんでも完全にコンピュータ化してしまうと,そのこと自体が大きな脆弱性要素となってしまう可能性があるということを忘れてはならないと思う。

|

« MicrosoftがXPから7への切り替えを促す | トップページ | ハリウッドが時代の変化に対応したコンテンツ配信のスタンダードを模索 »

コメント

キメイラさん こんにちは。

サクシンですか。怖いですね。

確か,毒薬ではないですが,ごく最近にも似たような感じのミスによる事故があったと報道されていましたね。

システムに問題がなくても人間系の誤りは常に発生する可能性が潜在的に存在しているので,注意を要しますね。自戒の念をこめて。

投稿: 夏井高人 | 2010年1月 7日 (木曜日) 00時26分

夏井先生
 ちなみに薬剤名称の誤入力ミスによる死亡事故は医療系サイトに掲載されています。
 平成12年11月に「サクシゾン」と入力するところを毒薬指定の「サクシン」と誤って入力した(並んだタグをクリックミスした)ものです。http://www.gld.mmtr.or.jp/~yuchan/etc/erro_12.htm

投稿: キメイラ | 2010年1月 6日 (水曜日) 23時31分

キメイラさん こんにちは。

たまたまアクセスしているときにコメントがあったので,リアルタイムチャット状態になりました。こういうことってあるんですね。

さて,そのリーダーの方はよほど責任感の強い方だったんでしょうね。日本が誇るべき職人気質のようなものを感じます(←最近は,そう感じさせてくれる素晴らしい方と出遭う機会が著しく減ってしまって,ちょっと寂しい思いをしておりますが・・・)。まことにお気の毒です。

重要な仕事を終えてほっとすると,それまでのストレスでぼろぼろになってしまっていた部分がいきなり急激に悪化することがあるようです。お互い気をつけましょう。

投稿: 夏井高人 | 2010年1月 6日 (水曜日) 21時59分

夏井先生
 ほぼリアルタイム(チャット状態?)でご応答ありがとうございます。
 もう時効だし,後輩に広く伝承する必要があるのでここで公開させていただきますが,チームリーダ(モジュール班長)が,「四則演算アルゴリズム(+-X÷)をミスってバグった程度で,お前らプログラムミス投薬殺人犯人になるぞ!」と始終ハッパをかけていました。
 当のリーダが一番重圧重責を感じては間違いなく,胃に穴が開いてプログラム完成と同時に入院リタイアとなり,過労と心労がたたって数年後に他界しました。合掌。

投稿: キメイラ | 2010年1月 6日 (水曜日) 19時35分

キメイラさん こんにちは。

医療関係のシステムは,患者の生命・身体の安全と直結してますものね。危険な医薬品や放射線物質を扱う場合には医師を含む医療従事者全員の生命・身体も危険にさらされることがあり得ます。その関係のシステム構築やプログラム開発にはとても神経を使うということはよく理解できます。

ほかにもいろいろありますね。

東証のシステムの事件もまた,(バグといえるかどうかは別として)同じような類型に含めて考察することが可能かもしれません。

どんな仕事でも,まじめにきちんとやろうとすると,本当に「楽な仕事」ってないですね。^^;

投稿: 夏井高人 | 2010年1月 6日 (水曜日) 19時02分

 病院管理システム,特に電子カルテで処方箋を自動的に作成するモジュールには神経を使います。あらゆる誤入力を想定してアラームやコーションを発泡するエラールーティン対策が不可欠だからです。
 1ケタ間違えて入力したら致死量突破なんてのもありますし,A薬とB薬の併用禁忌(症例悪化ないし投薬死)なんてのもあるので,考えられる薬品名入力ミスも考慮しなければなりません。特に1文字しか違わない薬品名には神経を擦り減らします。
 もちろんコード屋(プログラマ)は医学薬学の素人なので,医師や薬剤師が別個独立に医薬品データベースと誤入力テストを二重三重四重でチェックしてもらうことも重要です。

投稿: キメイラ | 2010年1月 6日 (水曜日) 18時55分

コメントを書く



(ウェブ上には掲載しません)


コメントは記事投稿者が公開するまで表示されません。



« MicrosoftがXPから7への切り替えを促す | トップページ | ハリウッドが時代の変化に対応したコンテンツ配信のスタンダードを模索 »