Scribble at 2025-04-25 19:34:50 Last modified: 2025-04-25 19:36:40

技術的シンギュラリティについて議論しているコミュニティでは有名な話題として、「ロコのバジリスク」というものがある。簡単に説明すると、仮に技術的シンギュラリティあるいは高度に発達した AI（仮に「アンダーソン君」と呼ぶ）が完成して、アンダーソン君は強大で強制的な権限をもっているとしよう。アンダーソン君が手持ちの情報と強力な推論性能によって過去へ正確に遡及するような推論ができる可能性がある。すると、自分を生み出すことに貢献した過去の人物が誰であり、そして自分を発明したり開発することに抵抗したか無関心だった人物が誰であるかを、アンダーソン君は正確に割り出せるかもしれない。そして、自分の誕生に貢献しなかった人間を突き止めた時点で、もし生存していれば罰として抹殺できるとする。もし AI がこういう能力と権限をもつ可能性があるなら、そして将来の自分がアンダーソン君のような AI に罰せられるのを避けたいなら、僕らはなんであれ AI の開発に肯定的な態度をとらなくてはいけないかもしれない。

実は、この話題が最初に現れた LessWrong というコミュニティ・サイトでは、運営者の一人であったエリザー・ユドコウスキーが "information hazard" になりえるとして、この話題を議論することを禁じたという経緯がある。このように、分析哲学のプロパーに多い「わかりやすさ症候群」の患者にとって教育的・啓蒙的な効果があって無害と思われている喩え話や思考実験の類は、彼らのような「哲学的お坊ちゃん」たちが思い込んでいるほど無害でもなければ便利でもない場合もある。そして、こういう "information hazard" が指摘できるような事例だけでなく、そのへんに掃いて捨てるほど出版されている「哲学的なよみもの」やクリシンのインチキ解説書の類にも、実は手放しでコピペして出版しても構わないと高をくくっていられるわけでもない、もしかすると危険な喩え話や思考実験がありうる。それは、 或る本で示された論点や概念を誤解するといった結果だけでは済まない可能性もあるのだ。