Cider - Shop now
Buy new:
-15% $15.26
FREE delivery Sunday, May 11 to Nashville 37217 on orders shipped by Amazon over $35
Ships from: Amazon.com
Sold by: Amazon.com
$15.26 with 15 percent savings
List Price: $17.99
Get Fast, Free Shipping with Amazon Prime FREE Returns
FREE delivery Sunday, May 11 to Nashville 37217 on orders shipped by Amazon over $35
Or Prime members get FREE delivery Tomorrow, May 7.
In Stock
$$15.26 () Includes selected options. Includes initial monthly payment and selected options. Details
Price
Subtotal
$$15.26
Subtotal
Initial payment breakdown
Shipping cost, delivery date, and order total (including tax) shown at checkout.
Ships from
Amazon.com
Amazon.com
Ships from
Amazon.com
Sold by
Amazon.com
Amazon.com
Sold by
Amazon.com
Returns
30-day refund/replacement
30-day refund/replacement
This item can be returned in its original condition for a full refund or replacement within 30 days of receipt.
Read full return policy
Payment
Secure transaction
Your transaction is secure
We work hard to protect your security and privacy. Our payment security system encrypts your information during transmission. We don’t share your credit card details with third-party sellers, and we don’t sell your information to others. Learn more
$7.20
Item in good condition. Textbooks may not include supplemental items i.e. CDs, access codes etc... Item in good condition. Textbooks may not include supplemental items i.e. CDs, access codes etc... See less
$3.98 delivery Friday, May 16 to Nashville 37217. Details
Or fastest delivery May 9 - 13. Details
Only 1 left in stock - order soon.
$$15.26 () Includes selected options. Includes initial monthly payment and selected options. Details
Price
Subtotal
$$15.26
Subtotal
Initial payment breakdown
Shipping cost, delivery date, and order total (including tax) shown at checkout.
Access codes and supplements are not guaranteed with used items.
Ships from and sold by glenthebookseller.
Kindle app logo image

Download the free Kindle app and start reading Kindle books instantly on your smartphone, tablet, or computer - no Kindle device required.

Read instantly on your browser with Kindle for Web.

Using your mobile phone camera - scan the code below and download the Kindle app.

QR code to download the Kindle App

Follow the author

Nick Bostrom
Follow
Something went wrong. Please try your request again later.

Superintelligence: Paths, Dangers, Strategies Reprint Edition

by Nick Bostrom (Author)
4.3 out of 5 stars 4,597 ratings
#1 Best Seller in Artificial Intelligence
{"desktop_buybox_group_1":[{"displayPrice":"$15.26","priceAmount":15.26,"currencySymbol":"$","integerValue":"15","decimalSeparator":".","fractionalValue":"26","symbolPosition":"left","hasSpace":false,"showFractionalPartIfEmpty":true,"offerListingId":"gJB7E7wYtQEEQKgzQWigdxyOgZxDG6MD2rFEswezKDAaFqhE%2FKWAohu69KJeGml%2BRKVQQZsQ01%2B2QhInLpp%2F%2Bd4wpWI3Rqk1sa50MM2Qd8Cm0E73uFKwBugXzQh2ktbvzA%2FOjzBNjFzlr6iq6Bv8Bg%3D%3D","locale":"en-US","buyingOptionType":"NEW","aapiBuyingOptionIndex":0}, {"displayPrice":"$7.20","priceAmount":7.20,"currencySymbol":"$","integerValue":"7","decimalSeparator":".","fractionalValue":"20","symbolPosition":"left","hasSpace":false,"showFractionalPartIfEmpty":true,"offerListingId":"gJB7E7wYtQEEQKgzQWigdxyOgZxDG6MDSsOR286Qdi7g8jrHDQRuGvNRlGuKKmUd%2FskC6UlR4rJJQhCHb5LeTAYnNJGrhgvk6h6%2B6NrTTb0k8XD0wNePBNwWRbOa4gQWS0qwtVh7Nfzb9q5ekdGh%2FxWFO2iMBTzPegfRpicvspzJ3TVihrzIw%2Bjqnjo9S%2BPt","locale":"en-US","buyingOptionType":"USED","aapiBuyingOptionIndex":1}]}

Purchase options and add-ons

A New York Times bestseller

Superintelligence asks the questions: What happens when machines surpass humans in general intelligence? Will artificial agents save or destroy us? Nick Bostrom lays the foundation for understanding the future of humanity and intelligent life.

The human brain has some capabilities that the brains of other animals lack. It is to these distinctive capabilities that our species owes its dominant position. If machine brains surpassed human brains in general intelligence, then this new superintelligence could become extremely powerful - possibly beyond our control. As the fate of the gorillas now depends more on humans than on the species itself, so would the fate of humankind depend on the actions of the machine superintelligence.

But we have one advantage: we get to make the first move. Will it be possible to construct a seed Artificial Intelligence, to engineer initial conditions so as to make an intelligence explosion survivable? How could one achieve a controlled detonation?

This profoundly ambitious and original book breaks down a vast track of difficult intellectual terrain. After an utterly engrossing journey that takes us to the frontiers of thinking about the human condition and the future of intelligent life, we find in Nick Bostrom's work nothing less than a reconceptualization of the essential task of our time.
Read more
Previous slide of product details
  1. ISBN-10
    0143442465
  2. ISBN-13
    978-0198739838
  3. Edition
    Reprint
  4. Publisher
    Oxford University Press
  5. Publication date
    May 1, 2016
  6. Language
    English
  7. Dimensions
    7.6 x 1 x 5 inches
  8. Print length
    432 pages
Next slide of product details

Frequently bought together

Superintelligence: Paths, Dangers, Strategies
This item: Superintelligence: Paths, Dangers, Strategies
$15.26
Get it as soon as Sunday, May 11
In Stock
Ships from and sold by Amazon.com.
+
Life 3.0: Being Human in the Age of Artificial Intelligence
$12.85
Get it as soon as Sunday, May 11
In Stock
Ships from and sold by Amazon.com.
+
Human Compatible: Artificial Intelligence and the Problem of Control
$13.61
Get it as soon as Sunday, May 11
In Stock
Ships from and sold by Amazon.com.
Total price: $00
To see our price, add these items to your cart.
Details
Added to Cart
Choose items to buy together.

Editorial Reviews

Review

"I highly recommend this book" --Bill Gates

"Terribly important. Groundbreaking, extraordinary sagacity and clarity, enabling him to combine his wide-ranging knowledge over an impressively broad spectrum of disciplines - engineering, natural sciences, medicine, social sciences and philosophy - into a comprehensible whole. If this book gets the reception that it deserves, it may turn out the most important alarm bell since Rachel Carson's Silent Spring from 1962, or ever." --Olle Haggstrom, Professor of Mathematical Statistics

"Nick Bostrom's excellent book "Superintelligence" is the best thing I've seen on this topic. It is well worth a read." --Sam Altman, President of Y Combinator and Co-Chairman of OpenAI

"Worth reading. We need to be super careful with AI. Potentially more dangerous than nukes" --Elon Musk, Founder of SpaceX and Tesla

"Nick Bostrom makes a persuasive case that the future impact of AI is perhaps the most important issue the human race has ever faced. Instead of passively drifting, we need to steer a course. Superintelligence charts the submerged rocks of the future with unprecedented detail. It marks the beginning of a new era." --Stuart Russell, Professor of Computer Science, University of California, Berkley

"This superb analysis by one of the world's clearest thinkers tackles one of humanity's greatest challenges: if future superhuman artificial intelligence becomes the biggest event in human history, then how can we ensure that it doesn't become the last?" --Professor Max Tegmark, MIT

"Valuable. The implications of introducing a second intelligent species onto Earth are far-reaching enough to deserve hard thinking" --The Economist

"There is no doubting the force of [Bostrom's] arguments. The problem is a research challenge worthy of the next generation's best mathematical talent. Human civilisation is at stake." --Clive Cookson, Financial Times

"Those disposed to dismiss an 'AI takeover' as science fiction may think again after reading this original and well-argued book." --Martin Rees, Past President, Royal Society

"Every intelligent person should read it." --Nils Nilsson, Artificial Intelligence Pioneer, Stanford University

Book Description

Bostrom lays a foundation for understanding the future of humanity and intelligent life.

Product details

  • ASIN ‏ : ‎ 0198739834
  • Publisher ‏ : ‎ Oxford University Press; Reprint edition (May 1, 2016)
  • Language ‏ : ‎ English
  • Paperback ‏ : ‎ 432 pages
  • ISBN-10 ‏ : ‎ 0143442465
  • ISBN-13 ‏ : ‎ 978-0198739838
  • Item Weight ‏ : ‎ 15.2 ounces
  • Dimensions ‏ : ‎ 7.6 x 1 x 5 inches
  • Customer Reviews:
    4.3 out of 5 stars 4,597 ratings

About the author

Follow authors to get new release updates, plus improved recommendations.
Nick Bostrom

Nick Bostrom

Brief content visible, double tap to read full content.
Full content visible, double tap to read brief content.

NICK BOSTROM is a Professor at Oxford University, where he is the founding director of the Future of Humanity Institute. Bostrom is the world’s most cited philosopher aged 50 or under. He is the author of more than 200 publications, including Anthropic Bias (2002), Global Catastrophic Risks (2008), Human Enhancement (2009), and Superintelligence: Paths, Dangers, Strategies (2014), a New York Times bestseller which sparked the global conversation about the future of AI. His work has pioneered many of the ideas that frame current thinking about humanity’s future (such as the concept of an existential risk, the simulation argument, the vulnerable world hypothesis, astronomical waste, the unilateralist’s curse, etc.), while some of his recent work concerns the moral status of digital minds. His writings have been translated into more than 30 languages; he is a repeat main-stage TED speaker; and he has been interviewed more than 1,000 times by media outlets around the world. He has been on Foreign Policy’s Top 100 Global Thinkers list twice and was included in Prospect’s World Thinkers list, the youngest person in the top 15. He has an academic background in theoretical physics, AI, and computational neuroscience as well as philosophy.

Customer reviews

4.3 out of 5 stars
4,597 global ratings

Review this product

Share your thoughts with other customers
Write a customer review

Customers say

Customers find the book well-researched and thought-provoking, with comprehensive coverage of AI risks and dangers. However, the content receives mixed reactions, with some finding it interesting while others find it boring. Moreover, the writing style is criticized for being dry and unengaging. The book's credibility is also mixed, with some praising its quality while others find it unconvincing.

AI-generated from the text of customer reviews

Select to learn more

339 customers mention "Readability"247 positive92 negative

Customers find the book intelligent and enlightening, describing it as a thoughtful exploration.

"...This is a book which is important and timely. We must seriously consider and weigh the potential for harm as well as good before creating a monster...." Read more

"...His writing style is scholarly yet accessible, making complex ideas about AI ethics, future forecasting, and strategic planning understandable to a..." Read more

"...This is a thought-provoking book. It raises issues that I never even would have thought of had the author not pointed them out...." Read more

"Probably one of the best and well written books about the benefits and the dangers of AI and the effects it could have on humanity...." Read more

135 customers mention "Comprehension"122 positive13 negative

Customers appreciate the book's thorough approach and well-researched content, describing it as a sophisticated series of essays on super-intelligence and AI.

"...Nick Bostrom's book is fairly comprehensive and in depth. I am enjoying it as much as an excellent read in philosophy of science.,..." Read more

"...Bostrom's thorough approach offers valuable insights and raises critical questions that will shape the ongoing conversation about AI and our future." Read more

"...It's incredibly thorough and probably encompasses all the issues and concerns that mankind should wrestle with before lunging headfirst toward its..." Read more

"...emulation is essentially guaranteed to happen due to ever-improving scanning techniques such as MRI or electron microscopy, ever-increasing..." Read more

38 customers mention "Risk"27 positive11 negative

Customers appreciate the book's comprehensive overview of AI risks, with one customer describing it as an enthralling exploration of the looming dangers.

"...one of the best and well written books about the benefits and the dangers of AI and the effects it could have on humanity...." Read more

"...At first glance, Superintelligence promises an enthralling exploration of the looming dangers and potential strategies surrounding the rise of..." Read more

"...'s understanding of technology and to an extent, intelligence in general is very superficial...." Read more

"...The dangers and philosophical solutions are clear...." Read more

111 customers mention "Insight"66 positive45 negative

Customers have mixed reactions to the book's insights, with some finding it interesting and philosophical, while others find it boring.

"...thought it through and done a good deal of exploring, consulting, conversing ,collaborating...." Read more

"...While the hardcover is only 260 pages, it is very dense and can become a slow read if you are trying to fully understand each of the steps that the..." Read more

"...Bostrom's thorough approach offers valuable insights and raises critical questions that will shape the ongoing conversation about AI and our future." Read more

"...books about the benefits and the dangers of AI and the effects it could have on humanity...." Read more

18 customers mention "Spooky content"9 positive9 negative

Customers have mixed reactions to the book's spooky content, with some finding it intriguing while others describe it as esoteric.

"...scholarly yet accessible, making complex ideas about AI ethics, future forecasting, and strategic planning understandable to a broad audience...." Read more

"...My negatives are below. Spooky subject. Where to start?..." Read more

"This book is on an important and intriguing topic, however please only use this book as a warning of one possible outcome many many years in the..." Read more

"...It covers a lot of theory, has a lot of charts that can't be read on a kindle, and sums it up by saying, in effect, "who knows?" This..." Read more

13 customers mention "Credibility"4 positive9 negative

Customers have mixed opinions about the book's credibility, with some finding it good quality while others point out logical fallacies and lack of factual content.

"...the world - and again it remains completely abstract and not original or practical...." Read more

"...It is also noncommittal regarding qualia: "whether a superintelligence would have subjective conscious experience might matter greatly for some..." Read more

"...to complain about - the delivery was super fast and the book is in great shape!" Read more

"...but I think it's important to warn people that the book just isn't very well constructed and might fall apart as you read it...." Read more

17 customers mention "Boredom"0 positive17 negative

Customers find the book boring.

"...that deserves attention but will probably be ignored for its low entertainment value." Read more

"...🌊 The book's writing style, unfortunately, lacks the flair to captivate the casual reader, making it a tedious journey through complex ideas...." Read more

"...In the middle, the book just becomes boring, because there are no reflections on what flaky assumptions were made earlier - just constant moving..." Read more

"This book is incredibly dry and dull, even for those with a high threshold for academic reading pain...." Read more

9 customers mention "Dryness"0 positive9 negative

Customers find the book dry.

"This book is incredibly dry and dull, even for those with a high threshold for academic reading pain...." Read more

"...A bit dry in parts, but there are humorous and entertaining parts as well." Read more

"...book, though it gets to be a little long winded and dry in the middle and end...." Read more

"...but Bostrom goes into more depth that I cared for and reading the book was quite dry." Read more

Fast delivery, amazing book.
5 out of 5 stars
Fast delivery, amazing book.
I've read this book in digital form, and then went back to order it in physical form as well. I highly, *highly* recommend it to people. I personally prefer hardcover books over paperbacks, and one thing that I could probably complain about is that the hardcover doesn't have the print on itself, but rather, there's a wrapper with the print. It can easily be ripped, scuffed, crumpled (had a couple of really minor, barely noticeable crumples on arrival) or taken off, which is a bit annoying, but it is what it is I guess. If this is something that puts you off, you probably don't want to get the hardcover option. Other than that, nothing to complain about - the delivery was super fast and the book is in great shape!
Hide
Thank you for your feedback
Sorry, there was an error
Sorry we couldn't load the review

Top reviews from the United States

  • E.Swope
    5.0 out of 5 stars A good overview of issues in an age of AI
    Reviewed in the United States on July 31, 2018
    Verified Purchase
    I picked this book up because I have a kid at CalTech majoring in AI programming, machine learning. He seems to see only upside, no real concerns about 99% of the population being put put of work, and what I believe is inadequate apprehension about what could go wrong. Mom is a huge fan of Stephen Hawking and he was more than a bit apprehensive about the potential problems with self-learning machines. Most of the books and articles I have read on the topic are cursory or naieve. Nick Bostrom's book is fairly comprehensive and in depth. I am enjoying it as much as an excellent read in philosophy of science., as I am for his expanding the boundaries of the conversation, indeed, broaching it in many areas. I honestly do not know whether he says everything which needs to be said, but he has clearly thought it through and done a good deal of exploring, consulting, conversing ,collaborating. It is far and away the best book I have read on the topic {though there are some good pieces in MIT Technology Review as well).

    This is a book which is important and timely. We must seriously consider and weigh the potential for harm as well as good before creating a monster. While there may be areas which he has missed, I feel that when I read about a brute force approach to building human level AI by recreating a brain at the quantum level using Schrodinger's equation, the man is clearly pushing the boundaries. If nothing else it is a very good start to an important conversation.

    I picked this up because I was considering sending a copy to my son, but read it first because he is a busy guy and chooses his side reading carefully. There are books and articles I might mention or even recommend, and others I tell him not to waste his time on, this is one I will be sending him {though I would be very very surprised if someone at Cal Tech did not broach ...all of what is contained here). I will let him determine if it is redundant. It is well written and thorough, and also very approachable. He says in the prologue that overly technical sections may be skipped without sacrificing any meaning. I have not encountered one I needed to skip, and have, in fact, very much enjoyed the level of discourse.

    Read it if you are in the field to make sure you are covering all the bases. Read it if you are a scientist, philosopher, engineer to enjoy some very good writing. Read it if you are just encountering AI and want to quickly get to speed on the issues. It is not only a book I would recommend, but have, to anyone who would listen ;)
    40 people found this helpful
    Helpful
     Report
  • Jackson Thomas
    5.0 out of 5 stars Navigating the Future of AI: A Thoughtful and Urgent Call to Action
    Reviewed in the United States on December 11, 2023
    Verified Purchase
    “Superintelligence: Paths, Dangers, Strategies" by Nick Bostrom is an intellectually stimulating and thought-provoking book that delves into the future of artificial intelligence (AI) and its potential impact on humanity. Bostrom, a philosopher at Oxford University, presents a meticulously researched and well-argued case for the possibilities and risks that superintelligent entities might bring.

    The book stands out for its rigorous analysis and balanced perspective. Bostrom carefully navigates the reader through various scenarios where AI surpasses human intelligence, discussing both the transformative benefits and the existential risks. His writing style is scholarly yet accessible, making complex ideas about AI ethics, future forecasting, and strategic planning understandable to a broad audience.

    One of the most compelling aspects of the book is its exploration of the 'control problem' - how humans could control entities far smarter than themselves. Bostrom does not shy away from the challenging philosophical and technical issues this problem presents. He also emphasizes the importance of preparatory work in AI safety research, encouraging proactive measures rather than reactive.

    However, some readers might find the level of detail and theoretical nature of the discussions somewhat daunting. The book demands attentiveness and a willingness to engage with deeply philosophical and technical content. Additionally, while Bostrom presents a wide array of possibilities, the book sometimes leans more towards speculative thought than practical solutions.

    "Superintelligence: Paths, Dangers, Strategies" is a seminal work in the field of AI and an essential read for anyone interested in the future of technology and its implications for humanity. Bostrom's thorough approach offers valuable insights and raises critical questions that will shape the ongoing conversation about AI and our future.
    2 people found this helpful
    Helpful
     Report

Top reviews from other countries

Translate all reviews to English
  • Hugo
    5.0 out of 5 stars Recomendable
    Reviewed in Mexico on March 4, 2025
    Verified Purchase
    Excelente libro para conocer sobre los principios de la IA
    Report
  • Daniela
    5.0 out of 5 stars MUY BUEN PRODUCTO
    Reviewed in Spain on May 10, 2020
    Verified Purchase
    Es tal como quería, es de tapa blanda y muy cómodo de llevar.
    Report
  • Rapaces
    1.0 out of 5 stars Ok but..,
    Reviewed in Belgium on December 8, 2024
    Verified Purchase
    Very difficult to get through and very pretentious. Honestly I didn’t get the rave review.
    Report
  • 永澤　護
    5.0 out of 5 stars 現代人必須の教養書
    Reviewed in Japan on December 30, 2017
    Verified Purchase
    ニック・ボストロムは10数年以上前から主にオックスフォード大学研究所(Future of Humanity Institute)のサイト及び彼自身のサイトの諸論文などで読んでいたとはいえ、本書を原書で初めて読んだときの衝撃は凄いものだった。
    それはともかく、レビューとしては申し訳ないのだが、ここで非常に深く多岐にわたる彼の考察を下手にまとめることは躊躇われる。
    本書は決して専門筋対象の本ではなく、現存する最も優れた哲学者の一人による、世界的に大変な影響力を一般市民から最先端の開発者にいたるまで及ぼし続けてきた現代人必須の教養書として位置づけられるべきものである。
    以下に最重要論点を紹介したい。
    ボストロムは、
    「このようなマシン（引用者付記：人間の知能を超越したレベルの知能を有するマシン・インテリジェンス）が実現されるのはタイミング的に、人間と同等レベルのマシン・インテリジェンスが実現された瞬時先である可能性がある。」（25頁）
    と述べている。
    つまり、ニック・ボストロム のいう「スーパーインテリジェンス」は、もし誕生するとすれば、再帰的に自己更新するAIとして誕生し自己を再創造し続けると考えられるため、人間と同等レベルの人工汎用知能が自律的な自己創造＝爆発的な進化プロセスに突入してからスーパーインテリジェンスレベルに到達するまでの時間が瞬時の時間である可能性があるということである。もちろんそれが例えばミリセカンド単位なのか数十時間単位なのか我々人間には予測不可能である（そもそもそうしたケースではマシンそれ自体の時空認知フレームが我々人間の時空認知フレームと異なり独立していると考えられる）。
    なおここで「人間と同等レベル」とは、「人間の成人と同じレベルで自然言語を理解できる」（45頁）ということである。
    蛍の集団における点滅のリズムなど自然界の同期共鳴（シンクロ）現象も、ある時点を境に全く異次元レベルでの高度な同期レベルに相転移的に跳ね上がることが数式レベルで知られてきているが、それと似たような事態が未来のいずれかの時点でスーパーインテリジェンスの誕生という形で生じないと断言することはできないだろう。
    もちろんそれ以前に、閉鎖環境下で秘密裏に極めて高度な（完全に汎用的でかつそれを超えたレベルのものではなくても）AI開発に成功したいずれかの国あるいは高レベル組織による「極めてまずい形での単独覇権」の達成という悪夢に対して人類は自己防衛する必要が生じる。（ブロックチェーン技術を使ったAIのネットワーク化を目指す「シンギュラリティネット」で知られるベン・ゲーツェルはスーパインテリジェンスによる人類破局のシナリオなどの「私が乗れない話」に無駄に耽るのではなくむしろそういった現実的な悪の可能性問題に目を向けろよ！とブログポストで述べている。もちろん彼自身の営業的観点からまずいためだが。）
    とはいえボストロムは、上記を含めておよそ目配り可能なあらゆる問題に考察の目を光らせている。そして彼が提起する問題の決定版が、
    「真に究極的な単独覇権(Singleton)は、いずれかの国家・組織集団あるいはそれらの同盟により占有された汎用性AI の覇権をはるかに超えた、極めて強い人工汎用知能すなわちスーパーインテリジェンスそれ自体によるSingletonになるはずであり、そこにこそ人類自身の存続が懸かっている＜実存的・存在論的リスク existential risk＞があるのだ。」
    という論点なのである。こうした超AIが人間並みのクオリアを含めた「真に総合的な知性」を決して達成できないだろうから超AIの実現可能性やその懸念を考えることが無意味になるのではない。超AIが定義上人間と全く同等な真に総合的な知性など持ち得ないのは当然である。おそらくそのような段階は瞬時にバイパスされるだろう。
    コントロール不可能に見える全く別次元の存在者にどう対峙するのかという途轍もなく困難な「AIコントロール問題」に立ち向かうボストロムの姿勢を汲み取ってほしい。

    その他の重要論点
    ①現在はニーチェが流行っているが、人口汎用知能 (AGI) の誕生が現実性を帯びるとスポットライトはまずニーチェからカントに移動することになると思われる。なぜなら、カントはいまだ人間的なものであるニーチェの超人を超えた（たとえAGIが出現したとしてもそれすらを含む概念である）「有限的知的存在者一般」について語っていたからだ。そしてまだ人類がAGIの「コントロール問題」に格闘していられる間は倫理的価値観のプログラミング問題を基盤として依然としてカントの定言命法の有効性妥当性は問われるであろうし現にカント的方法論と類似した方法が最先端の研究仮説（例「CEV:Humanity's "Coherent Extraporated Volition":Yudkowsky 我々人類の整合性のある外挿的意志」:ユドカウスキー）として真剣に検討されている。
    　いずれにしても、ニーチェのいう「超人」の誕生という物語は、少なくても「ツァラトゥストラはこう語った」において語られた形においてはマシンスーパーインテリジェンスとして誕生する極めて強い人工知能とは無関係なものになるだろう。それは生体工学的介入による過渡期のプロセス例えば「全能エミュレーション」（全脳シミュレーション）を基盤としたごく初期段階の「生体様AGI」には関係するかもしれない（が実際のところはなんとも言いがたい）。

    ②いわゆる「全能エミュレーション」（全脳シミュレーション）の困難さからスーパーインテリジェンス誕生の夢物語性が語られる場合もあるが、ボストロムによればあくまでもそれは過渡的な方途であり本命は「マシンインテリジェンス」によるものとなる。なお、この困難性だが、「全脳アーキテクチャ 解明ロードマップ(産業技術総合研究所)」（https://staff.aist.go.jp/y-ichisugi/brain-archi/roadmap.html#hippocampus）の一杉裕志氏によれば「（脳に関する現時点での共通理解として）脳についてはすでに膨大な知見があり、脳はとても普通の情報処理装置である。脳は心臓などに比べれば複雑だが意外と単純。すでに全脳シミュレーションは計算量的に可能であり将来は人間よりもコスト安になる」。また「脳の機能の再現に必要な計算パワーはすでにある。脳のアルゴリズムの詳細を解明するヒントとなる膨大な神経科学的知見があるが、それを解釈・統合できる人材が圧倒的に不足」している。（補足だが興味深い知見として、一杉氏は「前頭前野周辺の４つの並行した大脳皮質-基底核ループは、階層型強化学習を行っている。前頭前野は、累積報酬期待値の最大化（最適意思決定）を近似計算するだけでなく、近似計算アルゴリズム自体を経験によって学習するのではないか？ 」と述べている。）

    ③スーパーインテリジェンスの「行為」も原則としてウェーバーの目的合理性または道具的理性のスキームでかろうじて了解可能ではある。しかし、たとえその目的について推測できたとしても、その全ての達成手段については人間には認識不可能（従って予測不可能）であると考えられる。例えばスーパーインテリジェンスが人類の完全支配あるいは実質的な殲滅を達成するプロセスの最初期の一つのシナリオでは、ナノテクノロジー等の先端テクノロジーを制御するための間接的なエージェントとして人間が手段化されると考えられている。

    ④本書から強く示唆される論点：中国はGoogle(Alphabet)を初めとする全ての欧米IT系企業の関与を主として覇権をめぐる地政学的な理由から閉め出している。従って（真に閉め出し得ているのなら）、競合する全てのエージェントがモニタリング不可能なまま人類史上初の汎用性人工知能の開発に成功する可能性が高い。http://sp.recordchina.co.jp/newsinfo.php?id=184628 において英誌「エコノミスト」は中国の来るべきAI覇権を予測しているが、私見ではこの現実化にとって鍵になるのは人類史上最高の頭脳の一人であったクマラジーヴァ（鳩摩羅什）の中国登場以来のプロジェクトチーム方式による膨大な仏典訳出の伝統であると推測する。

    参考1
    山極寿一氏（霊長類学者）は「人間の暴力性は共感力の暴発から起こった」と述べている。「共感力の暴発」は自然言語の獲得という契機が決定的なファクターとなる（「ミラーニューロン」などとも関連して）。「暴発」という表現に曖昧さが残るが、だとすれば極めて強い汎用性人工知能すなわちスーパーインテリジェンスが人類を絶滅させるのは粗雑なSFというよりもかなり蓋然性の高い予想ということになるだろう。
    つまり、人工知能が人類の生存の根幹に関わる危機(existential risk)をもたらし得る必要条件（同時に十分条件とはならない）はそれが人間レベルの自然言語能力(a human level of natural language processing)を持つことである。

    参考2
    以下転載
    「AI Software Learns to Make AI Software
    グーグルがAIの学習を自動化する「自動機械学習」を発表

    グーグル等の研究チームは、学習を学ぶソフトウェアが、AIの専門家による仕事の一部を肩代わりできるかもしれない、と考えている。 by Tom Simonite2017.01.19
    最前線のAI研究者は今や、自分たちの仕事のうち最も複雑な部分のひとつを、ソフトウェアが学習できること発見した。つまり、機械学習のソフトウェアを設計する仕事だ。ある実験で、グーグルの人工知能研究グループ「Google Brain」の研究者がソフトウェアに機械学習システムを設計させた。ソフトウェアが作った言語処理ソフトの品質を評価したところ、ソフトウェアによる成果物は、人間が設計したソフトウェアの評価を上回ったのだ。

    ここ数カ月で、非営利の研究機関であるオープンAI（創設者のひとりはイーロン・マスク）やマサチューセッツ工科大学（MIT）、カリフォルニア大学バークレー校、ディープマインド（グーグルが所有するGoogle Brainとは別の人工知能研究会社）等の研究グループが、学習ソフトに学習ソフトを作らせる研究に進展があったと報告している。

    現状、機械学習の技術者は人材が不足しており、企業は高額な給与を払わなければならない。しかし、自己始動型のAI手法が実用化されれば、機械学習ソフトがあらゆる産業に普及するスピードが加速する可能性がある。

    Google Brainを率いるジェフ・ディーンは先週、機械学習の技術者の作業の一部は、ソフトウェアに取って代わられるかもしれないと思うに至った。ディーンは「自動機械学習」と名付けた発明について、チームが研究を進める研究手段のうちで最も手応えのあるもののひとつと説明した。

    ディーンはカリフォルニア州サンタクララで開催されたAIフロンティア・カンファレンスで「今のところ、問題解決の方法に使えるのは、専門知識とデータ、コンピュータの計算です。機械学習に使われる膨大な数の専門知識の必要性はなくせるでしょうか？」と述べた。

    グーグル所有のディープマインドの研究グループの実験でわかったことは、「学習を学ぶ」作業と呼ばれる手法により、機械学習ソフトのパフォーマンスを高めるために、特定のタスクに関して膨大な量のデータを投入する必要を軽減することにもなることだ。

    研究者はソフトウェアの能力を試すために、毎回異なるが関連性のある複数の問題、たとえば迷路からの脱出を開発するような学習システムを作らせた。ソフトウェアによる設計には、情報を一般化する能力や、新たなタスクについては通常よりも少ない追加訓練で習得できる能力があった。

    学習を学ぶソフトウェアを開発するアイデアは、以前から考えられてきたが、過去の実験では人間の発明を凌ぐ結果は得られなかった。1990年代にこのアイデアの研究を進めたモントリオール大学のヨシュア・ベンジョ教授は「ワクワクします」という。

    ベンジョ教授は、現在は当時よりも高い計算性能が入手できるようになり、深層学習（最近のAIの熱狂を作り出している大元だ）の手法が登場したことで、学習を学ぶソフトを開発できるようになったという。しかしベンジョ教授が指摘しているとおり、今のところAIによるソフト開発には強烈な計算性能が欠かせないため、機械学習の技術者の負担が軽くなったり、役割の一部をソフトで置き換えたりできると考えるのは時期尚早だ。

    Google Brainの研究者の説明によれば、高性能の画像用プロセッサー800個で作られたソフトは、人間が作ったソフトを凌ぐ画像認識システムを設計した。

    MITメディアラボのオトクリスト・グプタ研究員は、状況が変わることを信じている。グプタ研究員とMITのチームは、自分たちの研究（学習ソフトウェアが設計した深層学習システムで、物体認識の標準テストで人間の手で設計されたソフトウェアと同等の品質だった）で使われるソフトウェアをオープンソース化する計画だ。

    機械学習モデルの設計や試験に失敗し、イライラしながら何時間も費やしたのが、グプタ研究員がこのプロジェクトに取り組んだきっかけだ。グプタ研究員には、企業や研究者には自動機械学習の実現方法を開発する強い意欲があると考えている。

    「データ・サイエンティストが抱える負担を軽減できれば、大きな成果です。そうなれば生産性が上がり、よりよい予測モデルを作り、高いレベルのアイデアを探求できるようになります」」
    （https://plus.google.com/s/%23%E3%82%B9%E3%83%BC%E3%83%91%E3%83%BC%E3%82%A4%E3%83%B3%E3%83%86%E3%83%AA%E3%82%B8%E3%82%A7%E3%83%B3%E3%82%B9/posts）

    参考3
    「リアリティギャップ」と呼ばれる未解決の問題について
    以下転載
    「2017.11.16 THU 18:00
    その相撲ゲームの人工知能は、「10億回もの対戦」を通じて自らルールを学習する

    イーロン・マスクも創設に関わった非営利団体OpenAIは、人工知能が相撲の試合を10億回近く繰り返すことで自力で動きを進化していくコンピューターゲーム「RoboSumo」を製作した。ゲームのルールを知らない人工知能が独力で相撲をマスターするプロセスは、ほかの分野でも応用できる可能性がある。

    TEXT BY TOM SIMONITE
    TRANSLATION BY MAYUMI HIRAI/GALILEO

    WIRED(US)

    10月11日（米国時間）にリリースされたシンプルな相撲ゲームは、画像表現が取り立てて素晴らしいものではない。だが、人工知能（AI）ソフトウェアの高度化に貢献する可能性を秘めている。

    このゲーム「RoboSumo」の仮想世界で戦うロボットたちを制御しているのは、人間ではなく機械学習ソフトウェアである。そして一般的なゲームのキャラクターとは異なり、このロボットたちは格闘することをプログラミングされていない。試行錯誤しながら競技を「学習」しなければならないのだ。
    歩き方すら知らない状態で試合開始

    このゲームは、イーロン・マスクも創設にかかわった［日本語版記事］、人工知能研究の非営利団体OpenAIが製作したものだ。目的は、AIシステムを強制的に競わせる［日本語版記事］ことで、その知能を高度化できると示すことにある。

    OpenAIの研究者のひとりであるイゴール・モルダッチによると、AIは対戦相手が仕掛けてくる複雑で目まぐるしく変わる状況に立ち向かうことになり、「知能の軍拡競争」のような状況が生まれるという。このことは、学習ソフトウェアがロボットの制御だけでなく、それ以外の現実社会における作業にも価値のある「巧妙なスキル」を習得するのに役立つ可能性がある。

    OpenAIの実験では、単純化されたヒト型ロボットが、歩き方さえ知らない状態で競技用のリングに入場する。プログラミングされているのは、試行錯誤を通じて学習する能力と、動き回る方法を学習して相手を倒すという目標だけだ。

    10億回に近い実験試合を繰り返したロボットたちは、さまざまな戦略を編み出した。より安定させるために姿勢を低くする、肩透かしを食らわせて相手をリングから落とすなどの戦略だ。研究者たちは、ロボットが競技中に自分の戦略を状況に順応させられるだけでなく、相手が戦法を変えると思われる「時期」の予測まで可能にする新しい学習アルゴリズムを開発した。

    最も頻繁に利用されているタイプの機械学習ソフトウェアは、膨大な数のサンプルデータにラベルをつけて処理することによって、新しい技術を身につけるというものだ。これに対してOpenAIのプロジェクトは、こうしたアプローチの限界からAI研究者たちがどのようにして逃れようとしているかを示す一例だ。

    これまでの方法は、翻訳や音声認識、顔認識などの分野における最近の急速な進歩に貢献してきた。しかし、家庭用ロボットの制御のように、AIをより広く応用できるようにするための複雑なスキルには向いていない。

    より高度なスキルをもつAIを実現する可能性に向けたひとつの鍵となるのが、ソフトウェアが試行錯誤を通じて特定の目標に向けて取り組む「強化学習」だ。ロンドンに拠点を置くAIの新興企業で、グーグルに買収されたディープマインドが、アタリの複数のヴィデオゲームをマスター［日本語版記事］するソフトウェアを開発したときに使われた方法だ。現在は、ロボットに物を拾わせるなど、さらに複雑な問題をソフトウェアに解決させるために利用されている。

    OpenAIの研究者たちがRoboSumoを製作したのは、競い合って複雑性が増すことにより、学習の進捗を早めることができる可能性があると考えているからだ。強化学習ソフトウェアにさらに複雑な問題を与えて自力で解決させるよりも、そのほうが効果的なのだという。「ほかの誰かと相互にやり合うときは、相手に適切に対応しなければなりません。そうしなければ負けてしまいます」と、インターンシップ期間中にOpenAIでRoboSumoにかかわったカーネギー・メロン大学の大学院生、マルアン・アルシェディヴァットは述べる。

    OpenAIの研究者たちは、こうした考えをクモ型ロボットや、単純なサッカーのPK戦などのほかのゲームでも試している。競い合うAIエージェントを使った取り組みに関する2件の論文とともに、RoboSumoをはじめとするいくつかのゲームと、エキスパートプレイヤーたちのコードが発表されている。
    立ちはだかる「リアリティギャップ」

    高い知能をもつマシンたちが人間のためにできることとして、相撲の格闘が最も不可欠なものだとは言えないかもしれない。しかし、OpenAIの実験では、ひとつの仮想環境で学習したスキルが。ほかの状況にもち込まれることが示唆されている。

    相撲のリングにいたヒト型ロボットを、強い風が吹く仮想の世界に移したところ、ロボットは脚を踏ん張って直立の姿勢を維持した。これはロボットが、一般に通用するやり方で自分の身体とバランスを制御する方法を学習したことを示唆している。

    ただし、仮想の世界から現実の世界にスキルをもち込むのは、まったく別の難題だ。テキサス大学オースティン校の教授ピーター・ストーンによると、仮想環境で機能する制御システムを現実世界のロボットに組み込んでも、通常は機能しないという。これは「リアリティギャップ」と呼ばれる未解決の問題だ。

    OpenAIでもこの問題に取り組んでいるが、解決策はまだ発表されていない。一方で、OpenAIのモルダッチは、これらの仮想のヒト型ロボットに、単に競い合うことを超えた動因を与えたいと考えている。モルダッチの頭のなかにあるのは、ロボットたちが競い合うだけでなく、協力する必要がある完全なサッカーの試合だ。」
    (https://wired.jp/2017/11/16/ai-sumo-wrestlers/)

    参考4
    以下転載
    以下に転載する記事だが、人間が勝手に意思を投影したに過ぎないと述べている。しかし対話の過程で生まれた独自言語は理解不能。つまりたとえ理解不能であっても、それが「会話」でありその過程で生まれた「独自言語」であるという解釈は勝手な人間の投影ではないと認めている。過程の一貫性の枠内で整合的に「言語の変容」として「解釈可能」だと。結局AIたちは人間には理解不能な会話をしていたのだ。
    以下転載
    「「2つのAIが“独自言語”で会話」の真相--FacebookのAI研究開発者が明かす
    藤井涼 （編集部） 井口裕右2017年11月16日 07時00分

    2017年夏、Facebookの人工知能（AI）研究組織である「Facebook AI Research（Facebook人工知能研究所）」が行ったある実験が世界中で大きな話題になった。2つのAIで会話実験をしたところ、人間が理解できない言語で会話をしはじめ、実験が強制終了されたという内容で、世界中のメディアが「ついにAIが意思を持ち人間を脅かすのでは」とセンセーショナルに報じたのだ。

    　このSFのような事態は本当に起きたのだろうか。Facebook AI Researchのエンジニアリング・マネージャーで、実際にこの実験に関わったアレクサンドル・ルブリュン氏がインタビューの中で質問に答えた。同氏は、報道内容の真偽について「半分は本当で、半分はクレイジーな狂言だ」と回答。そして、研究内容の詳細を明かしてくれた。

    ルブリュン氏が手がけた研究では、2つのAIエージェントに「価格を交渉して合意しろ」という目標を設定した。一方は価格を上げたい立場、もう一方は価格を下げたい立場を設定して会話を始めたのだという。こうした複数のAIエージェントを使った実験は、昔からある一般的なもので、この実験ではこの2つのAIエージェントが新たな価格交渉の戦略を生み出すことができるかに注目していたのだそうだ。

    この2つのAIエージェントは、使用言語の変更が許されており、当初は英語を使用してコミュニケーションをしていたという。しかし、会話をする中でAIの使用言語が徐々に変化していったのだという。

    ただ、この点についてルブリュン氏は「研究者にとっては驚くことではなく、設定されたゴールに向かってあらゆるものを最適化する（＝この場合は言語を変更する）ことは当たり前のこと。こうした会話実験で言語が変化することは、よくあることだ」と話す。言語が変化していくことは研究者にとって想定の範囲内だったということだ。

    そして、“実験が強制終了された”という報道については、ルブリュン氏も実験を中止したことを認めた。その理由については「彼らが交わしている会話が理解できず、それを研究に活用できないものだと判断したからだ。決してパニックになったわけではない」と説明した。つまり、研究所で行われた実験のすべてはプログラムされていたことであり、彼らにとっては予期されたことだったという。

    ではなぜ、まるでAIが独自の意思を持ったかのような解釈がされたのか。ルブリュン氏は「私たちはこのことを説明するための研究成果を公開したが、それを読んだ誰かが“AIが人間に理解されないように独自に言葉を作り出した”と飛躍的な解釈をしたのではないか」との見方を示す。その上で、AIの本質について次のように語った。

    「AIは自分たちで意思や目標を生み出さない。この実験では、人間がプログラムした“AIエージェントの立場に応じた最適な合意にたどり着くこと”という目標だけを持っていた。その過程で言語が変わっていったのは目標のための最適化から生まれたものであって、人間に何かを隠すような意図をもったというのは、全くクレイジーな狂言だといえる」（ルブリュン氏）。

    そして、このような飛躍的な解釈をしてしまう背景として、世の中の人々がAIに対して以下のようなイメージを持っているためではないかと話し、AIという存在を正しく理解すべきだと訴えた。

    「1968年の映画『2001年宇宙の旅』をご覧いただきたい。そこで描かれたAIは、自分の意思を持ち、人間を不要な存在として排除するという判断を自らしている。この映画を見た人は、近い未来にはこのようなAIが登場すると信じてしまっているのかもしれない。しかし、実際にこのようなAIは現れていない。こうした“フィクション”による人々の期待や予想が、AIに対する誤ったイメージを生み出してしまったのではないか」（ルブリュン氏）。」
    Report
  • Clyve Westerlund
    5.0 out of 5 stars Thought Provoking, Carefully Well-Crafted, and Immeasurably Important to Consider.
    Reviewed in Australia on July 22, 2022
    Verified Purchase
    Bostrom is by far one of my all time philosophers and story tellers. This of course introduces my own biases towards having a positive review and remarks of this text. Not to mention the countless icons in the high-functioning fields of our Human Society that remark on the positive evaluations and comments on what is written here, and why this book is important for everyone to ruminate upon and have mature conversations about.

    Artificial Intelligence to me is a point whereby it is on the same evolutionary pathway we are on, or alternatively a point that is forming in conjunction and adjacent to our path and has its own evolutionary path. What this suggests to me is that we either suffuse and fuse with our technology (whatever form that may be and I am talking in a good way as I would argue we’re not doing too bad with our living with technology thus far as we are still here and thriving in a sense) or we co-exist side by side and treating each other like kin. I must admit, this is the utopian view for me and as Bostrom elaborates, there are many things to get right first before we even get to such a level of (co-)existence and growth.

    There are things in this book that I have already thought about before I peered and pierced into the realm that illustrates the most concerning issues and strategies regarding this field and technology. But so many other things I had no idea existed that allowed my mind to wander and critically think, like really think. Furthermore, as I read, it allowed me to seriously consider what is at stake and what could be discovered and invented and resolved that concocts a world beyond our wildest dreams and imagination.

    Although I thought the language used in this text is not so much accessible to the average reader, this just further illustrates the absolute demand that we need all the words and brain power we can muster to make sure as best we can to create something wonderful for All Humanity. In spite of the doom and gloom narratives that the media portrays with A.I, it is clear that there is much misunderstanding and misconceptions that exist through these news cycles. However, reading this gives you the ammunition to dispel such things. So my advice to those whom find this difficult to read, think of the challenge of reading such a sophisticated book as this as the simplest challenge to first overcome for yourself to better your understanding and expand your learnings of what could perhaps be something that could propound and compound possibilities of the infinite. Isn’t that what we’re aiming for anyway? To hone our abilities to contemplate the infinite. One of the ways, but perhaps one of the most significant and fundamental ways to do that is through A.I.

    I stipulate that at the end of this book, I am left in awe of the research that went into this, the writing and effort of putting all the pieces together, and the hope that if we just decide to communicate and collaborate with each other, the future is nothing but a glowing North Star.

    In conclusion, this is worth the read for one of the most uncertain yet paradoxically almost certain; technological developments in all our 200,000 years of Human History; that could elevate our civilisation by orders of magnitude. But since we are also the Creators (and thus our proclivity towards strife and destitute and desolation at times), it could in contrast be fatally catastrophic if we are not self aware about everything infused in the processes of this development. But I have hope for us. Because the alternative is not so good.

    Anyway, have fun reading. :)
    Report