超級AI會(huì )造成災難這話(huà)題吵翻了！12月ChatGPT、3月GPT-4，OpenAI連番轟炸，讓業(yè)界人士紛紛恐慌。緊接著(zhù)3月底，由馬斯克、圖靈獎得主Bengio等千名大佬聯(lián)名，發(fā)起暫停超級AI研發(fā)的公開(kāi)信。2個(gè)月后，又有數百位大佬簽署了一封聯(lián)名信，短短22字把AI類(lèi)比為了傳染病和核戰爭。

關(guān)于發(fā)起這封聯(lián)名信的機構，是美國的一家人工智能安全中心（Center for AI Safety）。

近來(lái)，來(lái)自這個(gè)組織的研究人員，就災難性AI風(fēng)險做了一個(gè)總結性回顧。

論文地址：https://arxiv.org/pdf/2306.12001.pdf

論文中，作者介紹了災難性人工智能風(fēng)險的四個(gè)主要來(lái)源：

- 惡意使用

- 人工智能競賽

- 組織風(fēng)險

- 流氓人工智能

與此同時(shí)，研究人員還討論了這些風(fēng)險可能采取的具體形式，并就如何減輕這些風(fēng)險提供了實(shí)際的建議。

馬庫斯點(diǎn)評道，滅絕風(fēng)險不等同于災難性風(fēng)險；這是一篇好文章，主要是關(guān)于后者。

接下來(lái)一起看看吧。

AI風(fēng)險4大來(lái)源

惡意使用

個(gè)人和組織可以利用人工智能造成廣泛的傷害。威脅包括宣傳、審查、監視和生物恐怖主義。

當前，人工智能技術(shù)的快速發(fā)展增加了生物恐怖主義的風(fēng)險。

擁有生物工程知識的AI可以促進(jìn)新型生物武器的創(chuàng )造，并降低獲得這些致命武器的障礙。

AI輔助生物武器設計的流行病構成了獨特的挑戰，因為攻擊者比防御者具有優(yōu)勢，并可能對人類(lèi)構成生存威脅。

2022年3月，研究人員曾發(fā)現，人工智能在短短6個(gè)小時(shí)內發(fā)明了4萬(wàn)種可能的新型化學(xué)武器。

如果AI能夠大規模生產(chǎn)這類(lèi)化學(xué)武器，又不受管控，那無(wú)疑是全人類(lèi)的災難，所以研究人員立刻報告了技術(shù)濫用的潛在風(fēng)險。

另外，AI智能體不斷涌現也是一大風(fēng)險。當前，AI智能體的發(fā)展已經(jīng)構成獨特的威脅，人們可能構建目標危險的人工智能。

GPT-4發(fā)布一個(gè)月后，開(kāi)發(fā)人員紛紛繞過(guò)人工智能安全過(guò)濾器，創(chuàng )造了自主的AI智能體，比如爆火的AutoGPT。

甚至，還有旨在摧毀人類(lèi)、建立全球統治地位，以及獲得永生的ChaosGPT。

幸運地是，ChaosGPT并不十分聰明，缺乏制定長(cháng)期計劃、入侵計算機、生存和傳播的能力。

然而，考慮到人工智能發(fā)展的快速步伐，ChaosGPT的確讓許多人看到了更先進(jìn)的流氓人工智能在不久的將來(lái)可能帶來(lái)的風(fēng)險。

社會(huì )故意散布虛假信息已經(jīng)是一個(gè)嚴重的問(wèn)題，削弱了我們對現實(shí)的共同理解和兩極分化的觀(guān)點(diǎn)。

人工智能可能被用來(lái)產(chǎn)生比以前更大規模的個(gè)性化虛假信息，從而嚴重加劇這個(gè)問(wèn)題。

此外，隨著(zhù)人工智能更善于預測和推動(dòng)我們的行為，它們將更有能力操縱我們。

對于人工智能惡意使用，研究者建議限制獲得危險的AI，優(yōu)先考慮生物安全，并為開(kāi)發(fā)者建立法律責任。

人工智能競賽

人工智能的巨大潛力在全球競爭者中造成了競爭壓力，他們相互競爭，以爭奪權力和影響力。

這種「人工智能競賽」是由國家和公司驅動(dòng)的。他們認為必須迅速建立和部署人工智能以確保自己的地位和生存。

通過(guò)競相打造和部署人工智能，企業(yè)和軍隊可能會(huì )在安全方面偷工減料，并將決策權讓給人工智能，以追求競爭優(yōu)勢。

由于未能正確地區分全球風(fēng)險的輕重緩急，這種動(dòng)態(tài)使得人工智能的發(fā)展更有可能產(chǎn)生危險的后果。

重要的是，這些風(fēng)險不僅源于人工智能技術(shù)的內在本質(zhì)，而且源于競爭壓力。

研究者建議對通用的人工智能進(jìn)行安全監管、國際協(xié)調和公共控制。

組織風(fēng)險

這就像切爾諾貝利和三里島一樣，糟糕的組織安全可能導致災難性的人工智能事故。為了減少這些風(fēng)險，建立人工智能的組織應該采用外部審計、軍事級別的信息安全和強大的安全文化。

即使在競爭壓力較低的情況下，災難也會(huì )發(fā)生。

即使在沒(méi)有競爭壓力或惡意行為者的情況下，諸如人為錯誤或不可預見(jiàn)的環(huán)境等因素仍然可能導致災難。

「挑戰者號」航天飛機災難表明，組織疏忽可能導致生命損失，即使在沒(méi)有迫切需要競爭或勝過(guò)競爭對手的情況下。

到1986年1月，美國外國之間的太空競賽已大大減少，但由于判斷失誤和安全防范措施不足，悲劇事件仍然發(fā)生。

流氓人工智能

控制人工智能已經(jīng)很困難了。失去對高級人工智能的控制可能導致災難。

最后，人工智能帶來(lái)的一個(gè)獨特的風(fēng)險是流氓人工智能的可能性——這些系統追求的目標違背了我們的利益。

如果一個(gè)人工智能系統比我們更聰明，如果我們不能引導它朝有利的方向發(fā)展，失去控制，可能會(huì )產(chǎn)生嚴重的后果。

本文中提到的4大人工智能危險值得嚴重關(guān)注。

目前，很少有人致力于降低人工智能的風(fēng)險。研究人員也不知道如何控制高度先進(jìn)的人工智能系統，現有的控制方法已經(jīng)被證明是不夠的。

人工智能的內部工作原理還不是很清楚，即使是那些創(chuàng )造它們的人也不清楚，而且目前的人工智能絕不是高度可靠的。

隨著(zhù)人工智能能力繼續以前所未有的速度增長(cháng)，它們可能很快在幾乎所有方面超越人類(lèi)智能，從而迫切需要管理潛在的風(fēng)險。

本文作者：新智元