在過去的2023年，以ChatGPT為代表的大語言模型集中爆發(fā)，讓各界看到人工智能全新的可能性，期冀與擔憂并存。為了防止AI發(fā)展脫軌，“對齊”概念又重新獲得眾多擁躉。然而，何為“對齊”？“對齊”能實現(xiàn)嗎？它又是否必需呢？若人機（技）融合是人類未來的一個必選項，那么，價值對齊則可能是導引人機（技）融合走向的指南針。數(shù)智技術將價值技術化與技術價值化的雙向融合理想樣態(tài)是技術邏輯與價值邏輯的完美契合，但這種契合應是基于價值軸而校準技術，而非基于技術規(guī)制價值。本文收錄了中國人民大學國家發(fā)展與戰(zhàn)略研究院研究員劉永謀，上海交通大學數(shù)字化未來與價值研究中心教授閆宏秀，以及復旦大學科技倫理與人類未來研究院教授楊慶峰的文章。三位學者聚焦“AI對齊”這一話題，分析對齊的 可能與潛在危險，并提出“AI對齊”應以人類的能力和規(guī)則為邊界。

AI對齊是一種危險的嘗試

OpenAI“宮斗”大戲，讓AI“對齊”（alignment）一詞不脛而走。好多人認為，奧爾特曼這樣的邪惡資本代言人壓制堅持對齊的正義科學代言人蘇茨克維，我們要站在正義的一方。事實果真如此嗎？通過對齊操作，AI發(fā)展就能符合人們的需要、不背離人類的意圖了？真有這么神奇嗎？

質疑AI對齊的可能

何為對齊？它是在機器學習，尤其是大模型技術發(fā)展過程中出現(xiàn)的。《人機對齊》一書認為，“如何防止這種災難性的背離——如何確保這些模型捕捉到我們的規(guī)范和價值觀，理解我們的意思或意圖，最重要的是，以我們想要的方式行事——已成為計算機科學領域最核心、最緊迫的問題之一。這個問題被稱為對齊問題（the alignment problem）”。也就是說，對齊意味著讓機器學習模型“捕捉”人類的規(guī)范或價值觀。

“捕捉”與“灌輸”相對，此時AI遵循的規(guī)范來自機器學習，而非工程師的編程輸入。通過大量學習人類行為，AI“搞清楚”人類行為規(guī)則，然后按照規(guī)則來行事。因此，對齊問題起碼可以一分為二，即對齊什么和如何對齊。

在很多人看來，包括“AI發(fā)展的有限主義者”（強調AI發(fā)展的有限性和受控性），“對齊什么”這一問題無法完全澄清。

首先，人類并沒有統(tǒng)一的價值觀。生活在不同的國家、地區(qū)，不同傳統(tǒng)、文化下的不同性別、階層的人，對同一現(xiàn)象存在不同的價值判斷。比如，面對新冠病毒肆虐，有的人認為保全生命最重要，有的人認為自由活動更重要。大模型究竟要學習誰的行動規(guī)則呢？

其次，人類的主流價值觀不斷在變化。比如，一百多年前一夫多妻制在中國流行，現(xiàn)在則屬于重婚的犯罪行為。那么，我們要給大模型輸入什么時間段的資料以供學習呢？

再次，規(guī)則存在應然與實然的偏差。比如，男女平等是社會提倡的價值觀，但在現(xiàn)實中性別歧視的現(xiàn)象并不少。如果AI學習真實案例，很可能成為性別歧視主義者。此類問題被稱為大模型的代表性問題，在實踐中屢見不鮮。

最后，有些AI如機器寵物狗，它應該與寵物狗對齊，而不是與人對齊。否則，它成了狗形人，擁有它并沒有養(yǎng)寵物的樂趣。換句話說，不是所有AI均需和人類對齊的。

因此，“對齊什么”問題是“人類、社會和政治問題，機器學習本身無法解決”。對齊什么的問題，本質上是以數(shù)據(jù)方法或統(tǒng)計方法厘清復雜的人類規(guī)則和價值觀的問題。

AI對齊的作用非常有限

從根本上說，上述質疑攻訐的是：道德哲學或倫理學未能完全解決的問題，大數(shù)據(jù)或統(tǒng)計學技術可能徹底解決嗎？的確，答案是否定的。但是，如同倫理學多少解決了一些價值觀問題，大數(shù)據(jù)技術對人類規(guī)則的學習也不是一點用處都沒有。在日常場景中，并非完全厘清人類價值觀，行動者（agent）才“知道”如何行動。

在多數(shù)時間中，AI只需要以常見方式應對特定場合中的常見狀況。在自動駕駛研究中，經(jīng)常有人以“電車難題”為例來分析?？墒?，人類駕駛者也極少面對此類高難度決策需要。無論是走“灌輸”還是“學習”路線，自動駕駛汽車均可以隨機方案或直接剎車加以解決。重要的是承擔事故責任，而不是糾結于自動駕駛如何解決“電車難題”。

目前，機器學習模型主要采用模仿和推斷兩種方式來進行AI對齊。前者即看人類怎么做，AI跟著怎么做。模仿存在許多問題，比如過度模仿，很多人炒菜之前都會把袖子卷起來，AI可能會模仿這個不必要的動作。更重要的是，模仿的情境大致差不多，但不可能絕對一樣，起碼時間、地點和對象不同。此時，AI需要對人類行為進行某種推斷，然后得出如何行動的結論。顯然，此類推斷很容易出錯，因為AI的推斷以數(shù)據(jù)和邏輯為基礎，而人類行為則摻雜非理性尤其是情感因素。

因此，有限主義者認為，AI對齊雖不是完全無用，但作用非常有限。

更重要的是，在人類社會中，大量情境應對是不確定的，無法提煉出某種一致性的社會規(guī)則。此時，根本就談不上對齊，也不應該讓AI來處理，而應該交給人類來決策。如果讓AI不明所以地處理，可能導致嚴重而不可逆的后果。并且，AI無法對自己的行為擔責，最后導致“無人擔責”的荒謬情形。

總之，必須牢記：AI對齊非常有限，不可對它期望過高。不少研究者認為，對齊基本上沒有什么用，不過是AI產業(yè)界拋出的又一冠冕堂皇的幌子。

制定規(guī)則必須靠人

在特定場合、特定任務中，無論是灌輸還是學習，讓AI行動符合人類需求都不難。困難的是所謂“通用AI”，因為無法預知它所“通用”的場景，因而既無法預先“灌輸”所有應對規(guī)則，又無法讓其及時“學習”到可靠的應對規(guī)則。正是試圖讓機器學習模型“通用”，才會出現(xiàn)所謂的AI對齊問題。很多人認為，AI不可能通用，它不過是專用的替代勞動工具。

因此，有限主義者認為，通用AI難以對齊，讓AI通用非常危險。顯然，它的危險不僅僅在于像ChatGPT一樣可能生成錯誤思想，將人類引入“后真相”的思想混亂中，更在于它與機器人結合起來，很可能導致大量錯誤、危險甚至無可挽救的行動后果。有人擔心超級AI可能統(tǒng)治人類，可能我們更應該擔心的是，依賴沒有對齊的AI，世界會被搞得一團糟。

進一步思考，機器學習模型總結出人類規(guī)則，讓機器人按此規(guī)則行動，反過來會要求所謂的“AI輔助生存社會”中的人類適應機器的行動。由此，機器規(guī)則反倒成了人類規(guī)則，人得照著機器的要求活著。因此，“我們必須小心謹慎，不要讓這樣一個世界成為現(xiàn)實：我們的系統(tǒng)不允許超出它們認知的事情發(fā)生，它們實際上是在強制執(zhí)行自己有局限的理解。”

如果將規(guī)則制定的權力完全交給機器，AI向人類對齊，演變成人類向AI看齊，其最終的結果，必然加速“人的機器化”，即人類失去靈性和自主性，日益成為智能機器的某種配件。

技術控制的選擇論者認為，無論何時，人類都要努力控制包括AI在內的所有新科技發(fā)展，使之有益于人類福祉。如果不確定AI的某一發(fā)展能否真正有益，就應該停止和轉變此種AI發(fā)展進路，此即我所謂的“AI發(fā)展的有限主義進路”。按照這一觀點，規(guī)則制定是人類的專屬權利，承擔所制定的規(guī)則導致的責任和后果，而AI只負責聽命于人類，執(zhí)行人類的指令，而不能讓它“擅自”行事。

總之，AI對齊并不是資本與科學、正義與險惡的對峙，而是一種非常危險的嘗試。從這個意義上說，OpenAI“宮斗”大戲是AI圈子又一次高質量的“AI宣傳術”操作。當大家擔憂AI的野蠻生長可能會偏離滿足人類需求的目標時，“AI對齊”給公眾一個印象：該問題完全可以通過對齊來解決的。

【文章為社會科學報“思想工坊”融媒體原創(chuàng)出品，原載于社會科學報第1888期第6版】

《“人之為人”是價值對齊的基準生命線》

閆宏秀（上海交通大學數(shù)字化未來與價值研究中心教授）

數(shù)據(jù)智能作為大數(shù)據(jù)和人工智能的融合，其對人類的深度數(shù)據(jù)化與深度智能化使得數(shù)智時代成為了人類社會形態(tài)的一個重要特征?；诩夹g發(fā)展為人類帶來福祉的宗旨，技術所體現(xiàn)的價值觀與人類價值觀相一致，即價值對齊（value alignment），是人與機（技）融合所必須面對的一個重要問題。若人機（技）融合是人類未來的一個必選項，那么，價值對齊則可能是導引人機（技）融合走向的指南針。然而，關于技術與非技術的價值對齊、價值對齊的規(guī)范性、對齊哪種價值等問題仍存疑慮。價值對齊基準的模糊性是造成上述疑慮的重要原因，且若價值對齊的基準有誤，那么，人類未來必將面臨巨大的風險。因此，探尋數(shù)智時代的價值對齊基準是數(shù)智技術發(fā)展的錨定樁與哲學對時代問題的應有之思，更是對人類本質及其未來探究的必要條件。

人機（技）融合：價值對齊基準的切入點

無論是控制論創(chuàng)始人諾伯特·維納（Norbert Wiener）在20世紀在關于自動化的道德問題和技術后果的探討中所提出的警示，還是人工智能領域的專家斯圖爾特·羅素（Stuart J.Russell）等在21世紀關于智能系統(tǒng)決策質量的質疑中，針對“效用函數(shù)可能與人類的價值觀不完全一致，且這些價值觀（充其量）很難確定”，“任何能力足夠強的智能系統(tǒng)都傾向于確保自己的持續(xù)存在，并獲取物理和計算資源——不是為了它們自己，而是為了成功地完成它被分配的任務”的存疑，都是旨在期冀確保人工智能系統(tǒng)的選擇和行動所體現(xiàn)的價值觀與其所服務的人的價值觀一致。易言之，人工智能系統(tǒng)必須與人類價值對齊才能確保人工智能有效發(fā)揮作用。

在當下，數(shù)智技術的生成性、涌現(xiàn)性、交互性、適應性、擬主體性等特性所帶來的價值對齊過程中的越獄、幻覺、“欺騙性對齊”“偽對齊”等價值對齊失?，F(xiàn)象備受關注。特別在基于目標導向的價值對齊過程中，多智能體協(xié)同所產生的問題引發(fā)了技術邏輯與人類訴求之間的斷裂，關于三體或多體協(xié)同的溝通和協(xié)調機制所帶來的多主體超邏輯關系隨之而至，是否會出現(xiàn)一種新的協(xié)同論或者超級對齊已經(jīng)成為技術專家關注的話題。在我們的日常生活場景中，人機（技）之間的做事邏輯差異、數(shù)據(jù)邏輯與非數(shù)據(jù)邏輯之間的契合、價值對齊中的人與機（技）之間的機器思維與人類思維的溝通與理解盲區(qū)、機器與機器之間的不兼容等已經(jīng)成為人機（技）融合正在攻克的難題。

事實上，對價值對齊問題的熱議來自機器學習與人類價值觀之間的未對齊、對齊擔憂、對齊恐懼等，恰如《對齊問題》的作者布萊恩·克里斯汀（Brian Christian）在關于對齊問題的研究中所示，“機器學習表面是技術問題，但越來越多地涉及人類問題”，因此，數(shù)智時代的價值對齊不僅是技術價值觀與人類價值觀念之間的互為生成型問題，更是數(shù)據(jù)智能價值對齊的頂層邏輯與底層邏輯之間的融貫性問題。基于此，探尋數(shù)智時代的價值對齊基準必須以人機（技）融合為切入點。然而，更需要高度警惕的是這種融合所帶來的技術邏輯泛濫，特別是在數(shù)智化的進程中，伴隨技術自主性的日趨增長所形成的技術閉環(huán)是否會導致人在技術回路中的脫軌或曰被抽離問題。

人之為人：價值對齊基準探尋的生命線

雖然技術作為一種基礎設施是構成數(shù)智時代的必不可少的基本要素，價值對齊是通過技術所展開的人類訴求的實現(xiàn)過程，但人類社會的特質恰恰在于人具有價值屬性，而并非僅僅是技術。當維納在《人有人的用處》一書中提出“我是相信人類社會遠比螞蟻社會有用得多；要是把人判定并限制在永遠重復執(zhí)行同一職能的話，我擔心，他甚至不是一只好螞蟻，更不用說是個好人了”之時，他將“人之為人”這一哲學話題賦予了某種技術化的解讀。事實上，人類一直在跟上時代的步伐，或者創(chuàng)造一個時代，在時代的進程中留下自己的痕跡。那么，當時代由技術界定的時候，人類該跟上何種步伐呢？此時的“人之為人”這個問題是一道送分題還是一道送命題呢？當下人類對于技術的憂懼使得該題顯然不是一道送分題；但與此同時，毫無疑問的是，基于人類對自身的本能性捍衛(wèi)使得該題更不能是一道送命題。

面對數(shù)智時代的到來，人類的生存、生產、生活、生成已經(jīng)出現(xiàn)了被技術接管的跡象，關于人類命運的悲情預判與超級智能相應的超級對齊研發(fā)相映成趣。如，僅僅在2016年，關于替代性制裁的懲罰性罪犯管理量表（Correctional Offender Management Profiling for Alternative Sanctions，簡稱COMPAS）的爭議再次引發(fā)了關于技術霸權的熱議；數(shù)據(jù)科學家凱西·奧尼爾（Cathy O’NeiL）基于算法在諸多領域的負面效用將其視為數(shù)學殺傷性武器；法學教授阿里爾·扎拉奇（Ariel Ezrachi）和莫里斯·E.斯圖克（Maurice E. Stucke）關于“計算機在默許共謀開展的過程中既無懼經(jīng)濟處罰或牢獄之災，也不會在沖動與憤怒中胡亂行事”的警示等，將價值對齊過程中人被技術邏輯宰制的現(xiàn)象予以了揭示，觸發(fā)了對人之為人的哲學反思。

人類的生物性缺陷使其需要憑借技術獲得生命得以維系的可能性，并以技術重塑著人的本質。在技術化的進程中，自我的延續(xù)與重塑同步進行，并以現(xiàn)代人的姿態(tài)展示著人之為人的意義。然而，在人類社會的數(shù)智化進程中，恰如社會學家克里斯多夫·庫克里克（Christoph Kucklic）所揭示：現(xiàn)代人的驕傲是我們能夠成為某個人并且能夠堅持做這個人。微粒人的驕傲在于一直成為另外一個人，同時不會失去自我。這是一個極其苛刻的態(tài)度。同樣地，面對價值對齊時，人類若不愿僅僅作為一個技術節(jié)點，那么，守護人之為人的本真就應當是探尋價值對齊基準的生命線。

技術向善：價值對齊基準探尋的融合點

數(shù)據(jù)智能將人類智能與機器進行融合，基于任務完成的價值對齊凸顯了技術工具論的有效性，但諸如欺騙性對齊的價值對齊“陷阱”、價值對齊進程中的人類價值觀共識的不確定性、價值對齊中的人與機（技）之間的機器思維與人類思維的溝通與理解盲區(qū)所形成的技術鴻溝與價值觀鴻溝、機器與機器之間的價值對齊不兼容，以及價值對齊進程中的齊一化所帶來的價值異化等問題使得技術工具論遭遇重重詰難?；诖耍夹g工具論的局限性與技術價值論對其的矯正必將帶出對這種對齊的哲學審視。

易言之，價值對齊并非僅僅是將技術道德化的實踐轉化，而是應在超越技術工具論的基礎上，對將技術道德化的前提條件進行哲學審視，才能有效破解數(shù)智時代的價值對齊問題，通向價值對齊基準的合理探尋。事實上，數(shù)智技術將價值技術化與技術價值化雙向融合的理想樣態(tài)是技術邏輯與價值邏輯的完美契合，但這種契合應是基于價值軸而校準技術，而非基于技術規(guī)制價值。就基于價值軸而校準技術而言，溫德爾·華萊士（Wendell Wallach）、香農·沃倫（Shannon Vallor）、伊森·加布里埃爾（Iason Gabriel）等技術倫理研究者們明確指出“自上而下”和“自下而上”價值對齊路徑都存在不足。其中，自上而下的方法面對的問題在于為人工智能預先設計的道德規(guī)則之間可能存在沖突，同時何為正確的道德框架本身值得商榷；而自下而上的方法則會遇到由系統(tǒng)學習過程的不透明性與道德偏好的差異性帶來的挑戰(zhàn)，進而亟需探尋一個更合理的融合點作為價值對齊的基準。

此時，回望技術的本意，古希臘哲學家亞里士多德早就已經(jīng)將技術與善進行了深度關聯(lián)。如，他在《尼各馬可倫理學》的開篇就明確指出，“每種技藝與研究，同樣地，人的每種實踐與選擇，都以某種善為目的。”就價值對齊而言，從狹義的角度來看，若其僅僅被作為一種技術路徑，那么，技術向善就應是技術發(fā)展的應有之義；從廣義的角度來看，無論對齊哪種價值觀，或者與誰對齊，或者如何對齊，技術向善都應是永恒的宗旨。因此，基于上述兩個維度，技術向善就是價值對齊基準探尋的一個融合點。