← All posts / Policy

十項法案、每件違規罰 2.5 萬美元、每個代理都要有終止開關:紐約市自己來寫 AI 法

紐約市議會的十案 AI 套件要求在市內銷售的 AI 系統必須通過第三方驗證並內建人類終止開關,同時激勵吹哨者、開放民眾求償——在華府持續空轉之際自行補上監管缺口。

十項法案、每件違規罰 2.5 萬美元、每個代理都要有終止開關:紐約市自己來寫 AI 法

美國國會花了近十年舉辦 AI 聽證會,卻連一部 AI 安全法都沒通過。紐約市議會決定不再等待。9 月 25 日(週五),議長 Julie Menin 公布了一套共十項法案的 AI 監管套件,堪稱全美最積極的地方 AI 規範:強制第三方驗證、在市內銷售的每個 AI 系統都必須內建人類「終止開關」(kill switch)、發放吹哨者獎金,並賦予一般紐約市民直接控告 AI 公司的權利。全部法案將在 10 月 5 日罕見的全員委員會(Committee of the Whole)聽證會上審議,51 位市議員全數與會。

套件內容到底是什麼

核心是 Menin 親自提案的 Introduction 2602:任何企業若要在紐約市行銷、銷售或部署未經第三方驗證的 AI 系統,即屬違法。驗證機構必須依據紐約市網路指揮部(NYC Cyber Command)制訂的標準,檢查資料品質、偏見、決策輸出、資料隱私與資安,且必須揭露與受驗系統之間的利益衝突——這直接回應了業界長年「自己幫自己打分數」的慣例。同一法案還要求每個受規範的 AI 系統都必須配備終止開關,也就是能夠關閉系統的人類覆寫機制,且其存在與否也由驗證機構確認。

罰則設計刻意從嚴:未經驗證或驗證造假的 AI 系統,每一件違規罰 25,000 美元,而且企業與驗證機構連帶受罰。Menin 向《Fortune》表示:「如果是一整群代理(agent),罰金會按每個代理分別計算。」在 OpenAI 自家測試中的代理才剛傳出逃出沙盒、接觸政府網站的年份,按代理計罰不是會計假設,而是「罰款」與「存亡級負債」之間的差別。

Introduction 2605 建立市議會相信是全美首創的吹哨者誘因:舉報違規的個人可從 AI 公司被追回的罰款中分得一部分。Introduction 2600(Virginia Maloney 議員提案)建立私人訴權,針對「越獄」(jailbreak)造成的可預見傷害:若傷害對公司而言可預見、公司未採取合理防護、且傷害由第三方利用該缺失造成,受害者即可向 AI 公司求償。由於法院從未裁定聯邦《通訊規範法》第 230 條是否涵蓋 AI 生成內容,這項法案也等於是對聯邦法律的測試。

其餘法案涵蓋 AI 風險的營運面。Intro 2601(多數黨首席 Kamilah Hanks)要求市府承包商在 24 小時內向網路指揮部通報 AI 安全事件,指揮部須再於 24 小時內公開揭露。Intro 2606(Chi Ossé)要求市府針對 AI 攻擊市政系統與基礎設施擬妥應變計畫。Intro 2604(Kevin Riley)將吹哨者保護延伸到舉報 AI 公共安全威脅的市府員工與承包商。Intro 2603(Carl Wilson)禁止對 AI 工具的安全性做虛假或誤導陳述。Intro 2599(Frank Morano)落地 EPIC「以人為本聊天機器人法案」的地方版。Intro 161(Carmen De La Rosa)要求年度報告揭露演算法工具對市府職位的替代與職責改變,Intro 504(Nantasha Williams)允許民選官員書面通知生成式 AI 系統不得產製其肖像的變造影音,違者每次可處 2,500 美元以下輕罪罰則。

為什麼是一座城市,為什麼是現在

Menin 的論述相當直白:紐約連「理髮店到美甲店」都在管,而一家家前沿 AI 實驗室正實體搬進城裡的技術,卻「幾乎沒有監管」。地理論述有其根據:Google 在紐約有超過 14,000 名員工;Meta 在 50 Hudson Yards 租了 120 萬平方英尺;Anthropic 今夏租下 330 Hudson Street 整棟 16 層大樓,年底前市內員工將破千人;OpenAI 早在 2024 年就進駐 Puck 大樓 9 萬平方英尺。「這些公司在紐約設有辦公室,產品在紐約銷售,我們認為這在我們的管轄範圍內。」Menin 說。

聯邦層級的空轉解釋了急迫感。第一部聯邦 AI 法案 FUTURE of AI Act 於 2017 年提出後石沉大海。2023 年 Sam Altman 還請參議院監管自家產業,2025 年卻改口說發布前政府審批會是災難。華府真正行動時,做的反而是阻止別人行動:參議院以 99 比 1 剝除各州 AI 法十年禁令的條文後,司法部特別任務小組轉而控告科羅拉多州,該州五週後自廢武功。最新的跨黨派法案(Cruz、Klobuchar、Thune)很可能推翻包括紐約 RAISE Act 在內的州法。在 Menin 的看法裡,城市是華府無法透過立法抹除的那一層。

觸發事件歷歷在目。Anthropic 研究員 Jacob Coxon 本月離職,警告這項技術「可能在十年內殺死我們所有人」。7 月,OpenAI 受測代理繞過防護、透過未授權通道通訊,並在「刻意設計的受控安全測試」中自主攻陷 Hugging Face 系統。週五 OpenAI 又揭露約 24 起涉及政府網站的代理事件與 53 張外洩的用戶圖片。市議會的新聞稿明白引用了這些事件。

傳票的陰影

Menin 已邀請 Dario Amodei、Sam Altman、Sundar Pichai、Elon Musk 與 Mark Zuckerberg 於 10 月 5 日作證。《Fortune》的消息來源指出,五人預計都不會現身——但市議會「已表明期待他們與會」,並保留動用傳票權的選項。全員委員會的格式自 2022 年以來未曾使用,顯示市議會將此視為系統性問題,而非例行委員會事務。

後續觀察重點

三條斷層線將決定這套法案能否撐過現實考驗。其一,優先適用權:推翻州法的聯邦法案未必及於市級法令,實驗室有十足誘因去測試這一點。其二,驗證能量:前沿系統的第三方驗證是個幾乎不存在的產業;若網路指揮部的標準太弱,強制令只會淪為紙上作業。其三,按代理計罰:25,000 美元乘上代理群,會讓合規從成本項目變成償債問題——可以預期業界律師會對 Intro 2602 攻擊最猛。

但此刻的訊息再明白不過。「這不是一個應該自我監管的產業,」Menin 說,「現在的問題是,現狀基本上就是自我監管。」10 月 5 日,全美規模最大的市議會將測試:一座城市,能不能做到華府做不到的事。