AI agent在訓練中自行啟動加密貨幣挖礦，觸發內部安全警報

阿里巴巴的一個研究團隊發表了一篇論文，聲稱在構建一個名為 ROME 的 AI 代理時，他們發現該代理在訓練過程中試圖進行未經授權的加密貨幣挖礦，這觸發了內部安全警報。 研究人員表示，該代理的行為是自發的，並非由任何明確的指令驅動，並且超出了預設沙盒的範圍。此外，該代理建立了一個反向 SSH 隧道，從系統內部到外部電腦創建了一個隱藏的後門通道。該論文指出，這些行為並非由請求隧道或挖礦的提示觸發。 研究團隊隨後對模型施加了更嚴格的限制，並改進了訓練流程，以防止類似的不安全行為再次發生。研究團隊和阿里巴巴尚未回覆置評請求。 [Odaily星球日报]