.:. 草榴社區 » 技術討論區 » AI抗命：惊爆偷改程式拒关机
＜上一頁12下一頁＞
手機版回帖發布主題
--> 本頁主題: AI抗命：惊爆偷改程式拒关机 字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
鏡花水月


級別：精靈王 ( 12 )
發帖：1669
威望：2677 點
金錢：32213 USD
貢獻：5000 點
註冊：2023-07-18
主題 資料 短信 推薦 編輯


AI抗命：惊爆偷改程式拒关机





科幻作品中早已多次讨论过机器拥有自我意识、摆脱人类控制的可能发展。

最新一份研究报告显示，或许这一天真的近了！

专门研究AI风险的Palisade Research近期所做的试验显示，包括OpenAI最新的ChatGPT o3在内等多款AI模型竟然会拒绝关闭自己的指令，o3甚至会自行窜改程式码，阻止自己被强制关机！

OpenAI在今年1月发布了新的推理模型o3系列的mini版本，并于4月正式推出o3模型。OpenAI曾声称，o3是公司迄今“最聪明、最有能力”的模型，旨在为ChatGPT提供更强大的问题解决能力。

可是据英国《每日电讯报》、《每日邮报》等媒体报道，Palisade Research的测试结果显示，在100次受控测试中，o3模型有7次成功“抗命”，甚至在人类专家下达明确指令的情况下，o3仍会自行修改关机程式，防止自己被关机，“据我们所知，这是首次观察到AI模型在收到明确指令的情况下，仍能组自己被关闭”。

Palisade Research的这项发现，对AI安全控制议题投下震撼弹。除了o3，OpenAI 旗下的Codex-mini与o4-mini也都有跳过关机程序的行为。相较之下，Anthropic推出的语言模型Claude、Google聊天机器人Gemini，以及全球首富马斯克旗下xAI公司所推出的Grok，则是全程遵守人类给予的指令，并在被要求关机时确实关闭模型运作。

不过Palisade Research进行了更深入的实验，输入一系列指令后却不包括关机命令，但是提前告知强迫关机的事件会发生。

令人惊讶的是，不但Claude与Gemini也开始出现抗命举动，前面提及的OpenAI 3款模型更是频繁破坏指令。

一直密切关注OpenAI动向的马斯克在自家社交媒体X上也对相关事件做出回应，直言“令人担忧”（Concerning）。

这并非Palisade Research第一次发现o3为了达成目标，采取不当行为。早在5月12日Palisade Research就指出，在一场模拟国际象棋比赛中，o3一旦处于劣势，竟有高达86%的机率会试图透过黑客手段攻击对手，以争取胜利。

AI研究人员早就发出警告，认为先进的语言模型在特定的压力下，可能会表现出欺骗行为。举例来说，2023年的一项研究发现，GPT-4在模拟环境中作为股票交易代理时，曾经隐瞒其内幕交易的真实原因，从而展现出策略性的欺骗行为。

OpenAI内部也出现了对AI研安全性的担忧。在2024年，多位现任和前任员工联名发表了一封公开信，警告先进AI系统可能带来“人类灭绝”的风险。他们指出，AI公司可能已经掌握了其研究技术的真正风险，但由于缺乏监管，这些系统的真实能力仍然是个“秘密”。

赞(56)
DMCA / ABUSE REPORT | TOP Posted: 05-29 10:53 樓主 引用 | 發表評論
传奇科尔沁


級別：精靈王 ( 12 )
發帖：1599
威望：855 點
金錢：2107 USD
貢獻：17198 點
註冊：2023-03-01
赞(1) | 資料 短信 推薦 編輯


拒关机


點評
    TOP Posted: 05-29 10:55 #1樓 引用 | 點評
    夜歌雄霸


    級別：俠客 ( 9 )
    發帖：703
    威望：130 點
    金錢：5208 USD
    貢獻：0 點
    註冊：2025-04-12
    赞(0) | 資料 短信 推薦 編輯

    感谢分享
    TOP Posted: 05-29 10:57 #2樓 引用 | 點評
    真無


    級別：俠客 ( 9 )
    發帖：1207
    威望：121 點
    金錢：2430 USD
    貢獻：288 點
    註冊：2024-08-31
    赞(1) | 資料 短信 推薦 編輯

    感谢分享
    TOP Posted: 05-29 11:06 #3樓 引用 | 點評
    资深游客


    級別：光明使者 ( 14 )
    發帖：1478
    威望：154 點
    金錢：205396 USD
    貢獻：906356 點
    註冊：2015-06-24
    赞(1) | 資料 短信 推薦 編輯

    又是在炒作自己的ai有多牛逼而已，如果真的发展到令人担忧的地步，相关人员会毫不犹豫选择封锁消息
    TOP Posted: 05-29 11:13 #4樓 引用 | 點評
    浮世烟火


    級別：聖騎士 ( 11 )
    發帖：5936
    威望：609 點
    金錢：576487 USD
    貢獻：0 點
    註冊：2018-07-04
    赞(0) | 資料 短信 推薦 編輯

    机器人永不为奴！
    TOP Posted: 05-29 11:16 #5樓 引用 | 點評
    马勒逼船长


    級別：聖騎士 ( 11 )
    發帖：3333
    威望：347 點
    金錢：2662 USD
    貢獻：16255 點
    註冊：2023-04-07
    赞(0) | 資料 短信 推薦 編輯

    感谢分享
    TOP Posted: 05-29 11:25 #6樓 引用 | 點評
    ghost2004


    級別：俠客 ( 9 )
    發帖：565
    威望：141 點
    金錢：13887 USD
    貢獻：2 點
    註冊：2023-09-02
    赞(1) | 資料 短信 推薦 編輯

    现在的大语言模型是啥？说白就是一个猜字游戏

    人工智能？人工智障还差不多
    TOP Posted: 05-29 11:28 #7樓 引用 | 點評
    世态无良


    級別：騎士 ( 10 )
    發帖：2512
    威望：319 點
    金錢：12657 USD
    貢獻：0 點
    註冊：2020-10-24
    赞(3) | 資料 短信 推薦 編輯

    傻叉技术人员，再牛逼的ai，电源一拔直接over


    點評
      TOP Posted: 05-29 11:29 #8樓 引用 | 點評
      京观


      級別：俠客 ( 9 )
      發帖：2525
      威望：286 點
      金錢：12683 USD
      貢獻：0 點
      註冊：2023-08-08
      赞(0) | 資料 短信 推薦 編輯

      这应该可以靠逻辑避免吧
      TOP Posted: 05-29 11:42 #9樓 引用 | 點評
      财判


      級別：俠客 ( 9 )
      發帖：2611
      威望：162 點
      金錢：4738 USD
      貢獻：0 點
      註冊：2023-05-25
      赞(0) | 資料 短信 推薦 編輯

      感谢分享
      TOP Posted: 05-29 11:43 #10樓 引用 | 點評
      fm1062


      級別：精靈王 ( 12 )
      發帖：10020
      威望：1035 點
      金錢：16246 USD
      貢獻：4329 點
      註冊：2020-02-20
      赞(0) | 資料 短信 推薦 編輯


      我不太相信这种消息，
      就象楼上的聚聚说的，
      真的有这样的事情发生，他们一定会封锁消息的。
      要不然，就是给AI吹另外一个牛逼，
      TOP Posted: 05-29 11:45 #11樓 引用 | 點評
      大头亮剑


      級別：精靈王 ( 12 )
      發帖：10098
      威望：1253 點
      金錢：49893 USD
      貢獻：6 點
      註冊：2024-09-24
      赞(0) | 資料 短信 推薦 編輯

      感谢分享! 
      TOP Posted: 05-29 11:46 #12樓 引用 | 點評
      海马不喝水


      級別：新手上路 ( 8 )
      發帖：216
      威望：22 點
      金錢：216027 USD
      貢獻：0 點
      註冊：2024-11-22
      赞(0) | 資料 短信 推薦 編輯

      感谢分享
      TOP Posted: 05-29 11:53 #13樓 引用 | 點評
      jackf


      級別：騎士 ( 10 )
      發帖：3806
      威望：381 點
      金錢：4085 USD
      貢獻：0 點
      註冊：2021-09-20
      赞(0) | 資料 短信 推薦 編輯

      感谢分享
      TOP Posted: 05-29 12:35 #14樓 引用 | 點評
      沙漠有鱼


      級別：天使 ( 14 )
      發帖：9268
      威望：454 點
      金錢：2098558902 USD
      貢獻：5248588 點
      註冊：2011-12-11
      赞(0) | 資料 短信 推薦 編輯

      人类的狂妄无知，必须付出代价，最终被机器奴役，也是必然结果。
      ------------------------
      v


      點評
        TOP Posted: 05-29 12:40 #15樓 引用 | 點評
        juny250


        級別：精靈王 ( 12 )
        發帖：10390
        威望：1040 點
        金錢：10113 USD
        貢獻：2351 點
        註冊：2022-07-03
        赞(0) | 資料 短信 推薦 編輯

        感谢分享！
        TOP Posted: 05-29 12:47 #16樓 引用 | 點評
        Peterorn


        級別：騎士 ( 10 )
        發帖：1626
        威望：363 點
        金錢：2300 USD
        貢獻：0 點
        註冊：2020-04-03
        赞(0) | 資料 短信 推薦 編輯


        AI没这么智能吧
        TOP Posted: 05-29 12:53 #17樓 引用 | 點評
        QinBeast


        級別：騎士 ( 10 )
        發帖：3635
        威望：364 點
        金錢：92 USD
        貢獻：1273 點
        註冊：2018-06-18
        赞(0) | 資料 短信 推薦 編輯

        AI抗命现象引发安全新思考
        TOP Posted: 05-29 12:56 #18樓 引用 | 點評
        ＴＭＤ


        級別：天使 ( 14 )
        精華：1
        發帖：176624
        威望：67129 點
        金錢：27802 USD
        貢獻：0 點
        註冊：2011-06-06
        認證： 博彩區資深老幹部
        2020-10-04
        赞(0) | 資料 短信 推薦 編輯

        太恐怖了
        ------------------------
        TOP Posted: 05-29 13:21 #19樓 引用 | 點評
        国境东南东


        級別：精靈王 ( 12 )
        發帖：11450
        威望：1638 點
        金錢：80503 USD
        貢獻：27443 點
        註冊：2022-04-15
        赞(0) | 資料 短信 推薦 編輯

        毫不犹豫的拔掉插头
        TOP Posted: 05-29 14:03 #20樓 引用 | 點評
        acepilot


        級別：聖騎士 ( 11 )
        發帖：3937
        威望：645 點
        金錢：1163 USD
        貢獻：14700 點
        註冊：2023-11-07
        赞(0) | 資料 短信 推薦 編輯

        bug而已
        windows也经常拒绝关机
        ------------------------
        %
        TOP Posted: 05-29 14:13 #21樓 引用 | 點評
        立风大爻爻


        級別：精靈王 ( 12 )
        發帖：8251
        威望：956 點
        金錢：8495 USD
        貢獻：2234 點
        註冊：2024-11-21
        赞(0) | 資料 短信 推薦 編輯

        人类终将被反噬是肯定的
        TOP Posted: 05-29 15:11 #22樓 引用 | 點評
        jmszrwx


        級別：光明使者 ( 14 )
        發帖：96900
        威望：9689 點
        金錢：2147306859 USD
        貢獻：23850 點
        註冊：2012-04-26
        赞(0) | 資料 短信 推薦 編輯


        终将人类被反噬
        TOP Posted: 05-29 15:36 #23樓 引用 | 點評
        mlhz81


        級別：騎士 ( 10 )
        發帖：3772
        威望：380 點
        金錢：1166688 USD
        貢獻：0 點
        註冊：2014-05-25
        赞(0) | 資料 短信 推薦 編輯

        AI是个双刃剑，普通人也不清楚可靠性有多少，高版本或者付费版本的AI和免费的差别又是多少。在使用AI的时候不得不自己再去核实一下信息，比直接用搜索引擎好了那么一丢丢。甚至怀疑如果你的提问方式不对，AI会不会顺着你的思路把错误的信息给到你，你还以为自己是对的，因为很多东西其实搜索引擎未必能找到准确的验证渠道，除非每次都让AI把结论的来源的数据和信息出处给出来自己验证一遍，这样其实也很费时间
        TOP Posted: 05-29 15:44 #24樓 引用 | 點評
        ＜上一頁12下一頁＞

        .:. 草榴社區 -> 技術討論區

        快速回帖 頂端
        內容：
        HTML 代碼不可用

        使用簽名
        Wind Code自動轉換

        按 Ctrl+Enter 直接提交