(资料图)
记者获悉,字节跳动Seed近日发出内部邮件,宣布将成立“Seed Model-Alignment&Preparedness”部门,由严林负责,汇报给Seed负责人吴永辉。原Responsible AI团队及部分Chat团队成员将转入新部门。
据悉,该部门设立旨在加大安全与对齐方向投入。对齐的核心,是让模型行为与人类意图、安全约束保持一致,提升Agent Model(智能体模型)安全能力,以及防范前沿能力风险。
对此,北京市社会科学院副研究员王鹏对证券时报记者表示,这一部门调整,本质上是国内头部大模型厂商在AI治理落地层面的关键动作。将安全对齐从附属职能升级为独立核心部门,直指智能体模型落地的核心风险点,契合国内发展与规范并重的AI治理导向。
“这次架构调整并非常规的团队合并,而是字节在前沿模型竞争进入深水区后的必然选择。专门聚焦对齐与前沿风险防控,相当于为后续智能体相关技术落地提前筑牢安全底座。从行业发展阶段看,头部厂商率先将安全对齐职能独立出来,说明AI行业已经彻底跨过单纯比拼模型性能的阶段,合规与安全能力正在成为技术落地的核心入场券。”他表示。
据公司方面介绍,此前国内大模型研究团队的安全与对齐工作大多纳入公司整体安全合规体系,字节跳动Seed是国内首家单独成立安全与对齐部门的前沿AI实验室。
Seed团队内部判断,伴随模型能力提升、应用场景日趋复杂,安全与对齐已不只是风险防范,更是决定模型能否规模化应用的核心能力。
据了解,Seed安全与对齐部门将围绕模型规范制定、安全评估体系建设、对齐训练、防护系统搭建和风险监控等方向持续投入,并加强与外部研究机构、第三方评测机构的公开合作,最终使前沿模型在安全与授权约束内有效完成任务;伴随模型能力和自主性增强,持续降低滥用及行为偏离风险,建立应对未知风险的全面安全体系。
精彩推荐
-
1怎么打开电脑路由器设置?初次设置无线路由器方法是什么?
-
2路由器如何设置提升网速?学校寝室路由器无线怎么设置的?
-
3电脑没连路由器却能进入路由器界面?电脑无法进入路由器?
-
4把电脑变成无线路由器怎么弄?台式电脑如何变成无线路由器?
-
5重新启用U盘的技巧有什么?U盘提速的技巧有哪些?
-
6如何安全的使用U盘?U盘日常使用的技巧有哪些?
-
7曲面显示器怎么选择?曲面显示器和平面显示器的区别有什么?
-
8安卓设备型号和名称可以改吗?安卓手机如何修改手机IMEI串号?
-
9地址和域名是什么关系?互联网域名是商标的一个组成部分对错?
-
10Linux获取文件名称和文件路径并写入txt?linux下exports文件是什么?