【事项】

　　近日，OpenAI前首席科学家Ilya Sutskever宣布创立一家名为“安全超级智能”（Safe SuperIntelligence,SSI）的公司。该公司的目标和产品极其明确、单一，即追求安全的超级智能。公司将安全性和能力视为通过革命性工程和科学突破来解决的技术难题，同时确保安全性始终保持领先地位。

　　【评论】

　　AI发展如火如荼，AI安全不可忽视。去年11月，OpenAI内部产生分歧，奥尔特曼和OpenAI总裁Greg Brockman倾向于加速商业化，以获得更多资金来支持AI模型的算力需求。而伊利亚等人则希望AI更安全。双方矛盾激化，最终结果是奥尔特曼和Greg Brockman在短暂离职后重归OpenAI，原董事会中的多位董事离开，伊利亚则在今年5月宣布离任。我们认为，本质的分歧在于AI安全的“路线之争”，可见目前在AI前沿的大模型公司中已有诸多关于AI安全的讨论，AI安全问题正日趋紧要，需要引起重视。

　　AI系统设计面临诸多挑战，安全技术需不停迭代。整体来看，为了实现AGI目标，当前AI系统在设计上主要面临以下挑战，包括：

　　软硬件的安全：在AI模型层面，攻击者同样可能在模型中植入后门并实施高级攻击；且由于AI模型的不可解释性，在模型中植入的恶意后门难以被检测。

　　数据完整性：在数据层面，攻击者能够在训练阶段掺入恶意数据，影响AI模型推理能力；攻击者同样可以在判断阶段对要判断的样本加入少量噪音，刻意改变判断结果。

　　模型保密性：在模型参数层面，服务提供者往往只希望提供模型查询服务，而不希望暴露自己训练的模型；通过多次查询，攻击者能够构建出一个相似的模型，进而获得模型的相关信息。

　　模型鲁棒性：训练模型时的样本往往覆盖性不足，使得模型鲁棒性不强；模型面对恶意样本时，无法给出正确的判断结果。

　　数据隐私：在用户提供训练数据的场景下，攻击者能够通过反复查询训练好的模型获得用户的隐私信息。

　　我们认为，人工智能系统不安全的开发、部署或使用，可能给人类带来灾难性甚至生存性风险。随着数字智能接近甚至超越人类智能，由误用和失控所带来的风险将大幅增加。在未来快速发展的人工智能技术及其广泛的社会影响下，安全问题值得更严肃更深入的探讨。建议关注AI安全板块相关公司。

　　建议关注：启明星辰，奇安信，绿盟科技，永信至诚等。

　　【风险提示】

　　产业发展不及预期；

　　行业竞争加剧。