企业正在积极探索人工智能系统的创新应用场景，要么开发强大的应用工具，要么将AI能力融入现有业务流程来解决实际问题。然而，尽管AI技术已广泛使用，人们对其输出结果的准确性与公平性仍存疑问，数据安全、隐私保护和系统透明度等问题也引发了广泛关注。

        与此同时，全球范围内关于人工智能的监管政策和标准不断出台，这些法规和标准概述了AI系统的开发人员和部署者必须遵守的规则和要求，以建立信任并促进负责任地使用AI。对企业而言，必须考虑并实施适用的保护措施来应对AI的独特风险，以提升系统的可信度

董事会的角色

        AI的安全问题是一项跨职能的业务挑战—系统性能效率低下或安全漏洞可能导致收入损失、违规处罚和声誉受损。治理的关键在于管理层的承诺和自上而下的引导。董事会应积极参与，明确人工智能使用的边界和原则，主动了解企业在开发或使用AI过程中可能面临的风险，并持续评估相关防护机制是否充分，能否将风险降低到可接受水平。

        董事会的职责包括（但不限于）：

        ● 制定人工智能的战略目标与使用原则，批准相关政策，为运营提供清晰框架；

        ● 建立全面的风险评估机制并确保其有效执行；

        ● 定期审查各类监控系统和合规项目的指标与结果，评估现有控制措施的有效性。

AI 的风险和影响评估

        AI风险评估应在两个层面展开：组织级（宏观）和系统级（微观）。宏观层面的风险具有普遍性，需从公司整体角度进行评估，通常涉及高管层。这一阶段主要考察组织对AI的准备情况，包括AI的相关性和复杂程度、资源可用性（人力、算力与工具）、数据治理能力以及法律合规风险等。

        微观层面的风险则聚焦于具体模型或应用场景，评估AI系统在其运行环境中的实际影响及其输出可能带来的后果。需要结合具体用例判断AI各项原则的适用性，并评估其对个人、群体、社区或组织的影响。

        为了将这些风险转化为可落地的管理实践，可以将AI生命周期中各阶段的核心风险归纳为三类：数据管理、模型开发流程以及运维与监控风险。

数据管理的关键控制点

        AI系统的有效性取决于它所训练的数据集的有效性。因此，必须关注训练数据的准确性与适用性是否符合AI应用的目标与场景，防范诸如数据污染和泄露等潜在威胁。

        必须实施关键控制措施，以确保数据源的有效性、用于训练的数据类型和类别的相关性和适当性。数据管理最重要的控制是验证训练数据的质量。质量不仅指通过ML管道验证数据的准确性和完整性，还指数据集的多样性，使其具有包容性并充分代表系统的用户群。

        还应实施传统的网络安全控制措施，如最小权限和加密。此外，应考虑与隐私相关的风险以及围绕数据集的适当披露、同意、数据删除/保留以及包含/选择退出PII的控制措施。

更精细化的 AI 模型开发流程

        AI模型开发流程与传统的软件开发生命周期（SDLC）类似，但更加复杂和细致。关键风险包括设计缺陷导致系统无法达成预期目标、开发过程不安全（如模型供应链风险）、测试不足以及部署前缺乏充分验证。

        除了传统的SDLC控制措施（如系统设计和CI/CD管道扫描）之外，这些AI系统还需要对模型训练和验证进行控制。

        根据特定模型或用例的要求，必须明确并记录模型验证的深度和广度，涵盖对抗测试、提示注入测试、公平性测试、模型鲁棒性评估及红队演练等AI专属方法。同时，必须设定明确的系统检查通过标准，以确保模型达到部署要求。

平衡安全与创新的 AI 治理文化

        要实现AI系统的可观测性，需在各个层级设置适当的日志记录机制。系统上线后，应持续监控算法运行中的关键参数，及时发现错误、安全漏洞或系统异常。需跟踪的核心指标包括模型的准确性、精确性、稳定性及漂移情况，并利用这些数据对模型进行调优和修正。这种持续监测对于理解模型在不同输入下的表现、性能变化、公平性维持以及潜在安全问题至关重要。

        最重要的是，将这些治理活动融入企业的日常流程中，定期开展风险评估，落实针对AI独特风险的关键控制措施。建立一种既能保障安全又能支持创新的治理文化，是推动AI可持续发展的关键所在。