AI工程

《数据智能》(Data Intelligence) 是一本专注于数据科学与智能领域的开放获取（Open Access）学术期刊。 期刊基本信息 ISSN: 2096-7004 在线 ISSN: 2641-435X 国内统一刊号 (CN): 10-1626/G2 组织机构 主管单位: 中国科学院 主办单位: 中国科学院文献情报中心 中国图书进出口（集团）有限公司 办刊宗旨与收录情况 期刊致力于发表高质量的原创研究成果，主要涵盖以下方面： 宗旨与范围 (Aims & Scope)：聚焦数据科学、人工智能及其交叉应用领域的前沿理论、技术与实践。 收录与索引 (Abstracting and Indexing)：期刊被国内外多个重要数据库和索引机构收录。 出版政策 (Publication Policy)：遵循国际通行的出版标准和流程。 作者中心 为方便作者投稿，期刊提供了详细的指南与政策说明： 投稿指南 (Submission Guidelines)：详细说明了稿件的格式、结构和提交流程。 出版协议 (Publication Agreement)：明确作者与出版社之间的权利与义务。 预印本政策 (Preprint Policy)：阐述了期刊对于预印本稿件的处理策略。 出版道德声明 (Publishing Ethics Statement)：强调了期刊在学术诚信和出版道德方面的严格要求。 文章处理费 (Article Processing Charges, APC)：公开了开放获取模式下的相关费用标准。 联系方式 联系电话: 010-82626611 地址: 北京市中关村北四环西路 33 号 👉 如果你需要 ChatGPT 代充 / Claude / Claude Code / 镜像 / 中转 API： ...

当您使用 SageMaker 模型并行库运行分布式训练任务时，请遵循以下指南。 为特定模型设置正确配置 在扩展模型时，建议您按以下顺序逐一考量。每一项都讨论了使用该库技术的优势以及可能出现的权衡。 提示：如果一个模型仅使用库的部分功能就能很好地适配，增加更多的模型并行或内存节省特性通常不会带来性能提升。 使用大型 GPU 实例 在模型并行领域，最好使用配备大显存的强大实例，以应对模型并行操作（如在多个 GPU 间分区模型）带来的开销。我们推荐使用 ml.p4d 或 ml.p3dn 实例来训练大型深度学习模型。这些实例还配备了弹性结构适配器（EFA），可提供更高的内网带宽，从而支持大规模模型并行训练。 优化器状态分片 (Optimizer State Sharding) 优化器状态分片的效果取决于数据并行的 rank 数量。通常，更高的数据并行度（与计算节点大小成正比）可以提高内存使用效率。 当您计划缩减集群规模时，请务必检查优化器状态分片的配置。例如，一个在 16 个 GPU（如两个 P4d 或 P4de 实例）的计算集群上能够通过优化器状态分片成功运行的大型模型，不一定能在一个 8 GPU 的节点（如单个 P4d 或 P4de 实例）上运行。这是因为 8 个 GPU 的总显存低于 16 个 GPU，并且在 8 个 GPU 上进行分片时，每个 GPU 所需的显存也高于 16 GPU 的情况。因此，增加的显存需求可能无法在较小的集群中得到满足。 激活检查点 (Activation Checkpointing) 通过对一组模块使用激活检查点，可以提高内存效率。您分组的模块越多，内存使用效率就越高。 当对序列模块的层进行检查点设置时，smp.set_activation_checkpointing 函数的 strategy 参数会将这些层组合在一起进行检查点。例如，将两个或更多层组合在一起进行检查点比一次只检查一个层更节省内存，这是一种以额外的计算时间换取内存空间的方法。 张量并行 (Tensor Parallelism) 张量并行的度数应为 2 的幂（2, 4, 8, …, 2^n），且最大度数必须等于每个节点上的 GPU 数量。例如，如果您使用一个有 8 个 GPU 的节点，张量并行的度数可以是 2、4 或 8。我们不推荐使用任意数字（如 3、5、6、7）作为张量并行的度数。 ...

人工智能正在赋能各行各业，帮助客户大规模交付可用于生产环境的 AI 智能体。本文将介绍 AWS 在构建和部署规模化智能体方面的一系列最新功能与实践，旨在帮助您从实验阶段迈向可信赖的、能够处理关键业务流程的生产级智能体系统。 平台新能力：提升 AI 开发与部署效率 使用 Datadog 云安全检测 Amazon Bedrock 配置错误 我们很高兴地宣布，Datadog 云安全现已集成新的安全功能，可帮助您在 Amazon Bedrock 的配置错误演变为安全事件之前及时发现并修复。此次集成将 AI 安全融入更广泛的云安全战略，为企业安全使用 Amazon Bedrock 的强大功能提供了三大核心优势： 全面的 AI 安全：将 AI 安全无缝集成到您现有的云安全策略中。 实时风险检测：在潜在的 AI 相关安全问题出现时立即识别。 简化合规性：通过预置的检测规则，帮助企业满足不断变化的 AI 法规要求。 为 Amazon Bedrock AgentCore 设置自定义域名 本文将演示如何使用 CloudFront 作为反向代理，为 Amazon Bedrock AgentCore 运行时智能体的终端节点创建自定义域名。该方案具备多项关键优势： 简化开发集成：为开发团队提供更简洁、一致的访问入口。 自定义品牌域名：使用符合企业形象的自定义域名。 清晰的基础设施抽象：隐藏底层终端节点的复杂性。 便捷的维护更新：当终端节点需要更新时，维护过程更加简单直接。 Amazon SageMaker HyperPod 引入自动伸缩功能 Amazon SageMaker HyperPod 现已支持使用 Karpenter 进行托管节点的自动伸缩。这一新功能使得 SageMaker HyperPod 集群能够根据训练和推理负载的需求进行高效扩展。我们将深入探讨 Karpenter 带来的好处，并提供在 SageMaker HyperPod EKS 集群中启用和配置 Karpenter 的详细步骤。 ...

本页面汇集了来自 Unity 专家的经过生产环境检验的最佳实践。这些指南由 Unity 技术内容营销团队、行业专家以及 Unity 研发和加速游戏解决方案团队的工程师与技术美术师共同撰写，旨在帮助您深入掌握 Unity 开发的各个方面。 美术与设计 在 Unity 中创建虚拟与混合现实体验 本指南提供了在 Unity 中使用 VR 模板、XR 交互工具包（XR Interaction Toolkit）、Apple Vision Pro 和 visionOS 等技术的实用技巧。 Unity 动画权威指南 本指南旨在为动画师和技术美术师提供对 Unity 动画功能的深入理解，内容涵盖动画的导入导出、人形动画（Humanoid Animation）、快捷键、UI 动画以及动画事件等。 面向美术师的 2D 游戏美术、动画与光照 本指南由 Unity 2D 演示项目《Dragon Crashers》的美术总监及多位 Unity 2D 专家共同撰写，详细介绍了如何设置 2D 项目、在 Unity 与 Autodesk 之间切换工作流、使用精灵（Sprite）以及排序图层等。 Unity 游戏设计师手册 本指南旨在帮助经验丰富的游戏设计师学习如何在 Unity 中快速构建创意原型，以提升开发效率和团队协作。内容包括可视化脚本、输入创建、关卡设计工具以及微交互等。 面向高级 Unity 开发者的 UI 工具包（UI Toolkit） 本指南面向 UI 美术师、设计师和程序员，通过两个官方 UI Toolkit 示例项目，生动展示了多项核心功能。每个章节都聚焦于特定的工具集，方便您根据自身角色选择性阅读。 游戏关卡设计入门 本指南由游戏行业的专业关卡设计师与 Unity 产品专家共同编写，不仅提供了职业发展建议，还详细讲解了如何使用 Unity 的世界构建工具，如 ProBuilder 和地形系统（Terrain System）。 ...

当企业从运行独立的 AI/ML 项目，转向大规模利用 AI/ML 推动业务转型时，机器学习运维（MLOps）的重要性日益凸显。MLOps 吸收了项目管理、CI/CD 和质量保障等领域的最佳实践，并针对 AI/ML 项目的独特性进行了优化，旨在帮助团队缩短交付时间、减少缺陷，并显著提升数据科学家的工作效率。 MLOps 是一种将 DevOps 实践应用于机器学习工作负载的方法论。它依赖于一种协作化、流线型的方法来管理整个机器学习开发生命周期，通过人、流程和技术的结合，优化从开发、构建到运维的全流程活动。MLOps 聚焦于数据科学、数据工程与现有 DevOps 实践的交叉点，以简化模型的交付过程。 机器学习项目面临的挑战 尽管 MLOps 能够为业务扩展提供强大支持，但在将其集成到机器学习工作负载中时，通常需要应对以下几项特有的挑战。 项目管理与协作 新的团队角色：机器学习项目引入了数据科学家等新兴角色，他们通常没有完全融入传统的跨职能团队。 沟通壁垒：数据科学家与产品负责人、软件工程师之间的技术语言差异较大，这加剧了将业务需求转化为技术需求的固有困难。 协作需求：为了确保项目成功，打通数据工程师、数据科学家、机器学习工程师和 DevOps 工程师等不同利益相关者之间的壁垒，建立项目可见性并促进协作变得至关重要。 CI/CD 的独特复杂性 与传统的软件开发相比，机器学习的持续集成和持续交付（CI/CD）流程更为复杂。 数据与代码并重：在 MLOps 中，源数据和源代码一样，都是一等公民。因此，需要对数据进行版本控制，并在源数据或推理数据发生变化时触发流水线。 全流程可复现：为了保证可追溯性，流水线必须对机器学习模型及其输入、输出和其他产物进行版本控制。整个端到端系统（包括环境和流水线）都应通过版本化的代码和构件（如 IaC、PaC）实现完全复现。 特殊的流水线： 集成：流水线必须与大数据和机器学习训练工作流相集成，通常是传统 CI/CD 工具与特定工作流引擎的结合。 测试：自动化测试不仅要验证代码，还必须在构建阶段和生产环境中对机器学习模型进行有效性验证。 效率：模型训练和再训练过程通常耗时且资源密集。流水线需要足够精细，仅在源数据或模型代码更改时才执行完整的训练周期，而非在相关组件变动时都触发。 部署：机器学习代码通常只是整体解决方案的一小部分。部署流水线可能还需要包含将模型打包为 API 以供其他应用程序和系统使用的额外步骤。 持续监控与治理 实验跟踪：调整机器学习模型需要操作输入数据的形式（特征工程）和算法的超参数。系统地捕获这些实验对于提高数据科学家的工作效率至关重要，并能为他们的工作提供可复现的快照。 生产监控：部署后的模型不仅需要监控常规的端点稳定性和性能指标，还必须监控输入模型的推理数据以及由特定机器学习指标评估的模型输出质量。 策略与合规：许多机器学习项目都涉及重要的策略考量。例如，有偏见的输入数据会产生有偏见的结果，这正日益成为业务利益相关者关注的问题。因此，流水线可能需要强制执行相关策略以确保公平性和合规性。 MLOps 的核心优势 采用 MLOps 实践可以为机器学习项目带来显著的价值，从而加速产品上市时间。 提升生产力：通过提供可访问精选数据集的自助式环境，数据工程师和数据科学家可以更快地行动，减少因数据缺失或无效而浪费的时间。 保证可重复性：自动化机器学习开发生命周期中的所有步骤（包括模型的训练、评估、版本控制和部署），有助于确保流程的可重复性。 增强可靠性：引入 CI/CD 实践不仅可以快速部署，还能提高交付的质量和一致性。 实现可审计性：对从数据科学实验到源数据再到已训练模型的所有输入和输出进行版本控制，意味着我们可以精确地展示模型是如何构建的以及它被部署在何处。 保障数据与模型质量：MLOps 使我们能够实施防止模型偏见的策略，并长期跟踪数据统计属性和模型质量的变化，从而进行主动维护。 👉 如果你需要 ChatGPT 代充 / Claude / Claude Code / 镜像 / 中转 API： ...

AI 辅助编程（Vibe Coding）正在重塑软件开发范式。借助 Cursor、Windsurf 等工具，开发者只需提出需求，即可获得相应的代码片段或 API 调用，整个过程流畅而直观。 然而，这种美好的开发流程背后隐藏着一个致命缺陷：AI 助手经常生成基于过时知识的、无法在生产环境中正常运行的代码。 以 Milvus 为例，当我请求 AI 助手生成 Milvus 连接代码时，它可能会提供如下片段： connections.connect("default", host="localhost", port="19530") 这段代码在旧版本中完全可用，但当前的 pymilvus SDK 推荐使用 MilvusClient 来处理所有连接和操作。旧方法已不再是最佳实践，但由于 AI 模型的训练数据通常滞后数月甚至数年，它们仍在推荐这种过时的方式。这导致开发者需要花费大量时间来弥合 AI 生成代码与生产级代码之间的“最后一公里”。 Milvus SDK 代码助手：解决方案 Milvus SDK 代码助手是一个以开发者为中心的解决方案，旨在解决 AI 辅助编程的“最后一公里”问题，确保 AI 生成的代码能够直接用于生产环境。 其核心是一个模型上下文协议 (Model Context Protocol, MCP) 服务器。它通过检索增强生成 (Retrieval-Augmented Generation, RAG) 技术，将您的 AI IDE 直接连接到最新的 Milvus 官方文档。这样，您的 AI 助手生成的代码将永远是精确、最新且符合 Milvus 最佳实践的。 核心优势: 一次配置，持续受益：仅需一次简单设置，即可永久享受高质量的代码生成服务。 永远最新：直接访问最新的 Milvus 官方 SDK 文档，杜绝信息滞后。 提升代码质量：确保生成的代码遵循当前官方推荐的最佳实践。 恢复流畅体验：让您的 AI 辅助编程体验顺畅无阻，无需担心代码过时问题。 三大核心功能 Milvus SDK 代码助手集成了三大实用工具： ...

人工智能：机遇与挑战并存 AI 巨头呼吁制定电网协议以应对训练能耗 来自微软、英伟达和 OpenAI 的数十名科学家联合呼吁，希望软件、硬件、基础设施及电力公司的设计者共同协作，以实现 AI 训练期间电力需求的正常化。 他们指出，AI 训练过程中的功耗波动巨大，在功耗密集的 GPU 计算阶段和相对轻松的通信阶段之间，能源需求剧烈振荡。这种不稳定的负载对电网的承载能力构成了严重威胁，也成为 AI 模型发展的潜在障碍。 Google 公布 Gemini AI 的环境成本 Google 发布的一份新报告揭示了其 AI 聊天机器人 Gemini 的环境成本。报告指出： 能耗：用户向 Gemini 提交的每一次文本查询，所需消耗的能量约等于观看 9 秒钟的电视。 水耗与碳排放：每次文本查询大约消耗 5 滴水，并产生 0.03 克的二氧化碳当量排放。 联合国教科文组织（UNESCO）的一项研究建议，通过使用更简洁的提示词并查询规模更小的 AI 模型，可以“显著”降低能耗。 Waymo 获准在纽约市测试自动驾驶汽车 Alphabet 旗下的自动驾驶部门 Waymo 已获得在纽约市测试自动驾驶汽车（AV）的许可，这是该市首次批准自动驾驶车辆测试。 测试计划于 9 月下旬启动，届时将有多达 8 辆 Waymo 自动驾驶汽车在曼哈顿和布鲁克林市中心区域运营。不过，根据纽约州法律规定，每辆车仍需配备一名安全驾驶员。 量子技术：从安全通信到复杂模拟 DARPA 启动 QuANET 项目，探索量子增强网络安全 美国国防高级研究计划局（DARPA）启动了名为“量子增强网络”（QuANET）的新项目。该项目旨在探索如何利用量子设备来增强现有通信网络的安全性。 与构建技术上仍面临巨大挑战的完整量子互联网不同，QuANET 专注于近期可实现的应用，例如以视频级速度传输量子编码的图像。研究人员正在测试多项创新技术，包括： 超纠缠（Hyperentanglement）：利用更少的信号来保护更多的数据。 类量子光与接口卡：开发能将量子特性集成到传统系统中的硬件。 日本理研所利用量子计算机成功模拟量子过程 日本顶尖科研机构理研所（RIKEN）的研究人员利用两台 20 量子比特的量子计算机，成功模拟了“量子信息置乱”（Quantum Information Scrambling）过程。在该过程中，信息会扩散到整个量子系统，使其变得极难重构。 研究团队通过基于云的囚禁离子量子计算机进行了三次模拟，其中包括为量子统计计算创建置乱态。理研所的研究员 Kazuhiro Seki 表示：“这次研究我们只用了 20 个量子比特。如果使用超过 50 个量子比特，这类研究对于经典计算机来说将变得难以处理。” ...