返回栏目
首页人工智能 • 正文

平衡边缘AI和云AI

发布时间:  来源:河洛网

边缘AI允许通过本地化处理进行实时机器学习,提高实时数据处理、详细安全性和客户满意度。 同时,许多企业要求将AI推送到云,减少实现障碍,改善知识共享,支持更大的模型。 前进的道路是找到利用云和边缘优势的平衡。

平衡边缘AI和云AI

集中式云资源通常用于训练深度学习推理模型,因为开发准确的模型需要大量的数据和计算。 生成的模型可以位于中心云位置,也可以分发到边缘设备。

边缘AI和云AI是有益的,云资源几乎总是与边缘AI用例相关。 在完美的世界中,为了简化和扩展,所有的工作负载都集中在云上,但由于延迟、带宽、自律性、安全性、隐私等因素,需要在靠近数据边缘的地方部署更多的AI模型。 情报源。 有些训练是在边缘进行的,关注合作学习的概念。 这个概念集中在数据区域,集中结果消除地区偏见。

边缘AI的崛起

更好的网络基础架构和新的边缘计算架构的兴起打破了集中式云AI和分布式边缘AI工作负载之间的障碍。

它的好处是基础架构的一个重大新变化,通过增加分布在世界各地的信息技术层来补充云。 我们相信边缘AI会引发革命,让云技术获得牵引力。

如果设计合适,Edge AI将为自动缩放提供新的机会。 这是因为所有的新用户都会为集体工作负载带来新的机器。 边缘可以访问更多未处理的原始输入数据。 云AI解决方案必须与预处理的数据一起使用,以提高性能和大数据集,带宽可能会成为严重的问题。

把事情转移到边缘的理由是为了得到更好的响应时间。 速度和延迟对计算机视觉和5G用虚拟无线接入网络等的应用很重要。 另一个很大的好处是通过限制上传到云的数据来改善隐私。

Edge AI的部署也有限制。 这可能包括网络延迟、内存压力、电池消耗和过程被用户和操作系统在后台使用。 从事边缘AI的开发者特别是在搜索手机等一般用例时,需要计划各种限制。

互补的方法

大多数专家认为边缘和云方法是更大战略的补充部分。 云AI适用于批量学习技术,它可以处理大数据集并构建更智能的算法,从而快速、大规模地获得最大的正确性。 Edge AI可以执行这些模型。 云服务可以从这些模型的性能中学习,应用于基础数据以创建持续的学习周期。

保持适当的平衡-完全致力于边缘AI会失去继续改善模型的能力。 没有新的数据流,没有使用的地方。 但是,如果完全致力于云AI,则需要进行权衡才能上传,因此数据质量可能会下降。 另外,捕获更好的数据或数据量的反馈不足。

边缘AI补充云AI,根据需要提供实时决策的访问,利用云获得更深入的见解,或需要更广泛或纵向的数据集来推动解决方案的见解。

例如,在连接的汽车中,汽车传感器提供实时数据流,继续处理该数据流,进行刹车应用和方向盘调整等决策。 可以将相同的传感器数据流式传输到云中进行长期的模式分析,可以向所有者警告为了防止将来的事故所需要的维护。 另一方面,云AI补充了边缘AI,推进了更深的见解,调整了模型,继续强化了他们的见解。

与云计算边缘AI合作,推动更深入的洞察力,制定不断通知新边缘数据的即时需求决策。

培训工作流程。

联合边缘AI和云AI的主要挑战是流程和体系结构。 必须设计应用程序,在目的地分割和调整它们之间的工作量。

例如,支持边缘的照相机可以处理来自传感器的所有信息,而不会因无关的数据而导致网络过载。 但是,如果最终在边缘上检测到感兴趣的对象,则可以将相关帧广播到更大的云应用程序。 该应用程序可以进一步分析框架中对象的子类型及其属性是什么,并与人类领导人共享分析结果。

一个战略是建立平衡模型和数据大小和数据传输成本的体系结构。 在大模型中,留在云中更有意义。 有几种方法可以减小模型的大小以解决问题,但如果要处理非常大的模型,可能需要在云中运行。

在其他情况下,如果在边缘生成大量数据,则可能更有意义的是本地更新模型,将该子集反馈到云,以进行进一步的优化。 在推论机密数据时,开发者还需要考虑隐私的问题。 例如,如果开发者想用手机相机检测中风的证据,应用程序可能需要在本地处理数据以符合HIPAA。

框架将不断发展,以提供更多的选择,包括在哪里进行培训,以及如何提高可重用性。 例如,TensorFlow.js使用WebGL和WebAssembly在浏览器中运行(有助于隐私、低延迟、桌面和移动GPU资源的利用等)。 但是,您也可以加载平铺的缓存云训练模型的版本。 模型交换格式(如开放神经网络交换)也可以提高模型在不同环境中的流动性。 Sletten建议搜索诸如LLVM这样的工具,这是开源编译器的基础架构项目,以便更容易从应用程序运行的环境中抽象应用程序。

有必要适应

将更多的AI从云转移到边缘的主要课题之一是在边缘AI芯片上高效工作的神经网络架构。 聪明的行车记录仪供应商。

通用计算平台(如在云服务器上找到的平台)可以执行任何网络体系结构。 在边缘AI上这变得更困难。 体系结构和培训的模型必须被修改为在边缘AI芯片组上工作。

这是一个巨大的挑战。 因为用户可能会从高性能的移动网络走向死角,所以无论如何都希望获得良好的性能。 推理过程中没有足够的网络带宽将所有数据从边缘移动到云,但在用例中需要全局聚合本地推理输出。 边缘AI可以运行神经网络,发送到云以过滤需要进一步AI处理的数据。

否则,云AI训练可能会因为神经网络模型的层次太多而无法在边缘设备上有效执行。 在这些情况下,边缘AI可以执行轻微的神经网络来创建输入的中间表示。 这个中间表示被压缩得更多,所以可以发送到云进行进一步的AI处理。 在训练中,边缘和云AI是“ 像“ 可以在混合模式下运行以提供虚拟自主学习” 的功能,在这种情况下,边缘AI过滤大量数据“ 教” 云AI。

边缘AI芯片组支持的神经网络体系结构类型有限,通常比云实现的功能晚几个月。 解决这些限制的一个有用方法是使用编译器的工具链和堆栈,如Apache TVM。 这有助于将模型从一个平台迁移到另一个平台。

另一种方法是使用已知在边缘AI中工作良好的网络体系结构直接对目标平台进行培训。 他考虑到训练数据的数量和种类足够多,发现这种方法通常比跨平台编译器方法好。 但是,必须在培训期间以及预处理和后处理期间进行手动操作。

边缘与云AI之间的一般折衷

开发人员需要在云和边缘AI之间进行权衡的最常见的权衡如下

处理能力:边缘计算设备通常功能薄弱,难以更换和升级。 延迟:云计算速度很快,但对运行和工业控制等实时应用程序没有准备。 功耗:许多设计者不需要像边缘一样考虑云的功耗限制。 连接性:连接性下降时,自动驾驶车等安全上重要的服务无法停止,实时AI驱动的决策处理被推向边缘。 安全:用于认证和处理指纹和病历等机密信息的AI服务通常最好在本地出于安全理由进行。 即使部署了非常强大的云安全保护,用户从边缘处理中获得更好的隐私感也可能是重要的考虑因素。 【编集推奨】

    相关文章Related

    返回栏目>>

    河洛网首页

    Copyright © 2019 河洛网 版权所有 dahuimr@163.com