MediaTek运用Meta Llama 2大语言模型,赋能终端设备生成式AI应用

2023 年 8 月 24 日,MediaTek宣布利用Meta新一代开源大语言模型(LLM)Llama 2 以及MediaTek先进的AI处理器(APU)和完整的AI开发平台(NeuroPilot),建立完整的终端侧AI计算生态,加速智能手机、物联网、汽车、智能家居和其他边缘设备的AI应用开发,为终端设备提供更安全、可靠和差异化的使用体验。预计年末采用 MediaTek 新一代天玑旗舰移动芯片的智能手机支持由Llama 2模型开发的AI应用,可为用户带来振奋人心的生成式AI应用体验。

MediaTek 资深副总经理暨无线通信事业部总经理徐敬全博士表示:“生成式AI的日益普及是数字化转型的重要趋势之一,我们的愿景是为Llama 2的开发者和终端用户提供工具,带来更多令人兴奋的AI创新机遇和产品体验。通过与Meta的伙伴关系,MediaTek可提供更强大的硬件和软件整体解决方案,为终端设备带来远超以往的功能和体验。”

目前,大多数生成式AI都依赖云计算,MediaTek基于Llama 2模型成功实现直接在终端设备上运行生成式AI应用。这将为开发者和用户提供独特优势,包括无缝的使用体验,更强的用户信息安全和可靠性,更低延迟,离线运算的能力以及更低的运营成本,让每个人都能享受到生成式AI带来的便捷与创新。

要在终端设备上充分释放生成式AI的潜力,设备制造商需采用高算力、低功耗的AI处理器(APU),并通过更快、更可靠的网络连接来增强设备的整体算力。如今,每一颗MediaTek 5G智能手机SoC均搭载AI处理器,已广泛执行生成式AI应用成功案例,例如 AI 降噪(AI-NR)、AI 超级分辨率(AI-SR)以及AI运动补偿(AI-MEMC)等。 MediaTek将于年末推出新一代旗舰移动芯片,将采用针对Llama 2模型而优化的软件栈(NeuroPilot),与搭配支持Transformer模型做骨干网络加速的升级版AI处理器(APU),可减少动态随机存取内存(DRAM)的读写消耗和带宽占用,进一步强化大语言模型和生成式AI应用的性能,助力开发者打造令人惊艳的AI应用,加速终端设备AI应用落地发展。