在一份最新发布的研究论文中,苹果详细描述了其iPhone和其他产品的人工智能功能训练能力,并透露了一个重要信息:苹果选择依赖谷歌的芯片,而非市场领导者NVIDIA的GPUs。这一决定对于NVIDIA来说无疑是一个意外,因为其市值和业务的快速增长主要得益于对GPUs的强烈需求。 苹果的研究论文显示,其拥有27.3亿参数的苹果基础模型(AFM)是依赖于通常由Alphabet Inc的谷歌提供的v4和v5p张量处理单元(TPU)云集群进行训练的。这表明,苹果在AI方法的实现上,选择了TPUs作为GPUs的替代品。 论文涵盖了苹果AI模型的训练基础设施和其他细节,这些模型将支持今年早些时候在WWDC上宣布的功能。苹果此前已宣布了设备上的AI处理和云处理,而这些AI功能的核心正是被称为AFM的苹果基础模型。 对于服务器上的AFM,或称为Apple Cloud Compute的云端AI功能模型,苹果透露,它在“8192个TPUv4芯片”上“从头开始”训练了一个6.3万亿token的AI模型。这些TPUv4芯片以每组4096个的形式提供,显示了谷歌在AI训练芯片领域的实力。 此外,苹果还表示,无论是设备上的还是云端的AFM模型,都在TPUv4芯片和v5p Cloud TPU集群上进行训练。v5p是谷歌Cloud AI“超级计算机”的一部分,其提供的每秒浮点运算次数(FLOPS)是TPU v4的两倍,内存是三倍,能够将近快三倍的速度训练模型。 对于设备上的AI模型,用于写作和图像选择等功能,苹果使用了一个64亿参数的模型,该模型也采用了与AFM-server相同的训练配方。不过,在设备上AFM模型的训练中,苹果选择了更新的v5p芯片,具体使用了2048个TPU v5p芯片进行训练。 论文还分享了苹果对模型性能的评估结果,包括模型对有害响应、敏感话题、事实正确性、数学表现以及人类对模型输出的满意度等方面的评估。据苹果称,AFM服务器和设备上的模型在抑制有害输出方面均领先于行业同行。例如,与OpenAI的GPT-4相比,AFM服务器的有害输出违规率为6.3%,远低于GPT-4的28.8%。同样,设备上AFM的7.5%违规率也低于Llama-3-8B(由Facebook的母公司Meta训练)的21.8%。 在电子邮件、消息和通知摘要方面,设备上的AFM也表现出了领先的满意度百分比,分别为71.3%、63%和74.9%。研究论文指出,这些结果均领先于Llama、Gemma和Phi-3模型。 |
原创栏目
笔记本热点
笔记本视频
IT百科
笔记本热词
网友评论
聚超值•精选