PrismML为高通芯片智能眼镜推出 1-bit微型语言模型
在Snapdragon Summit上,高通展示了PrismML的 1-bit Bonsai LLM,可在搭载Snapdragon AR1 Gen 1平台的AI智能眼镜上本地运行;该眼镜版为 20 亿参数、面向视觉与语言调优的模型。
AI解读:PrismML把自家微型语言模型搬到了智能眼镜上,运行平台是高通的Snapdragon AR1 Gen 1。这是高通在Snapdragon Summit上展示的合作,属于产品适配层面的进展,不是已上市的眼镜产品。
这个眼镜版叫 1-bit Bonsai LLM,20 亿参数,同时面向视觉和语言做了调优,目的很直接:让戴眼镜的人可以实时问“我正在看的是什么”。模型在本地跑,不依赖云端。
PrismML的通用卖点是压缩:把更大的模型缩小约 4 倍,同时在标准基准上保留几乎全部性能。眼镜版就是这个思路落到具体形态上的一次尝试。
真正值得留意的限制在最后:目前还没有任何搭载PrismML的智能眼镜发布。所以这次展示说明模型能在该芯片平台上跑,离消费者买到产品还有距离。
PrismML为其微型语言模型做了一个智能眼镜版本,运行在高通Snapdragon芯片上。TechCrunch报道称,高通在Snapdragon Summit上展示了PrismML的 1-bit Bonsai LLM,可以在基于Snapdragon AR1 Gen 1平台打造的AI智能眼镜上本地运行。
据TechCrunch此前报道,PrismML的看家本领是大幅压缩较大模型——在该案例中缩小 4 倍——同时在标准基准上保留几乎全部性能。眼镜版是一个 20 亿参数的模型,针对视觉和语言做了调优,佩戴者可以实时询问自己正在看的东西是什么。
PrismML由Caltech研究人员创立,UC Berkeley的Ion Stoica担任顾问。其更大的目标是做开权重AI,让模型在设备上运行,并更好地利用设备已有的算力。这家初创公司将这一定位描述为一种替代方案,用以摆脱对专有AI实验室隐私承诺及其对更多算力无穷需求的依赖。为高通芯片发布模型是朝这个愿景迈出的一步。但目前还没有任何搭载PrismML的智能眼镜发布。