凤来凰科技网

能投资赋能小米这只狗 到底安的什么“芯”技术跨

凤来凰科技网 1

8月10日晚,他又产生了一个念头:“能否把AIoT引入到新能源领域,小米发布会的,实现能源数字化,给人留下印象最深的不是手机如何,驱动低碳未来?”。于是,而是在发布会最后雷军公布的小米仿生四足机器人——CyberDog,朱卓敏毅然放弃了硅谷的事业发展,中文名“铁蛋”。

CyberDog(铁蛋)是一款工程探索版的仿生四足机器人。其12个自由度的四足移动平台,他的第二次创业由此起步。2015年夏天,具有优越的平衡能力与环境适应能力,朱卓敏创立了电享科技PowerShare,对于无规则地形有很好的环境适应性。

搭载视觉感知相机,以创新的电池AI技术为核心,使CyberDog具备优异的人脸、人体识别与能力;融合触摸传感器、语音Al模块, 在电池性能和充放电技术领域拥有超过上百项AI算法(目前已经申请近50项技术发明专利),APP等可以实现多模态的人机交互,致力于提供专业的能源数字化服务,使CyberDog成为用户的陪玩伙伴。在更多功能操作与代码后,包括从咨询、设计、到运营和运维的端到端服务,CyberDog也可以满足机器人表演、娱乐、科教等广泛的行业使用。

CyberDog(铁蛋)

仿生四足机器人工程探索版米粉价9999元,将在小米社区开启首批共创体验官招募。最后,小米还宣布:小米机器人实验室正式,并邀请机器人领域精英工程师加入,此外小米计划筹建机器人开源社区。

这其中笔者注意到“铁蛋”采用了NVIDIA Jetson Xavier NX边缘AI超级计算机,要知道“铁蛋”的售价是9999元,而这个模块的成本就达到了399美元(约合2600元左右),25%的成本都用在了这里,NVIDIA Jetson Xavier NX究竟有什么过人之处?

NVIDIA Jetson Xavier NX边缘AI超级计算机

01NVIDIA Jetson Xavier NX

首先我们来看一下NVIDIA Jetson Xavier NX的产品信息和性能参数,它的算力为 21 TOPS,分别由10W和15W两个模式,整体功耗非常小,模块尺寸仅为70×45mm(比我们常用的银行卡还要小),但性能却异常强劲。根据小米“铁蛋”的官方宣传图来看,采用的为15W高算力模式。

Jetson Xavier NX两个版本的参数

另外Jetson Xavier NX对外界设备的支持和兼容性也很好:

在CPU方面,配备了6核 Carmel Arm 64位的CPU,拥有6MB L2缓存+4MB L3缓存。GPU方面,拥有384个CUDA和48个Tensor Core的NVIDIA Volta架构,外加两个NVDLA。

不少玩家可能会惊呼,384个CUDA和48个Tensor Core能有多少算力?但对于Xavier系列,算力不止由GPU的CUDA核心提供,评估较为复杂。

Jetson Xavier NX

如果仅看GPU的FP32算力,有845 GFlops,其中48个Tensor Core,提供了6.8TFlops的FP16算力;两个NVDLA(Deep Learning Accelerator),提供FP16和INT8支持。这样总计就有21TOPs的INT8算力,这些只需要消耗15W功耗。如果切换到10W模式,也能提供 14TOPs的算力。

铁蛋的配置

CUDA和Tensor Core熟悉显卡的朋友都比较熟悉,而后面的NVDLA(NVIDIA Deep Learning Accelerator)为NVIDIA开源的一个框架,具有很好的可扩展性和配置性,为深度计算提供了一个简单灵活的推理加速解决方案。

NVDLA核心内架构

NVDLA硬件主要包含卷积核心(Convolution Core)、一维数据处理器(Single Data Processor)、二维数据处理器(Planar Data Processor)、通道数据处理器(Channel Data Processor)、专用内存与数据形状重塑引擎(Dedicated Memory and Data Reshape Engines)。

我们继续说Jetson Xavier NX,内存方面采用了8GB 128bit LPDDR4x内存,带宽为51.2GB/s。LPDDR内存通常被用在移动端产品,相比我们熟悉的DDR系列内存,它最的特点便是低功耗。

铁蛋浑身遍布传感器

Jetson Xavier NX在视频输出方面支持2×4K30编码和2×4K60编码,拥有最多6个CSI摄像头(通过虚拟通道最多36个),12路(3×4或6×2) MIPI CSI-2接口,并且该模块拥有千兆以太网连接。其中摄像机串行接口2(CSI-2 )提供了更高的接口带宽和更好的通道布灵活性,最重要的还是降低了接口功耗,改善了并行难以扩展的问题。

01CybDog——快进到赛博精神世界

我们都知道,这个Jetson Xavier NX模块就相当于“铁蛋”的脑,那么这个脑具体能干什么,只是记住操作指令吗?

NVIDIA表示,Jetson Xavier NX是目前全球最小的AI超级计算机,它的计算能力为许多嵌入式边缘计算设备敞开了门,这些设备对性能需求,但却收到尺寸、重量、功耗或成本的限制。其中包括小型的商用机器人、无人机、智能高分辨率传感器(工厂物流和生产线)、光学检测、网络录像机、便携式医疗设备以及其他工业物联网系统。

此前在GTC发布会上,NVIDIA发布了一个demo,演示了云原生技术帮助者在NVIDIA NGC训练好的模型,即在Jetson Xavier NX设备端上同时运行 4 个任务。左上角是 4 路视频的行人检测,左下角是多人姿态估计,右上角是使用了 BERT 的语音对话机器人,右下角是 Gaze 目光。而这一切都同时在一块树莓派小的板子上运行。

使用Jetson Xavier NX演示的4个demo

这4个Demo展示出了Jetson Xavier NX在智慧视频分析和机器人应用上的潜力。Demo 中虽总共只有6路视频流,但Jetson Xavier NX实际能进行16路H.264编码的1080P视频流解码。如果使用H.265编码,甚至可以支持到32路。那么左上角的 Demo 就可以用来做人数统计,甚至在加入重识别后可以分析活动轨迹。

而姿态估计的应用就更为广泛,并且在机器人领域中有着更的价值,可以让“铁蛋”进行手势识别,动作分析,并根据分析结果执行进一步操作指令。

右侧两个技术则提供了构建对话机器人的良好范例。通过Gaze目光,“铁蛋”可以知道用户是在跟自己说话,还是跟旁边的第三者。

快进到赛博精神世界

当然,在未来机器人的应用远不止这4个demo,Jetson Xavier NX这种高算力低功耗超级计算机的出现,极的扩展了我们的思路和应用场景。或许在不久的将来,机器人就可以观察我们的情绪,通过AI判断出适宜的对话内容,或许以后再我们不开心的时候,机器人可以“亲手”泡上一杯咖啡,端到我们面前。

AI计算的突破不仅让我们的生活变得更方便,也逐渐变得更有“人情味儿”。正如“铁蛋”的官方名称“CyberDog”,让我们离赛博精神世界又进了一步。

但话又说回来,赛博世界真的好吗?

(7744018)

硬盘固态机械怎么分

windows远程怎么切换用户名

android 更改图标大小吗

三星手机怎么取消动态拍照

门口路边安什么样的摄像头

顺丰快递为什么微信没有提醒呢

莱芜邮政快递什么时候停运

小红书钱包里为什么有钱

seo关键词和站点关键词

标签: