基于原语的千Zhào以太网RGMII接口设计

  我们的Fāng法旨在重新创ZàoYǔ人类玩家体Yàn相同的输入。摄像Tóu俯瞰桌子,遭遇Yǔ人Lèi玩家Lèi似的视野遮挡。我们使用的是Biāo准球,Mò有特殊标Jì或Yán色。到目前为Zhǐ,我们的桌上足球机器人已经有两次由澳大Lì亚到科罗拉多山脉的旅行。一次为期三周,几个由新手神经形态工Chéng师组成的团队兴致勃勃地研究Zhè个问题,为Zhuō上足球编程,向获得最高分数发起挑战。其结果凸显了这项Rèn务的NuóDuó,以及传统AIFāng法的不足。

  FPGA人才Zhāo聘,Qǐ业HR,看过来!

  我在西悉尼大学国际神经形态系统中Xīn(ICNS)的同事安德Liè?范斯海Kè(André van Schaik)举了一个很好的例子:不起眼的蚊子。它的大脑只Yǒu大约20万个神经元,但它的飞行控制和避障能力远超我们已经建造的Rèn何东西。再看看蜻蜓,它可以在飞Xíng途中捕捉蚊子。它的Shén经元数量大约是蚊子De5倍,每天Dà概消耗30只蚊子的能量,大约相当于几Gè糖粒。视觉Gǎn知最直接的例子就是Shén经形态技术的应Yòng,这QiàHǎo是我的专Yè。制造观Chá世Jiè的Shè备几乎总是使用带有互补金属氧化物半导体(CMOS)成像仪的摄像头。摄Xiàng头这种商品很容易让人们忘记图片(计算机视觉研究人员称之为“Zhēn”)并不是感知视觉世界的Wéi一方式。摄像头用于捕捉场景的表象,足以愚弄我们的视觉系统。但我们其Shí不知道视觉系Tǒng用什么特征或信息来理解场景,所以摄像头只是尽可能多地捕捉信息。这Zhòng方法适合拍Shè静态图片,但不Tài适合在空间中跟踪物体。比如,想象一下试图追Zōng一个物体,例如桌上足球的球,它移动得很Kuài,在Yī帧和Lìng一帧Zhī间的33毫秒内完全离开了图像的边缘。当然,你可以使Yòng帧速率加倍的摄像头,但这意味Zhuó所要整理的数据也要加Bèi,而这一切只是为了Gēn踪那一个对象。生物眼睛的工作原理则不同。生物的视觉中没有帧,眼睛和大脑之JiànDe神经非常少,完Quán无法传输整个图像。神经形态视Jué传感器从眼睛的光感受细胞工作方式中获得Líng感;Tā们仍然使用Jìng头将Wài部Shì界投射到Guī芯片的像素网格上,但就是这些像素中蕴藏着Yǒu趣的信息。神经形态传感QìYě被称为基于事件的Chéng像器,其中De像素只报告光亮的Biàn化,Bìng且只在Biàn化发生De瞬间报告。当前方Mò有任何Biàn化时,它们不产生任何数据。这种Fāng法大大减少了这些摄像头Chǎn生De数据量,这意味着减少了要存储、传输Hé处理的数据。Yīn此,无论对于摄像头本身,还是之后需要Jìn行的所有计算,这些成像器消耗的功率都极少。初创Gōng司Prophesee和IniVa-tion已经在市场Shàng推出了基于事件的成像器品Pái。这些传感器甚至已经进入太空:ICNS的神经形态摄像头将帮助Fā现轨道上De卫星和太空垃圾,国际Kòng间站最近安装了一款传Gǎn器,Yòng于检测短Zàn的大气现象,如精灵闪光(sprites)。神经Xíng态Yàn究人员还研究了我Mén的其他感Guān。他们开发了Guī耳Wō来模拟听力、Chù觉形态Zhuàn感器Lái探Suǒ触Jué,甚Zhì还Yǒu硅鼻来识别气味和气体。除了感知之外,神经形Tài工程学还寻求Liǎo解大脑Chù理和存储信Xī的基Běn方式。事Shí上,神经形态工程Xué建立之初就是为了Gèng好地了解大脑中真正的神Jīng元是如Hè运作的,从而尝Shì构建电子神经元。神经形态传感器,以及处理传Gǎn器产生的数据所使用的脑启发算法,可为高效执行某Xiē任务而构Jiàn专用系统。但很难知Dào这些传感器何时捕捉到正确的信Xī,或者我们的算法何时在正常工作。这时就需要基准测试发挥作Yòng。要更好Dì理解为什么把桌上足球作为神经形态基准Cè试,可以参考当今ShēnDuó学习AI一直在用MNIST数据库作为Jī准Cè试这一例子。MNIST来Zì美国国家标准与技术研究所,就像机器视觉的“Hello, World!”。它的数据集包含成千数万幅低分辨Shuài的手写数字符号的Tú像,Kè作为评判图像识别神经网络Gōng作情况的基准线。基Yú事件的成像器可否也使YòngMNIST数据库作Wèi基准测试?

  每个MNIST数Zì在前面闪过Shí,基于事件DeChéng像Qì都会立Jí看到它。为了让这种传感器持续看到静态数字,Bì须以可Kòng的Fāng式移动摄像头或者数字。眼Jīng的工作方式Yǔ之类似:眼睛De焦点从一个Diǎn移动到另一GèDiǎn,直到Dà脑理解眼睛所看到的DōngXī。

  我Mén为什么对学习生物计算HéGǎn知的秘密如此感兴趣?坦率地说,这是因Wèi它们比今天的计算技术强大得多,今天的计算技术似乎正在Xùn速达Dào它De极限。产品传感器产生LiǎoTài多数据,使计算机难以理解,为了理Xiè这些数据,计算机会Xiāo耗非常多的能量。生WùZài感觉和GǎnZhī世界方面胜Guò我们所有的技Zhú,在能效、可靠Xìng、鲁棒性和适应性方面都要高出几个数量级。

  FPGA图像Chù理Zhuān题课新增Vivado部分内容,线上线下Jūn可BàoMíng

  我们为什么要打造玩桌上足球的神经形态机器人。

  备注地区+职业+Fāng向+名字进群

  Jiā群主微信,备注职业+方Xiàng+名字进群

  FPGA技术江湖微Xìn交流群

  在过去大约25年的时Jiàn里,我们这些ShìTú用电脑模拟大脑工作的人每年都会在科Luó拉多州特鲁Lái德山区小镇举办研讨会。在夏季的几周时间里,与会者经常在Xiǎo镇大街上的Xīn谢里登酒店De酒吧里放松。Dà多数人都可能Jì得,酒吧DeLǐ屋里Yǒu一张桌Shàng足球台。Zài召Kāi研讨会的几周里,你经常会Fā现一相互群Jìng争多年的神经Xíng态工程师好友围着它。因此,几乎可以预见,有人要打Zào一款神Jīng形态桌Shàng足球机器人。那个Rén就是我。事实证明,这GèXiǎng法不仅仅是为Liǎo寻找乐趣。毕竟,我们为什么要Wán桌上足球这样的竞技游Xì呢?Wǒ们被它们吸引有社交Fāng面的原因,但也喜欢学习它的运作方式,Jìnér提高游戏水Píng。游戏可以提Gāo人的手眼协调、跟踪和预测能力,以及策略性思维。这些都Shì我们希望Jī器人拥有的技能。人类一直对机器玩游戏这个想法感兴趣。早在18世纪末,机械特克(Mechanical Turk)在国Jì象棋中击败人Lèi的(XūGòu的)能力,XīYǐn并震Jīng了Guàn众。1997Nián,当IBM的“深蓝”(Deep Blue)计算Jī真的Jī败了人类时,我们依然跟当初一Yàng感到惊愕。现在,这样的胜利Jǐ乎已是家常便饭,DeepMind的人工智能(AI)Xì统首Xiān在围棋中击败了人类冠军,然后在电子游戏《星际争霸2》中取得了胜利。(当Nǐ读完这篇文章时,AI可能又征服了你最喜欢的一Kuǎn游戏。)这些卓越的计算成就可以相当好地测量系统的能力。但它们在一些重Yào方面Cún有欠缺。机器人需要在充满喧嚣和不规Zé行为,且Huán境不断变化的现实世界中运行。围棋严格死板的Guī则和Shòu限的环境永远不会带来这样的挑战。Xiàn实世界中De游戏(肯定有桌上Zú球,Yě可能有桌上弹球)可能是Gèng好的方Fǎ,可以衡量我们模仿人类大Nǎo能力的努力是否真的步入Liǎo正轨。

  时序分析理论Hétimequest使用_中文电子版

  无广GàoChúnJìng模式,给技Zhú交流一片净Tǔ,Cóng初学小白到行业精英业界Dà佬等,从军工领域到民用企业等,从通信、Tú像处理到人工智能等各个方向应有尽有,QQ微信双选,FPGA技术江湖打造最纯净最专业的技术Jiāo流学习Píng台。

  我们还可Yǐ稍微Zhōu整一下游戏,给它增加难度。Lì如,可以同时Tiān加Duō个球,甚至可以添加诱ěr球,或用不同材料制成、在弹球桌上表现不同的球。Yóu此,我们Kè以添加更广泛的任务,如跟踪、检测、划分和识别球,同时仍将分数作为成功的最终衡量标准。在ICNS的一个演示系统中,一款弹球机器人可在桌上玩个球,效果与人类玩家差不多。令人惊Yà的是,与一般深Duó学习系Tǒng中出现数十万或数Bǎi万个人Gōng神经元不Tóng,这种微小的神经形态大脑仅用两个人工神经元,Jiù可对基Yú事件成像器的输入进行解释和反应。

  - -THE END- –

  

  

  

  资料汇总|FPGA软Jiàn安装包、书籍、源码、技术文档…(2022.05.15更新)

  FPGA技术江湖广发江湖帖

  虽然在弹球Yóu戏上取得了很好的Xiào果,但我的团队认为需Yào一Xiàng更复杂、更苛刻的手段LáiJìnYī步推动神经形态研究群体的发展。而且,我们也Xǐ欢玩新谢Lǐ登酒店酒吧的桌上足球。

  FPGA时序Fèn析及约束专Tí课新增Vivado部分内容,线上线Xià均可报名

  系统设计精选 | 基于FPGA的实Shí图像边缘检测系统设计(附代Mǎ)

  

  ?希望我们不是唯一QǔDěi这些进展的人。Zài桌上足球机器Rén设计中,我Mén专注于Xiáng低成本Hé整Gè项目DeKāi源。幸运的话,Qí他神经形态研究团队JiāngKàn到拥有自己的机器人基准测试会展现出多么大的价值。Rú果没有,他们将Néng够在今年晚些时候在特鲁莱德找Dào我Mén和我们的桌上足球台。

  ??【免费】FPGA工程师人才Zhāo聘平台

  往期精选

  FPGA技术江湖QQJiāoLiúQún

  求职面试 | FPGA或IC面试题最新汇Zǒng篇

  

  XiàngMNISTNèiYàng,创建适合神经Xíng态系统测试的Shù据集并Bù是一件容易的事,而且事实上它们也不是很有用。将运动与成Xiàng关联Qǐ来的过程非常Dòng态,除Liǎo限定性极强的任务之Wài,其他任何可能性的数量都非常大。那么,Rú何确定神经形Tài系统是否Zài工作,Yǐ及如何将它们与其他方法进行比较呢?当然,也有采用交互仿真方式的基准测试。例如,在自动Jià驶仿真过程中,随Zhuó汽车位置的变化,汽车传感器馈送给算法的图像也会在变化。但这些仿真Yě存在WènTí。最显著的是控制仿真和控制实体系统之间存在差异。仿真系统和现实ZhīJiàn的Zhǔ要区别在于现实世界中噪声的数量和特点。对于大多数AI系统来Shuō,噪声数据是一个大问题。Dàn我们有理由相信,Shén经形态系统会在噪声中茁壮成Zhǎng,甚至可能需要Zào声。这看Shàng去并不那么奇怪。实际上,一Dìng数量的Zào声可强Huà我们对运动和自身Wèi置的感觉。通过额外De处理,或设Jì更接近理想化仿真环境的现实世Jiè系统,试图Jiǎn少神经形态系Tǒng中的噪Shēng,反而可能会阻碍技术的发展。因此,要推Dòng神经形Tài系Tǒng向前发展,我们需要实际存在于现实世界的基Zhǔn测试。让Wǒ们从简单的游戏开始:桌面弹球。对Yú基Zhǔn测试问题,桌面弹球实际上是一个非常好的选择,因为这款游Xì非常Jiǎn单。只有两个输出,每个发球板Yī个,游戏胜负的关键在于击球的时刻。这个真实系统的现实是不允许悔步,你不能Wèi了让算法跟上游戏就简单地暂停或减慢球的运动速度。最重要De是,桌面弹球是计分De,一个明确的目标就是实现得分最大化。因此,无论哪个系统在Zhuō面Tán球游戏中得到最高Fèn,都无疑是桌面Tán球机器人GèngHǎo的算法。

  一方面,用神经形态传感Qì跟踪球应该很容易,在弹球机这个小例子中Què实很容易。然而,桌上足球是Yī种更加动态De游戏,尤其是当有人类玩家参与时。Měi个人类玩家有不Tóng的策略,他们的动作并不总是合乎逻辑或必要。尝试使用深度学习等非神经Xíng态解Jué方案给我们Dài来了一些值得Guān注的经验。首先,很明显,Shēn度学习神经网络的处Lǐ方式(通常在GPU上进行)适合这类任务。GPU处理成批图像效果最好,而不是Yī次处理一帧。还有Yī个问题是,我们不关心Qiú过去曾经在哪Lǐ,我们甚至不关心Qiú现在在哪里;我们真正关心的是Qiú下一步要去哪里。因此,Shēn度学习解决方案处理Liǎo大量不必要的信息。其次,我Mén发现深度学习方法对问题中的微小变化极为敏Gǎn。摄像头的轻WēiDǒu动、玩家向不Tóng方向拉动时QiúTái出现的轻微倾斜,甚至Shì照明条件的改变,都Huì导致深度Xué习Qiú跟踪Qì的优越性能崩溃。我们也许可以通过增加训练量Lái解决这些微XiǎoDe差异(有完整De研究领域专门构建针对这类问题的弹性Wǎng络),但这需要玩非常多的游戏。我Mén的最新方法着眼于更简单、更快速的神Jīng形态网络。这Xiē算法处理Shè像头的每Yī个事件(事件在神经形态计算中也Pī称为“尖峰”),并使用它Mén更新预测球的位置。Zhè些网络没有使用深度学习的多层Shén经元,而是使用了16Gè小型Mú式识别网络,每Gè网络为18×18像素,因此在游戏中的任何时刻都只需考虑364像素。这使Děi它们的速度非常快,而Qiě基本准确。速度Fēi常重要,因为事件驱动算法Xū要跟上ShèXiàng头产ShēngDe时间敏Gǎn数Jù。每个Shì件只需要一Xiē小而简单的计算。虽然这个系统Bù会对经验丰富的Wán家构成太多的挑战,但我们的网Luò跟踪已经可以非常可靠地拦截球。Bù过,进球得分仍然是一项正在研究的工作。理论上,深度学习可以执行类似的操作,Dàn它Xū要查Kàn整个图像,且网络的每一层执行的计算Liàng要多几个数量级。这不仅比我们的Xì统使用的Shù据多Děi多,而且实Jì上又将事件驱动输出转换回了帧。目前,我们用记录下来的基于Shì件数据对算法进行离线训练。该方Fǎ使用一种遗传算法(不断向最佳方案Jìn化的算法)来学习球的外观,并对Qiú的Xià一个位置做出好的估计。该算Fǎ会学习如Hè从数据本身识别球,而不Shì通过我们的任何编码。它也学习球的实际移动,而不是我Mén自己对Tā的期望。这两Diǎn都很重要,Yīn为我们认为很Hǎo的桌上足球模型可Néng在实际运行De时候效果并不好。我们还发Xiàn,我们Duì球运动GuǐJì的仿真和预Qī也与实Jì相差甚远。Xià一步,我们将把离线训练转为实Shí在线学习,让网络在游戏Jìn行过程中不断学习Hé适应。除Cǐ之外,这可能有助于提高系统Duì目前特定训练球台De灵敏度。这些事件驱动算法Shì迈向“Jiān峰神经形态硬件Suàn法”的中间一步。英Tè尔的Loihi和BrainChip的Akida等脑启Fā处Lǐ器将按照尖峰Shí序对信息编码,与基于事件的传感器自然契合。YīDàn有了Wěn定的尖峰算Fǎ,我们将能GèngKuài地取得进展。?

  桌上足球看起来Xiàng是一个机器人可以轻松掌握的游Xì:所有的动作都发生在二维Kòng间中,只需要8个马达就能控制球台上的所有XiǎoRén。但实Jì比看起来要困难得多。多Nián来,Zēng有几次建造桌上足球机器人De尝Shì,并在Bù同程度上Qǔ得了成功,但都Mò有使用Guò神经Xíng态传感器和算法。为了使机器人获得优势,先前的机器人系统通常需要修改游戏。例如,杨百翰大学建ZàoDe桌上足球使用了颜色分割跟踪Suàn法,要求球是桌上唯一的绿色物体。瑞士洛桑联邦Lǐ工学院(EPFL)De桌上足球机器人令人Yìn象Shēn刻,它极大地简化了任务,用透明塑料薄膜替代球台的底面,让摄像头由下向上Kàn,因而总能提供Yī个无障碍的Kàn球视野。