我国首个机器人多模态模型及双臂协作系统面世

12日,成都人形机器人创新中心(以下简称“创新中心”)在四川成都发布了我国首个机器人多模态模型以及双臂协作系统。该模型能够使机器人理解、推理抽象的语义指令,并调度双臂协作系统执行任务。

多模态数据协同推理是指融合两种或两种以上不同感知来源,进行综合推理,并完成复杂任务的过程。创新中心研究人员将多模态应用于人形机器人领域,使机器人融合图像、语义、力感知、环境感知等多种因素,综合判断、生成任务并执行。这是人形机器人具有自主思考能力的关键核心技术。

创新中心董事长张睿睿介绍,语义指令包括相对明确地将饮料和非饮料进行区分和分拣,也包括相对抽象地将圆柱体和长方体物体、可食用和不可食用物品进行区分和分拣。完成以上任务,需要机器人通过多模态模型自主对所有物品进行提取归纳。特别是对多个相似瓶子形状的物体,机器人需进一步通过瓶身包装上的文字、图片等要素综合判断其是否为可食用物品而非化妆品等非食用瓶装物,才能完成任务。

“多模态模型的发布,不仅加速了‘AI物理化’的进程,也让人形机器人从‘预设摆拍’‘遥控操作’进化到拥有更强的‘大脑’和自主执行能力。”张睿睿表示,下一步,创新中心将继续深化技术研发,不断优化多模态模型与双臂协作系统的融合应用,提升人形机器人在复杂环境中的感知、决策与执行能力。

文/刘侠 滕继濮

编辑/倪家宁


求助帮我起一个道士名字好听有个性的就好三字四字不限比如什么真人真君什么子的

1. 云鲸逍遥001清洁机器人荣膺四项明星产品称号,包括综合性能、智能化、清洁力和自清洁能力。 在2024年第五届中国清洁电器产业峰会上,这款产品得到了行业的高度认可。 云鲸智能,作为家庭清洁领域的新兴科创公司,凭借其卓越的产品性能,第三次荣获中国科技机器人企业50强,第四次获得胡润全球独角兽企业的荣誉。 2. 云鲸智能于今年4月推出的高端扫拖机器人“云鲸逍遥001”,以其全智能清洁能力,定义了全新的家庭清洁体验,并引领行业进入AI全智能清洁时代。 该产品配备行业领先的全智能空间感知系统,支持全场景自适应动态清洁,并拥有可免维护120天的全智能自清洁基站。 3. 亦逍遥DDR5系列内存,由云彣公司精心打造,象征着自由精神的传递和先进技术与传统哲学的结合。 该系列内存不仅为游戏玩家提供卓越性能,还通过高频设定和高品质用料,确保了稳定性和兼容性,开启了存储技术的新时代。 4. 云鲸逍遥001不仅是一款智能扫拖机器人,更是人工智能技术深度探索与实践的代表。 它将多模态大模型NarGPT嵌入其中,成为行业首个获得中国信通院4星认证的可信AI大模型,并通过了德国莱茵的安全隐私认证。 5. 在2024年农历四月十五这个温馨的日子里,一声声早安祝福语传递着人们的关爱与祝福。 愿每一个清晨,都能带给人们温暖与希望,让事事如意、乐逍遥成为现实。

如果机器人有了感情你会爱上一个机器人吗?

欲望很少,从不抱怨,从不疲倦,上得厅堂,下得厨房,无所不知,青春靓丽,忠贞不二,还可以无条件退换货。 面对这样一个完美情人,你会爱上“她”吗?但“她”是一个机器人。 这个问题并非遥不可及,人工智能突飞猛进,专家预言,机器人将会成为新的族群。 23日,日本大机器人展开幕,这个问题再度引起了广泛关注。 也许,是好好想想这个问题的时候了。 如果有一天,您看到一对俊男靓女并肩走进结婚礼堂,却被告知其中一个是机器人,你是否会惊讶不已?尽管到目前为止,这还只是发生在科幻电影中的情形,但是,就理论而言,这一切未必不会成为现实。 英国一位目前在荷兰马斯特里赫特大学攻读博士学位的人工智能研究者戴维·莱维日前大胆预测说,未来的某一天,人类将和机器人结婚。 最近,戴维刚刚完成他关于人与机器人关系的博士论文——《与人工伙伴的亲密关系》。 他在论文中认为,机器人在外表、功能和性格上将越来越像人类,所以将来很多人可能会爱上机器人、和机器人发生性关系、甚至跟机器人结婚。 这一切大约会在2050年实现。 机器人越来越像人“这一切真可能发生吗?”看到以上预测,大多数人心中都会产生这样的疑问。 一个人真的有可能爱上一个钢筋铁骨的机器人,并结为伴侣共同生活?这个预言对我们来说似乎太过前卫。 “事实上,我认为这并非不可实现,套用一句广告词,就是‘一切皆有可能’。 ”从事相关研究工作的王先生指出,机器人并不是一个新鲜的名词,机器人的雏形就是古老的牵线木偶,起初它们被设计出种种关节,由人牵引着行动,慢慢地,聪明的工匠为它们设计出更多的机关,使它们可以更自由地行动。 日本“大机器人展”就体现了不少传统的机关人偶制作技艺,譬如“送茶人偶”和“射箭童子”等就是机关人偶的杰作。 早期的机器人制造更多的是以工业应用为目的,上世纪50年代出现工业机器人,服务机器人则出现于上世纪80年代,譬如入围日本2006年度机器人大奖赛优秀奖的清扫机器人、用于给上肢行动不便的病人喂饭的护理机器人“我的勺子”、机器人家庭保姆“若丸”等。 而现在的机器人则越来越重视智能。 机器人已经由原来的“铁领”技术工人身份逐渐向更多的消费级应用转变——在这个过程中,机器人正变得越来越“聪明”,无论从外表还是“智力”水平来看,机器人都越来越像人。 “其实机器人本身是否像人并不是关键,除了人型的机器人,还有很多不同的机器人。 不过通常来说,机器人越像人,价格就越昂贵。 ”而随着近年来人工智能与机器人的结合,也将会给机器人技术带来革命性的变化。 王先生说。 “被称为‘机器人之父’的Unimation公司创始人乔·恩格伯杰早就预言过,未来使机器人振兴的是服务行业毕念。 这就需要机器人拥有更多与人的交互性,具有更多学习及理解人类思维的能力。 机器的学习能力是惊人的,当机器人的型山知识积累达到一定量时,谁能担保不会发生质的飞跃?”智商情商一起发展撇开婚姻不谈,你想像过自己会和机器人在一个屋檐下朝夕相处,共同生活吗?比尔·盖茨就这样想过,他曾经在著名的《科学美国人杂志》上发表文章,在对未来的高科技产业预言时认为,未来家家都会有机器人。 他认为,从现在开始到未来30年,机器人将经历与过往30年间PC发展类似的过程,而且将会更加精彩。 人类即将进入家庭机器人的时代。 在某公司担任技术工程师的赵先生告诉记者,日本已经发明了造价高达上百万美元的仿真机器人,不仅外表与人相似,而且具备感觉,在硅胶 “皮肤”下布满类似人的皮肤神经系统的电线,控制机器人的感官。 专家预测,在未来的30年,机器人与人的差距将越来越小,并会发展到具有一定的思维和判断能力,甚至具有3~5岁婴儿的智商。 事实上,现在有些计算机已经能部分听懂人类的话,并且会按照人类的命令去执行某些动作。 但多数命令都是生硬的,不带任何感情色彩。 而这一点将会改变。 换句话说,机器人进入家庭,光有智商不够,还得具备情商。 “我认为家庭机器人单有智力是不够的,虽然早期人们可能出于好奇购买这样的机器人帮助处理家庭事物,但没有人喜欢永远对着一台冷冰冰的机器自言自语。 无论机器人长得多么像人,智力多高,不具备情感机能的机器人仍旧很难进入家庭。 家庭机器人时代的机器人应当懂得察言观色,根据人的情感变化来做出回应。 ”赵先生这样认为。 但是,机器真能具有人的感情吗?中科院自动化所所长谭铁牛曾在演讲中指出,情感的表达是计算机拟人化特性最为生动的体现。 目前关于计算机拟人化的研究主要集中在情感语音合成和情感面像合成等领域。 例如:在情感语音合成上,通过在语气的运作上,加入情感控制参数,增加了语音合成的表现力;在人脸上附加表情生成,使得其表达的含义更生动和精确。 不过目前的表达系统多局限在语音合成、面像和姿态合成的具体实现上,在多模态情感表达方面,涉及并不多。 有必要在情感数据分析结果和学习算法的支持下,进一步细化情感表达的参数化模型,通过和情感理解技术的融合,深入进行多模态的情感表达的理论研究。 会爱上机器人吗一旦机器人进入家庭,并在情感表达方面有了新的突破,是否就预示着在朝夕相处的情况下,机器人有可能对人类产生感情,甚至爱情?戴维认为这是可能的,他指出,目前心理学家已经基本弄明白人类为什么会互相产生爱慕,这包括大致12个基本原因,而这些原因也几乎同样适用于人类和机器人之间的关系。 例如,人类彼此相爱的原因之一是因为两个人在个性和知识方面都比较相似,而这完全可以通过编程来实现;如果得知另一个人喜欢自己,人们也更可能坠入爱河,而这样的情形也是可以通过编写程序来实现的。 一旦人和机器人产生了不可分割的亲密感情,结婚似乎也不是什么不可能的事情。 不过,虽然这一结论看起来顺理成章,可推论的本身是建立在假设的前提之下的,其中涉及到的方方面面的问题足以让假设者头大。 “我还是不相信机器人会和人类产生情感。 目前机器人表达的情感都是通过设定程序实现的,不是真正的生物反应。 尽管机器人已经可以自己制作机器人,但不可能制作出生物,不能进行繁衍。 ” 一位不愿透露姓名的IT业人士指出,“机器人与人结婚目前还是个预言。 目前机器人与人还是有着本质的差别,结婚不仅涉及到伦理方面,还涉及到 ‘人权’等法律方面的内容。 就目前及未来的社会状况来看,我觉得实现的可能性很小。 ”“我认为目前和相当长的一段时间内,人与机器人结婚不可能出现,我自己也无法接受。 ”该IT业人士告诉记者,他曾就此咨询过法律人士,得到的回答是,目前婚姻只能是“自然人”的行为,作为非自然人的机器人要被确认为民事主体,其实质要件必须为独立的意志和拥有可支配的财产,机器人不具备上述条件。 但他也表示,并不排除机器人婚姻未来出现的可能。 “许多新事物都会遭到人们的抗拒,但终究会被接受,人与机器人结婚也并非不可能,技术的发展完全可以做到机器人与人的差距越来越小。 ”这和美国机器人专家罗纳德·阿尔金的想法不谋而合,他不认为到2050年人类和机器人结婚将成为合法。 但是,他同时坦言:“一切皆有可能,不合法并不意味着人们就不去尝试。 ”在记者的调查中就有网友表示,自己很看好未来机器人的发展,而且如果法律允许,自己愿意和机器人结婚。 有网友认为,机器人一旦融入社会,就属于人的一种,就应该有人权,当然也可以结婚。 这个世界上没有什么规则是永远不会改变的,“譬如在废奴运动之前,黑人和白人通婚也被认为是不可理喻;在封建社会,两情相悦也被认为是大逆不道。 而现在一切早已不是问题,我们永远不能预测社会进步的脚步,如同我们不能预测科技的发展速度。 ”婚姻是严肃的,涉及到诸多问题,甚至法律。 退一步讲,谁能保证将来不会爱上机器人?“机器人相对来说比人具有更少的欲望,没有那么多抱怨,具备各种功能,还可以无条件退换货。 ”这简直是完美情人的代表。 机器人将是新的族群虽然不少业内人士都表示让机器人具有自主情感还有很长的路要走,但这并不表示这永远不会出现。 纵观近年来电脑、网络、人工智能等技术的飞速发展,当机器人技术在某些瓶颈取得突破性进展时,一切都可能加快步伐,那时,人类与机器人将会面临怎样的局面?“爱情是人类情感里最复杂的感情,如果机器人能拥有爱情,那说明机器人的‘脑’已经发展到了相当高的水平。 ”一位从事科幻写作多年的科幻作家在与记者的交谈中指出,有不少科幻作品曾经描述过机器人与人类的感情,有部叫《机器管家》的电影描述的是一个机器人通过学习得到了人类情感,在即将达到生命终点时他被联邦法院宣判成为人类。 《终结者》中现在的“我”也和忠诚的未来机器人产生了友谊。 “从某种程度来说,科幻就是未来的预演,许多从事科幻写作的作家本身也是科学家。 科幻在为作者与读者编织梦想的时候,同时也推动着科技的进步。 许多曾经的科幻已经成为了现实,我们有理由相信我们今天的梦想也有可能很快被

李新德:筑梦未来机器人

他是一个70后,改革开放的新风与科学春天的雨露在他的骨子里深植了“承前启后,报效国家”的使命感和责任感;山东大学、华中 科技 大学、东南大学、美国佐治亚理工大学、新加坡国立大学……他历经中外名校的熏陶与磨砺,始终在人工智能与机器人技术的研究道路上牢记使命,砥砺前行。 作为中国机器人技术领域最杰出的青年专家之一,他十余年来一直深耕于机器人技术的科研和教学工作,亲身参与和见证了机器人技术在我国从萌芽、培育、发展到广泛应用的全过程。 他就是李新德,一名在机器人技术领域里坚定的 探索 者、纯粹的科学家。 他说,科研不仅是在前人的基础上深耕细作,更是要勇敢地 探索 未知的领域。 对于未来机器人的世界——更需要我们不断地突破和大胆创新。 “有一种护理机器人,可以用于老年人关怀及其他的护理服务应用场景中。 ” “有一种智能焊接机器人,能够进行自动焊接,大大降低了劳动强度,节省劳动力。 ” “有一种两栖机器人,其设计的理念是结合多足和扑翼,实现陆空两用。 ” ………… 东南大学自动化学院李新德教授平时是个安静内敛,甚至沉默少言的人,但是只要聊起人工智能或者机器人的话题,他就如同打开了“话匣子”,仿佛换了一个人似的,有着各种奇思妙想。 在他的实验室里,正在紧锣密鼓地设计着上述各种各样的机器人及系统。 不久前,他作为重要成员参与完成的“移动医疗服务机器人复杂定位与导航控制关键技术及应用”获得了中国自动化学会 科技 进步奖一等奖。 这个项目是面向国家发展重大需求,特别是重大抗疫需求,围绕移动服务机器人复杂环境感知、自主规划定位、智能导航控制3个关键技术问题,以产学研结合方式,开展移动服务机器人的关键技术攻关。 这些领域的研究恰恰是李新德的“拿手好戏”。 在2020年新冠肺炎疫情防控期间,使用该核心技术研制的自主医疗服务机器人在医院、养老院、康复中心、社区等地担任起消杀任务,大大减少了医护人员的工作量,降低了交叉感染的风险,保障了疫情防控期间人民群众的正常生活,取得了极高的 社会 和经济效益。 实际上,在过去的十多年里,李新德先后承担过国家级和省部级的科研项目20余项,授权国家发明专利17项,软件著作权5个,并取得了可观的成果和奖项。 但是比起科研工作给他带来的各种荣誉,李新德更加看重自己遇到挑战的难度等级。 最近几年,他一心扑在攻克前沿的、世界级的专业难题上,废寝忘食,夜以继日,即使遇到瓶颈,也不曾让他放弃。 李新德来自山东省烟台市一个小乡村。 在当年,一个农村孩子要想改变自己的人生轨迹,只有读书一个途径。 高二的时候他就读文科班,升入高三后,感觉自己对文科兴趣不大,转学理科班,这是一个极其冒险的选择,因为文理科的学习内容差异很大。 为了顺利闯过高考的“独木桥”,李新德一边利用一切可以利用的时间恶补理科的课程,一边跟着老师的步伐进行冲刺复习。 最终,他通过自己的努力成功被沈阳化工学院化工设备与机械专业录取。 由此可见,李新德是一个不愿意按部就班,极具挑战精神的人,这样的品质为他后来在学术研究上不断地挑战自我,取得一个又一个成就打下了良好的基础。 读大学期间,为了节约生活费,李新德一天只吃两顿饭,即使物质条件匮乏,也没有影响他学习知识的决心。 因其出色的学习成绩和表现,毕业时他被评为校级优秀毕业生。 毕业后,为了缓解父母的经济压力,懂事的李新德没有选择继续深造,而是在济南一家效益不错的企业做技术人员,一干就是3年。 在家乡的亲友们看来,这份工作是令人羡慕的、稳定的“铁饭碗”,但是李新德仍不满足,他对自己有着更高的要求,对未来有着更远大的憧憬。 他决定报考硕士研究生。 当时的工作单位并不支持在职人员考研,他只有白天上班,晚上下班之后,蹬上自己的破自行车一路飞奔到济南大学上晚自习,晚饭都顾不得吃。 当年济南郊区的路坑坑洼洼,有一段路没有路灯,有一次,为了节约复习时间,李新德骑着自行车速度过快,不留心就掉进了井盖松动的窨井里,身体多处摔伤,脸也蹭掉了好大一块皮。 生活的艰辛没有阻挡李新德的脚步,反而磨炼了他的心智,把一块璞玉雕琢得熠熠生辉。 功夫不负有心人,最终他考上了山东大学机械设计及理论专业的硕士研究生。 在山东大学深造的几年时间里,他凭着扎实的理论功底和不服输的学习态度,得到了机械振动领域大家——宋孔杰教授的青睐,并被其选为弟子。 在宋教授的教导和潜移默化的熏陶下,李新德的知识和见识增加了许多,学业上也取得了丰富的科研成果,荣获山东大学最高奖学金“校长奖学金”。 从年少时期的奇思异想到成年之后的兴趣所在,人工智能和机器人一直是李新德持之以恒追寻的一个梦想。 进入21世纪之后,人工智能在中国已经从迷雾重重、艰难起步的阶段,走向了冲破禁锢,初露曙光。 彼时,李新德凭借着超前的眼光,敏锐地捕捉到人工智能必将是未来一二十年后的技术极致领域。 因此,他下定决心报考了华中 科技 大学的控制科学与工程系,并成功成为黄心汉教授的博士生,这一年,他已经28岁。 在李新德的骨子里,承继着山东人的耿直与坚韧,对于付出的辛苦,他并不愿多谈,因为在他看来,能参与到这样一场宏大的人工智能快速发展的事业洪流中,为国家贡献出自己微薄的力量,是人生可遇而不可求的机遇。 他的导师黄心汉教授曾担任国家原“863”计划智能机器人主题专家组成员,一直奋斗在人工智能科研的第一线,经常参加国内外的学术交流。 在老师的言传身教下,李新德得到了很多锻炼的机会,从而对人工智能和自动化产生了更大的研究兴趣,也做了更为深刻细致的科研工作。 当然,困难总是时时刻刻存在的,首先就是跨专业带来的知识鸿沟,自动化与人工智能专业同机械专业有着很大不同,需要恶补的功课非常多。 况且黄心汉教授在行业中是出了名的严师,如果达不到他的学术要求,他也绝不会给半点通融。 思前想后,李新德认为自己能够坚持下去的唯一办法就是加倍努力。 他选择了最“笨”的方式,比如坚持每天早上最早到实验室,晚上最晚才离开,这样在实验室里的科研时间至少能在12个小时;他业余时间几乎都泡在图书馆翻阅资料,几乎查遍了有关人工智能的所有信息,就是依靠这样一篇两篇的参考文献,一本两本的专业书籍,滴水汇成海,慢慢积累起了自己在这一领域的独到认知。 他每天都和导师及同门师兄弟讨论自动化与机器人的问题,虚心求教,无时无刻不在思考自己的课题如何进展。 李新德时刻把握人工智能领域前沿,机遇也总是垂青那些有准备的人。 偶然一个机会,李新德拜读了刚出炉不久的似是而非理论(DSmT),对其深深着迷,并尝试着深入研究。 他由此结识了似是而非理论(DSmT)的创始人、国际著名信息融合专家——法国科学家Jean Dezert和美国的Florentine Smarandache教授,经过长期的交流和探讨,李新德和他们结下了深厚的友谊。 其中,Jean Dezert曾受邀两次访问东南大学,Florentine Smarandache也因李新德在似是而非理论的特殊贡献,以单位的名义向他颁发了国际科学贡献证书。 李新德这种“结硬寨,打呆仗”的笨方法让他在不知不觉中成了导师团队里研究成果最好的学生之一,一般需要5 6年才完成的博士学业,他只用4年就毕业了,毕业时还获得了华中 科技 大学最高奖学金——“罗克韦尔”奖学金。 由于专业研究上的突出表现,国内众多知名学府向他抛来了橄榄枝。 面对“乱花渐欲迷人眼”的选择,李新德有着自己的主见,他最终选择了东南大学这所百年学府。 “东南大学是百年高校,有‘学府圣地’的美誉,是国内最早设立自动化专业的院系之一,也是国内最早开展机器人研究的高校之一,对于人工智能这一块的建设基础很扎实,实力很雄厚,我觉得这个平台非常适合我!”事实证明,李新德又一次做出了正确的选择。 长久以来,机器人一直是人工智能的重要研究领域。 自20世纪50年代第一台机器人发明至今,60多年里,科学家用了很大的力气去研究能够模仿人和生物动作的各种各样的机器人,机器人技术得以不断进步,昔日科幻作品里对于机器人的众多想象都已逐渐成为现实。 但是,不得不承认的是,机器人也一直未能脱离自动化机器的范畴,人和机器人仍然被定义为使用和被使用,替代和被替代的关系,机器人更多地作为一种功能替代工具出现。 机器人在设计过程中很少考虑与人在同一空间的紧密协调合作,使得如本质安全、人机协同认知和行为互助等基本问题,没有得到很好的解决,灵活性和智能决策能力等方面尚显不足。 融合、协同、共享、共治,是未来智能 社会 的鲜明特征,随着人工智能技术的飞速发展,智能机器人开始逐渐进入人类生活,正在努力成为其中不可或缺的一员。 在社区、医院、养老院、工厂……人们期望机器人可以身兼数职,能够在不同场景下执行跨域任务。 然而,机器人要实现智能任务、与人类无缝交流以及和谐共融,还有赖于对环境的感知、理解及交互等能力的革命性突破。 李新德总结道,目前智能机器人场所感知与理解面临着3个主要问题,即缺乏对高复杂性的场所多源信息的整合利用,缺乏识别场所的有效线索及感知过程缺少语义可解释性,导致当前的方法普遍识别率较低,并且难以融入智能任务中。 要想克服上述不足、有效扩展和延伸人类能力,未来机器人的发展方向——共融机器人应运而生,但若想实现“共融”目标,还需要机器人技术多层面的革新。 所谓“共融机器人”,是指能与作业环境、人、其他机器人自然交互,自主适应复杂动态环境并协同作业的机器人。 李新德强调,“共融”具体包含三层含义:第一是机器人与环境的自然交互。 传统机器人在特定区域工作,目标简单、对象单一,但在实际生产生活中很难有如此纯粹的环境。 让机器人走出车间,走进山地、雪地,来到人来人往的街道,甚至让机器人和人一起在动态环境中协同作业,是共融机器人的第一重目标。 第二是机器人之间的互助互补。 两个人可以抬起更重的物品,三人一组的F1赛车服务人员可以在两秒内更换一个轮胎,一台复杂的内科手术需要多位医生和护士协作。 机器人如何通过多“人”协作以实现单体能力的突破呢?这就是共融机器人发展的第二重目标,实现机器人之间的协作、互补,通过合作增强机器人整体功能和性能。 第三是机器人与人之间的协同作业。 与人合作,不单指听人指挥,共融机器人还需要有自己的“判断”和“想法”。 人是复杂的、动态的,和人协作是对机器人更高的要求。 这时,机器人不再被动等待人的协助,不再一味依赖人的编程,而要能够主动感知并解决各种问题。 这就要求机器人能够感知自己所处的场所环境,从而判断自己该执行什么样的任务。 另一方面,人机共融时代,为了能够让机器人和人类无缝交流,自然语言交互中的目标语义和场所语义表达非常普遍,机器人/无人系统在面向交互以及基于这些概念作业时,却很难理解和感知这些语义概念,“比如去病房照看病人,去厨房烧水,机器人除了要能执行照看和烧水这些具体动作或任务,同时还要能分析出病房和厨房指代的是什么样的场所”。 李新德介绍道,因此,智能机器人对场所的感知,更进一步的是对场所的理解,对于智能任务的执行分解和人机之间的良好互动有着支撑作用。 人类之所以能够适应各种环境,离不开人类对不同环境的敏锐感知力。 共融机器人同样需要这种多样化的感知能力。 “值得注意的是,多样化感知不是添加几个传感器这么简单,还有信号传输、运算、识别等许多工作要做。 很多情况下,要识别外部环境的情况、他人的意图,需要多种模态信号的融合处理,需要机器人实时感知、理解甚至不断学习才能实现。 ”李新德特别强调道。 在国家自然科学基金重大研究计划项目的支持下,李新德带领团队狠下苦功,提出了多模态融合的统一深度神经网络,从场所语义的“原型”聚类、语义图谱关联推理、多模态融合交互关联推理角度出发,深入研究了机器人场所感知、理解算法和机器人自主运动作业控制。 针对如何增强场所感知过程的语义可解释性问题,从自然语言描述的角度出发,提出语义线索下的场所概念定义并研究相应的识别方法;针对复杂环境信息下的场所语义理解与识别问题,从模拟人类对场所认知过程的角度,研究并提出了基于图像及其自然语言表示相结合的方法,同时研究了与此相关的图像描述生成技术与多模态融合技术;从场所理解框架的角度出发,研究并提出了基于知识图谱推理的场所识别与理解框架,给出了场所领域的知识图谱构建方法与推理模型。 并以此为核心基础,成功申报并获批广东省珠江人才创新团队项目“多任务场景跨域无人系统关键技术研发及产业化应用”。 李新德团队对该项目的深入研究,为进一步开展与场所相关的人机交互、服务策略、任务级规划及自主作业等任务,为智能机器人顺利走进人类家庭和日常生活,与人类无缝交流、和谐相处等奠定了坚实基础。 目前世界大国之间都是围绕人工智能的核心技术在博弈,谁跑得更快,谁就能优先抢占制高点。 单从这一点看,围绕人工智能的研究是意义重大的,事关中国建设创新型国家和世界 科技 强国的战略部署。 近几年来,中国已经将机器人和智能制造纳入了国家 科技 创新的优先重点领域,抓紧谋划、扎实推进。 李新德渴望接受高难度的挑战,同时也能做到冷静分析局面。 在他看来,就人工智能和机器人技术领域,同国外同行相比,我国的学科起步确实比较晚,但是随着经济的发展,国家在经费投入和重视程度方面已经有了明显提高,大有迎头赶上之势,同国际上的差距正在日渐缩小。 这些年来,李新德拼命工作,倾注了所有心血,为的是将自己一身所学植根于祖国的土壤之中,让人工智能与机器人技术能在中国的土地上茁壮发展起来。 李新德时常感慨:“ 科技 工作者需要有 社会 责任感,要怀着利国利民的 情感 去踏踏实实地做一些研发和试验,做出一流的成果,解决国家重大工程的一些实际问题,改善老百姓的生活水准,才是 科技 工作者梦寐以求的事!” 作为机器人技术的 探索 者和践行者,李新德是这样说的,也是这样做的。 在很多关乎国计民生的领域里,都有他付出智慧和辛勤汗水的成果在发挥作用。 ——面向智能制造与现代物流,如无序分拣、智能焊接、动态装配等机器人应用领域,机器人在作业过程中,要求对作业现场和工件形态、位姿等进行动态高精度的三维测量,对于结构光传感器提出了新的挑战,要求其具备精度高、体积小、速度快、环境适应性强、抗干扰能力强等特性。 在过去,智能焊接的设备系统完全被国外所垄断,动辄十几万、几十万元的高额费用,严重阻碍了行业的发展。 而在江苏省重点 科技 成果转化项目——“焊接机器人成套装备”资助下,李新德团队自主研发了一套结构光视觉传感器及焊缝跟踪系统,打破了国外跟踪设备高价市场垄断,创造了巨大的 社会 经济效益。 在江苏省重点研发计划重点项目——“基于MEMS芯片的高精度结构光动态测量系统关键技术与应用”的大力资助下,李新德团队开拓进取,开启了3D立体视觉动态感知的新时代。 ——在 健康 服务领域,据世卫组织公布,世界上共有4亿人具有精神障碍,精神疾病已经成为21世纪的重要疾病,抑郁症现在是导致人们丧失活动能力的第五大病因。 但令人欣慰的是,抑郁症早期患者的日常动作行为能够很好地反映其病症,让机器视觉监控分析其行为成为可能。 因此,李新德团队利用非接触视觉感知手段,通过深度学习技术进行人体行为、情绪、精神状态等智能分析,从而实现人体的精神状态估计。 该研究获得国家某重点项目资助,其成果针对智能监控场景,利用智能环境中布局的或者机器人机载的摄像头进行人体自然状态下(交互/非交互)的非接触信息获取,结合先验知识和场景/场所理解,然后通过融合表情、微表情、眼动、步态等多模态信息,甚至通过融合人物交互时注视力和人物交互行为,进行情绪和抑郁状态分析,对抑郁症技术应用具有首创性。 其成果也为服务机器人通过对服务对象的在线状态分析,并提供优质服务奠定了坚实的基础。 ——在国防安全领域,李新德跟多家研究所展开了深度合作,承担了多项国防预研项目,在小目标检测、识别、跟踪,人体个体异常行为检测、群体异常行为检测、暴力行为检测、多机协同、群体智能、空地跨域协同作业等方面取得了丰富的研究成果,在国家边防、巷战、侦察突击、安防安保等应用领域具有广阔的应用前景。 人工智能不仅在加速发展,而且在升级换代。 它是引领未来的战略性技术,世界各国已经认识到这将是未来国家之间竞争的关键赛场,纷纷把发展人工智能作为提升国家竞争力、维护国家安全的重大战略。 众多的人口和完整的产业结构给中国提供了创造海量数据和广阔市场的潜力。 但是中国还需要做好许多基础性工作,如更为开放的数据环境和训练有素的科学人才。 尤其是在人才方面的持续努力将成为一个决定性的因素。 “谁拥有了一流创新人才、拥有了一流科学家,谁就能在 科技 创新中占据优势。 ”李新德自然懂得团队的力量和人才梯队建设的重要性。 事实上,自2007年他接受东南大学的邀请任职以来,十多年时间里扎根于这片沃土,他不仅从事科学研究,还担负起人才的培养重任。 在李新德心中,他与学生的关系不仅是师生,还是朋友,更是未来路上让中国自动化研究领域领跑世界的队友。 对待团队成员,李新德展现出他特有的亲和与坦诚。 相比于喊他“李老师”或者“李教授”,他更喜欢听到学生喊他“老李”。 李新德常说,每一个学生都是独一无二的,“千万不要低估你的任何一名学生,他们都是有能力的”,这是李新德时常挂在嘴边的一句话。 他会根据每个人的性格、特点,因材施教,时刻挖掘学生的潜能。 “最重要的不是你的学习能力,而是你分析问题、解决问题的能力和创新能力。 ”李新德反复告诫团队成员,“你将来的竞争对手不是人,是机器。 你跟它讲学习,它比你快;你跟它比重复工作,它比你耐劳。 那么你有什么和它PK的?一定是创新能力。 你一定要有前瞻性的眼光,不要仅仅盯着眼前的一亩三分地。 ” 为了开阔学生的视野,增长他们的见识,李新德会提供很多参加各种会议交流和作报告的机会,让他们接受锻炼,并鼓励他们如果有国内外学习和交流的机会,要勇敢地走出去,去呼吸更多的“新鲜空气”。 “去国外交流对于开阔眼界是一件好事,也是青年人成长路上非常重要的一环,会让他们的思维更加活跃。 ”当年,李新德作为国家公派访问学者和博士后先后在美国佐治亚理工大学和新加坡国立大学访学交流,由此结识了美国机器人之父、美国《时代周刊》最佳发明奖得主、著名机器人专家唐纳德·阿金教授和新加坡工程院院士葛树志教授。 “他们都是有大智慧的人,尤其是葛老师,我们聊天不仅仅限于学术方面,还涉及人生哲理,和他这样站得高、看得远的人交流,会给我很多启示。 ”李新德感叹道。 从最初的单枪匹马、一穷二白到如今的日渐庞大、兵强马壮,李新德带领着这个快速成长的团队,驶入了科研高速路。 李新德团队的管理模式很开放,尽管身为团队的“一把手”,但他从来不搞“一言堂”,而是成立起管理工作委员会,会根据不同的项目、不同的方向分为几个组,大小事情都通过委员会来做决定。 李新德的学识和为人得到了团队成员们的一致认可与尊重。 在他的带领下,一支具有强大凝聚力和战斗力的机器人自动化铁军就此诞生。 2019年,李新德指导的研究生团队首次出征,一举斩获了中国航空学会目标检测与识别挑战赛特等奖。 “去年的疫情对我们影响很大,我们计划有6个项目要结题,由于上半年封校,我们基本都是网络探讨项目执行过程中的各种问题。 ”李新德回忆起去年的情景依然惊心动魄,“但在关键时刻,团队体现出了战斗力,想办法克服各种困难,最终按时高质量地完成任务!”李新德的言语中透露出对团队的自豪,在他的带领下,这样一支具有 探索 热情、创新锐气和国际眼界的队伍,在科研的道路上扎扎实实,步步为营,已经取得了不俗的成绩。 但是李新德没有满足于取得的成绩,“一方面,在科学研究中,我们要去解决一个具体的问题,一定鼓励团队交叉融合、需要勇于做自己没有做过的事情,攀登科学高峰,引领 科技 发展潮流;另一方面,在工程应用中,还要理论联系实践,注重产学研成果转化,落地应用。 这时,我们就要去突破自己能力的界限,去学习,去和掌握新知识的人交流、合作”。 在他看来,只有这样,研究者本人,甚至一个团队,才会变得越来越强大。 对于日新月异的人工智能和机器人技术将来会发展到哪一步,各方众说纷纭。 “实际上是没有办法去准确预测的。 ”李新德话锋一转,“科研本就不是写好的剧本,而是要勇敢地去 探索 未知的世界,或许会成功,或许会失败,科研工作者的乐趣不就在这 探索 的过程之中吗?” 李新德,东南大学教授、博士生导师,兼任中国人工智能学会智能机器人专委会副主任委员、中国人工智能学会智能产品与产业工作委员会副主任委员等职务。 长期致力于机器视觉、机器感知、智能机器人、人机交互、无人系统等方向的研究,先后入选江苏省青蓝工程人才培养计划、江苏省六大高峰人才培养计划、东南大学国家杰青培育计划和江苏省重点研发计划重点项目首席科学家等,广东省珠江人才创新团队、江苏省高校优秀创新团队等。

  • 声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
  • 本文地址:https://m.srwj168.com.cn/keji312/13612.html
迎来最佳观赏期 金瀑飞流 山西壶口瀑布
西风骑士团为什么不放弃远征 蒙德的财政危机那么大 原神