智能机器人能一笔一划临摹出蒙娜丽莎还能模仿你的笔迹
扫描二维码
随时随地手机看文章
书面语言是人类区别于其他生物的重要特点,有的生物可以和人类一样彼此交谈,但是只有人类可以写下有自己风格的字符:精巧的汉字,复杂的花体字母,每个人的笔迹都是独一无二的。但现在,布朗大学研究人员研制的新型机器人的已经可以做到凭借一己之力学会像人类一样写字和画图。
Atsunobu Kotani是布朗大学的本科生,他在老师的帮助下创建了一种深度学习算法,使机器人能够相当准确地确定使用哪种笔画,以及以何种顺序生成手写单词和手绘图像。机器人最初使用日文进行训练,随后可以用算法“自学”,自行确定笔画顺序和位置,临摹出它未见过的语言中的单词,写出包括中文、英文、印地语、韩语、希腊语、乌尔都语的文字,复制字母和笔画的精确度可达93%。
机器人还可以复写一些简单的线条草图,完成了例如对蒙娜丽莎草图的临摹。在不远的未来,机器人就能在职场上帮我们记笔记、画流程图,成为我们的得力助手。
但研究人员也提到,目前机器人还存在不足,比如还做不到像左撇子一样从右往左进行书写。书写是一种看似简单,实际上是精心设计的复杂动作组合过程。当写一个单词时,你必须知道在哪里落下笔,握着它画一条线,之后提起笔,结束这条线。接着在什么时候拿起你的笔,再画一条线。
模仿他人的笔迹需要学习每一个字符当中的笔触、线条宽度、书写习惯、字体倾斜程度等等因素,才能成功复制其书写。
就像机器人学习在人类看来简单的两条腿走路花了很久的时间一样,让机器人学会使用类似于人们写作方式来书写是一个非常难以实现的目标。机器不能以和人类一样的方式观察文字。比如,当人看到字母“A”时,是看到三条不同的线条,所以很容易知道要用三个笔画重现它。但是机器只能看到一组像素,而Kotani的算法可以帮助将这些像素转换为笔画,从而让机器可以像人类一样顺利写出字母。
Kotani提出的用于分析字母的深度学习网络,可以再现书写字母所需的一系列笔画,然后告诉机器人完成每个笔画要做的动作。
因为只是临摹,无须理解字符背后的实际含义,所以机器人可以写出任何语言,例如它能够用十种不同语言编写“hello”,这些语言背后使用的是完全不同的字符集。同样的方法也可以应用于任何类型的线条图,如简单的草图。这种算法可以帮助机器人在未来更好地与人们互动。
机器的学习系统包含两个不同的模型,一个是“全局”模型,它允许机器人将文字作为一个整体查看图像,以帮助它确定特定单词或角色的可能起点位置,以及如何移动到下一个单词。另一个是“本地”模型,可以帮助机器人完成当前如何处理手中的笔,即进行正确的移动,放置等。
为了训练机器人,研究人员提供了一个日语字符语料库,并提供了有关字符的组合笔画应如何书写的信息。之后它自行学习创建了一个模型,该模型可以查看字符的像素并预测开始每一个字符笔画的位置,然后给出在绘制笔画时需要移动的位置信息。这使得机器人能够写出以前从未见过的语言,这种自学能力也让研究人员也十分意外。
研究人员分别在白板上通过印地语,泰米尔语和意第绪语等各种语言写下“你好”,试图混淆机器人。结果机器人做到了通过机器视觉对每种不同的语言文字进行观察,然后分别编写单词副本,即使它之前只会写日语。除了印刷体之外,机器人还进行了英文草书的书写,结果一样出色。
机器人还可以辨别6岁孩童写下的稚嫩文字,在一群幼儿园的儿童参观实验室时,机器人轻松地模仿了这些孩子的笔迹。
图像也可以临摹,Kotani在白板上画下一副蒙娜丽莎的粗略草图之后,机器人也进行了惟妙惟肖的复写。而且和喷墨打印机不同,这台机器人画画并不是一行一行地画出来,而是可以模仿人类画画的笔触一笔一画地临摹。
但因为研究人员训练机器人用的是现代日语,书写顺序是从左到右进行,之后推广到的英语也是以相同的方向写的。所以目前机器人进行从右到左的书写还不够熟练。尽管如此,它仍然是语言互连的一个很好证明,许多不同的脚本来自同一个人(机器人)手中。另外这也是朝着开辟人与机器之间新的沟通方式迈出的重要一步,以后人与机器也许可以通过手写文字进行交流。