卡内基梅隆大学机器人研究所(RI)的研究人员开发出一种可以与人类互动绘画的机器人系统。协作式FRIDA(CoFRIDA)可以与任何艺术能力的用户合作，邀请合作在现实世界中创作艺术。

“这就像写作提示的绘画版本，”管理罗德岛大学纺织实验室的罗德岛大学副教授吉姆·麦肯(JimMcCann)说道。“如果你遇到困难，不知道该怎么做，它可以帮你写点东西。它可以打破空白页的障碍。这是增强人类创造力的一种非常有趣的方式。”

CoFRIDA建立在过去与计算机科学学院的多实验室合作项目FRIDA的基础之上。

FRIDA(艺术发展框架和机器人计划)以艺术家弗里达·卡罗的名字命名，可以使用画笔或Sharpie根据人类用户的文本提示或图像示例创作绘画。该项目由RI副研究教授兼BotIntelligenceGroup(BIG)负责人JeanOh与McCann和博士生PeterSchaldenbrand共同创立。

为了支持更具协作性的艺术创作体验，RI博士生GauravParmar和助理教授Jun-YanZhu加入了FRIDA团队，共同开发了CoFRIDA。新系统允许用户提供文本输入来描述他们想要画什么。他们还可以参与创作过程，轮流用机器人直接在画布上绘画，直到他们实现了自己的艺术构想。

Oh表示：“CoFRIDA需要比原始FRIDA更高水平的智能，原始FRIDA需要独自从头到尾创作一件艺术品。共同绘画类似于与另一个人一起工作，需要不断猜测他们想要什么。CoFRIDA必须理解人类用户的高级目标，以使该用户的笔触对目标有意义。”

协同喷漆本质上是一种协作，而开发训练机器人协作的数据既困难又耗时。为了解决这一难题，CoFRIDA使用基于FRIDA笔触模拟器和规划器的自监督训练数据。

研究人员通过让FRIDA模拟由一系列笔触组成的绘画来创建自我监督的微调数据集，从中可以删除一些笔触以生成部分绘画的样本。

团队必须确定如何从训练数据中的图画中删除元素，同时保留足够的图像以供CoFRIDA识别。例如，研究人员删除了车轮边缘或汽车窗户等细节，但保留了车辆的轮廓。

“我们试图模拟绘画过程的不同状态，”朱说。“很容易得到最终的草图，但很难想象这个过程的中间阶段。”

研究人员利用部分和完整绘画的数据集，对文本到图像模型InstructPix2Pix进行了微调，使CoFRIDA能够添加笔触并处理画布上的现有内容。这种方法依赖于使用CoFRIDA的画笔模拟器创建的数据，这意味着生成绘画时会考虑到机器人的实际限制，例如其有限的工具集。

在实验室之外，研究人员希望CoFRIDA能够教会人们机器人技术并拓展创造力，鼓励那些可能怀疑自己艺术能力的人。CoFRIDA还可以帮助用户将设想变为现实，或将艺术作品推向全新的方向。

“如果你从一张非常简单的草图开始，CoFRIDA会将艺术作品带向截然不同的方向。如果你要求六张不同的画作，你会得到六种截然不同的选择，”Schaldenbrand说。

“能够做出高层决策真是太好了，因为这让我感觉自己像个艺术总监。机器人会做出一些低级决定，比如把标记放在哪里，但我可以决定整体效果。我仍然觉得自己可以掌控创作过程，在这个艺术家担心被人工智能取代的世界里，CoFRIDA作为旨在支持人类创造力的机器人的典范具有极其重要的意义。”

研究人员希望进一步的研究能够将个性化融入到CoFRIDA中，让用户更好地控制成品的风格。

该团队的论文《CoFRIDA：人机协同绘画的自监督微调》在日本横滨举行的2024年IEEE国际机器人与自动化会议(ICRA)上获得了人机交互最佳论文奖。随附的CoFRIDA演示入围了ICRAEXPO最佳演示奖。该论文可在arXiv预印本服务器上找到。