泰坦尼克号漫画版?中国大学学者开发动画自动生成系统 中欧中小盘

股票资讯  2021-03-16 19:49:34

原标题:泰坦尼克漫画版?中国大学学者开发动画自动生成系统

图片来源@ vision china

文本|学术标题

近年来,随着计算机科学的快速发展,科学家们取得了新的技术突破,特别是随着机器学习的快速发展,产生了各种计算模型,例如可以自动生成文本、图像等类型数据的计算模型。与传统的计算模型相比,这些模型在创建需要大量人工生产和花费较长时间的数据或创造性作品方面显示出巨大的优势。

比如在人工智能领域,涌现出了一批具有非凡技能的创意机器人,包括自动创作水墨画的“艺术家”、自动写诗的“文学作家”、自动生成高考作文的“高考小专家”。经过大量的经验和训练,这些计算模型甚至具有非凡的创造力。

现在,大连理工大学和香港城市大学的研究人员在自动创作领域取得了新的成就。该团队共同创建了一个可以自动生成漫画的新系统,该系统可以通过从电视剧、电影、动画或其他视频中提取数据来创建漫画。

资料来源:arXiv

相关研究的标题为“具有风格化多页面布局和情感驱动的文本气球生成的自动漫画生成”,并在arXiv预印平台上发布。

研究人员在论文中写道:“我们提出了一个全自动系统,可以从任何类型的视频(电视剧、电影、卡通剧)中生成漫画书。我们的系统不需要用户任何人工输入,可以生成高质量的漫画页面,具有丰富的视觉效果和富有表现力的故事。”

全自动卡通生成系统

漫画是一种艺术形式,是描绘生活或时事的简单夸张的画面。漫画创作往往需要经过选题、素材收集、绘制分稿、编辑、调整、交流等一系列过程。漫画创作不仅需要精湛的专业技能,还需要丰富的内容素材和大量的创作精力,所以非专业人士通常很难自己制作漫画。

如今,随着互联网的快速发展,每天都有成千上万的短视频在互联网上发布。人们不禁想象,这些视频能否自动转换成视觉效果丰富、叙事能力极佳的高质量漫画书。

近年来,从视频生成漫画的相关技术取得了一些进展,但创建的模型大多不是全自动的。生成的漫画要么需要额外的用户输入,要么使用简化的呈现形式或方法进行漫画页面的布局,导致整个漫画效果缺乏视觉多样性和表现力。

这一最新研究解决了通过算法在页面之间分配选定的关键帧,然后在每页漫画风格的布局上组织关键帧的问题。研究人员使用数据驱动的布局方法从漫画数据中学习布局风格,并通过从关键帧中自动提取系统输入来扩展他们的方法,因此布局框架可以完全自动化,而无需任何形式的用户输入。

图|系统总体设计流程。(a)关键帧提取和风格化;(b)自动多页布局框架(红色、紫色和绿色虚线框代表不同的组);制作和放置对话气球。(来源:论文)

研究人员还设计了一个数据驱动的情感气球生成模型,可以生成不同的气球形状,并根据字幕和音频的情感动态调整字体大小。然后,通过检测谁在说话和说话者的嘴的位置,生成的气球被放置在正确的位置。

与大多数卡通生成框架不同,本研究创建的框架总是使用相同类型的语音气球,但生成不同类型的气球来反映角色话语所传达的情感。为了实现这一点,对于给定的输入视频片段,研究人员首先通过分析视频来获取相应的音频和字幕,然后对字幕和音频进行情感分析,以把握不同对话行所传达的情感。

之后,模型根据人物传达的情绪,创建不同形状和文字大小的对话气球。这样大大提高了整体漫画阅读体验,产生了更有吸引力的版面,也体现了不同人物之间的对话内容。

图|不同情绪的情绪感知气球生成(来源:论文)

为了实现系统生成的语音气球可以放置在说话的角色附近,该模型首先检测视频中不同的说话者,然后根据他们表达的情绪将语音气球放置在他们附近。

图|对话者检测过程(来源:论文)

为了让用户在一定程度上控制生成的结果,研究人员构建了一个用户友好的界面,对用户施加约束,从而构建更加个性化的设计,优化结果。研究表明,用户界面可以节省用户时间,提供更多的创作自由。

研究人员设计的系统从视频中提取关键帧并转换成漫画风格的图像后,使用多页面布局框架将图像分布在多个页面上,并创建视觉上有吸引力的布局来反映图像之间的关系。

研究人员说:“该系统在没有任何人工干预的情况下提供输入视频及其字幕。首先,它通过分析字幕提取关键帧信息,然后将关键帧图像转换成漫画风格的图像。”

用户体验如何?

通过一系列实验,研究人员对他们设计的系统和模块进行了评估,并从四部电影(《泰坦尼克号》、《风声》、《老友记》和《在云端》)和该系列中选取了16个长度从2分钟到6分钟不等的视频片段。利用该系统与最先进的漫画生成系统“内容感知视频2组学”生成漫画,并对漫画质量进行对比分析。

图|本系统与“内容感知视频2组学”系统的动画生成效果比较。图(a) -(d)是本研究的生成效应。(e) -(h)显示“内容感知视频2组学”系统的生成效果。(来源:论文)

通过对比发现,该系统的漫画生成效果优于其他系统,不仅可以生成更丰富的气球形状,而且可以将一些相关的字幕与文本摘要合并,保证单词气球句子的长度适中。关键是实现自动多页排版,排版效果合理丰富。

研究小组还招募了40名用户观看视频后阅读系统生成的漫画,并围绕漫画的整体效果、对话气球的质量、版面质量、讲故事效果、阅读体验等方面,对系统生成的漫画与另一个漫画生成系统生成的漫画进行对比评价。参与这项研究的绝大多数用户表示,与以前开发的系统相比,他们更喜欢研究人员的模型所做的布局。

图|用户评价结果图,纵轴代表每个问题的平均分数,横轴代表视频编号(图中蓝色条代表“内容感知视频2组学”系统的分数,橙色代表系统的分数)(来源:论文)

研究人员说:“我们的实验表明,与最先进的漫画生成系统相比,我们的系统可以合成更具表现力和吸引力的漫画。”

然而,尽管该系统已被证明取得了可喜的成果,但仍存在一定的局限性。比如关键帧的选择不够准确。在某些情况下,选择的关键帧彼此相似,这无疑会给生成的漫画带来冗余信息。

研究人员表示,一旦系统得到进一步改进,漫画生成系统就可以根据电影、电视剧或其他视频内容自动创建漫画。在后续研究中,研究人员还计划开发一个替代的关键帧选择模块,以提高系统生成漫画的布局质量,减少关键帧的冗余。

“更重要的是,受许多现有方法的启发,这些方法可以根据包含多个句子的给定故事生成图像序列,并且有可能从文本故事生成漫画。我们有兴趣扩展我们的方法,使用文本信息来帮助生成漫画。”研究人员在论文中得出结论。

更精彩的内容,关注钛媒微信号(ID: taimeiti),或者下载钛媒App返回搜狐看更多

负责编辑:


以上就是泰坦尼克号漫画版?中国大学学者开发动画自动生成系统中欧中小盘的全部内容了,喜欢我们网站的可以继续关注奇达股票网其他的资讯!

相关推荐

明邦物流拟融资1000万元补充营运资金
11月25日,首都新闻,名邦物流(836153.OC)公布了2019年第一次股票发行计划。名邦物流股票发行价格为每股4元,发行数...
中亿达:拟以发行股份方式收购瓮福集团100%股权
5月20日,首创获悉,A股公司中亿达(600610.SH)发行股份购买资产及募集配套资金。公司拟以每股5.10元发行股份收购中国...
鹏华中证高分红ETF将于5月13日挂牌,个人投资者占比超90%
5月11日,首创获悉,鹏华基金旗下的鹏华中证高分红ETF(基金代码:515690)将于2020年5月13日挂牌。公告显示,截至2...
于家辉:网红直播对业绩影响不大,与网红主播合作影响不夸张
1月13日,国都获悉,御家汇(300740.SZ)回应深交所问询,表示公司与网红主播的合作主要包括网红直播、短视频投放等机构和互...
攀钢钒钛重庆太阳公司因一连串疫情复工复产
2月14日,首都新闻。2月10日,巴南区攀钢重庆钛业公司"因复工后未严格按照全市疫情防控要求,发生聚集性疫情,公司确诊2例,无症...
疫苗最早什么时候可以推出?新冠肺炎疫苗的最新进展在这里
近年来,新冠肺炎疫苗在中国的研发备受关注。疫苗有多安全?什么时候可以打疫苗?可以终身免疫吗?20日,《新闻1+1》专访了中国疾病...
北京:禁止在首都功能核心区经营短租住房
北京市住房和城乡建设委员会、市公安局、市网络信息办、市文化旅游局正式发布《关于短租住房规范管理的通知》,明确了政策调整范围,即“...
[解读]今晚的关键词:英国退出欧盟谈判,美国通胀数据
1.今晚仍有重大事件要发生,集中在英国退出欧盟谈判上昨晚,英国首相特里萨·梅(TheresaMay)向国会议员发表声明,确认政府...
Ofo的“异想天开”不应该被用来欺骗人
Ofo存款又麻烦了。这次用户吐槽的是他们的APP最近推出的“ofo返利”活动,名为“不用排队,把押金兑现”,说明已经给用户退了近...

友情链接