专业知识分享其他

7.31 前沿速递 | 能识别唇语的“无声语音交互技术”— LipLearner

2023-07-312 MIN READ原载于微信公众号 ↗

#一起读论文📕

能识别唇语的“无声语音交互技术”— LipLearner

静默语音界面(Silent speech interface)是一种有前景的技术,能够在自然语言中实现私密通信。研究团队利用对比学习来学习高效的唇读表征(Lipreading representation - 指从唇部图像中提取出来的,能够表达唇语语义信息的特征表现),支持使用者通过少量示例即可定制命令,比如用唇语命令导航、阅读论文等等。

该项目也进行了用户研究,结论表明,通过 LipLearner,用户可以采用在线增量学习(Incremental Learning - 指让模型通过不断获取新的样本来逐步提升性能,而不是一次性大量训练数据。这里系统会主动向用户索取新样本来优化模型功能)的方案来高度可靠地定义自己的命令。研究团队开发的系统为可定制的静默语音交互提供了基本功能,具有较高的可用性和可学习性。

公众号后台回复:静默语音界面

✌️自取论文文件

#百宝箱📦

系统设计工具包资源分享 — Systemic Design Toolkit

Jones(SDA,OCADU)和Van Ael(Namahn)共同撰写了一本面向有经验的设计师和感兴趣的学者的实践手册,以学习系统设计思维与实践。

该书基于作者们开发的系统设计工具包,从系统科学中发表的核心知识中发展出设计实践。采用像导游手册一样对待结构,引导读者参与一场设计之旅,培养人们的思维方式。阅读这个手册,可以帮助我们理解系统性问题,并增强在团队合作中提出行动方案的能力。

感兴趣的同学可以在公众号后台下载哦~

公众号后台回复:系统设计工具包

✌️自取手册文件

#学园日常👩‍🔬

7月日报关键词总结+心愿单

错过每期前沿速递专栏的同学不要紧哦,这里准备了7月份的专栏关键词回复总结,大家记得在后台领取自己感兴趣的资料哦~

Close

更多

Name cleared

本文原载于微信公众号,正文与配图已转存至本站以便长期访问。 查看原文 ↗

有想具体聊聊的问题?把你的情况说一说。

联系咨询