阅读量:15
4. 云端融合的感知认知与人机交互
4.1人机物融合的云计算架构与平台（前沿基础类+共性关键技术类）
研究内容：针对人机物融合环境下的泛在化、社会化、情境化、智能化等应用特征，研究以人为中心的人机物融合云计算架构模型、终端和云端资源的软件定义方法、人机物融合应用的一体化建模方法等基础理论；研究以人为中心的终端和云端资源动态发现与协同管理技术、资源敏感和时空感知的应用自适应与自演化技术、面向移动互联网和物联网终端及边缘设备的超轻量虚拟化等关键技术；研制以人为中心的人机物融合云计算平台，并结合重点领域开展应用示范。
考核指标：建立面向人机物融合的软件定义基础理论与人机物融合云计算技术体系及规范；研制的云计算平台通过软件定义的方式接入并管理Android智能设备、Linux边缘设备和OpenStack公/私有云的软硬件及应用资源，验证的人机物融合场景需覆盖10个不同品牌合计100万台终端设备、支持100个第三方商业应用的按需融合；形成一批具有引领作用的高水平论文成果，申请一批相关领域的知识产权。
4.2 基于云计算的沉浸式交互影像技术与系统 （应用示范类）
研究内容：高维影像数据获取与语义理解，包括：面向沉浸式影视制作的全尺度数据捕获、高维光场影像高效获取、跨维度影像数据的语义解析及部件提取等；影像素材知识表达与智能聚合，包括：数据驱动的高精度、专业化、风格化模型表达，以及影像大数据动态聚合与自主生长等；影像定制化与个性化自动生成，包括：领域知识引导的影视级高端三维场景定制化自动生成，基于引擎的大规模影像个性化自动生成，高维光场影像云处理和云发布；影像编辑与交互功能深度合成，包括：语义特征结构保持的影像编辑合成、典型交互功能迁移与自动合成，具有行为真实感的智能角色生成与交互，以及沉浸式交互影像工业化生产关键技术等；沉浸式交互影像高效渲染呈现，包括：高维光场影像终端显示技术、三维模型高效渲染技术及工具；云端融合的沉浸式交互影像技术系统，及其在电影电视、游戏娱乐等行业的应用示范。
考核指标：电影级光场采集系统相机数量≥100台，工作范围≥20m2，捕获速度≥60fps；跨维度影像数据部件级语义解析准确率平均达90%，形成一个超过5万个模型的三维模型库，构建的场景内模型数超过500个；支持高维影像对象分割、时域编辑、风格化滤镜、虚拟对象嵌入、镜头智能剪辑与构图优化等智能影视创作关键功能；影像发布与计算平台传输带宽≥1TB/S，数据吞吐量读取速度≥6GB/s，写入速度≥4GB/s，并行处理文件数量≥20万/s，支持并行计算GPU数量≥100台；制定面向沉浸式交互影像的采集、传输、呈现的技术规范并形成标准，并实现在影视制作、游戏娱乐等行业的典型应用示范，成果应用项目超过50个。
4.3 多模态自然交互的虚实融合开放式实验教学环境（应用示范类）
研究内容：建立支持云端融合和多模态自然交互的虚实融合课堂教学环境，具备视觉、听觉、触觉等感知能力的交互模块基础件，以及相应的实物交互套件；建立支持中学教育主要课程的虚拟实验开发平台和界面工具，支持教师自主生成互动虚拟实验教学资源；支持多模态人机交互的智能化学习环境，通过对多课程和多场景的数据汇集，研制与学习者个性化需求与能力适配的智能化学习系统； 建立新型探究式学习的全面评价体系，通过对学习过程与结果的智能识别与分析，汇集和提炼学习者的行为、心理和生理等多维度特征，实现对学习者多层次、精准化的客观评价。
考核指标：多模态自然交互模块基础件支持手势、语音、触觉、实物、笔式等交互技术，交互行为识别率大于90%；支持教师自主生成互动教学资源的虚拟实验开发平台和界面工具，覆盖数学、物理、化学、生物等主要课程，形成20个以上典型教学课件；制定云计算教学终端多模态人机交互技术标准，以及高沉浸呈现与多模态交互智慧教育课堂环境的行业规范；在中学开展应用示范，应用示范单位不少于200家；申请系列发明专利。
4.4 基于云计算和智能交互的随身办公技术与系统（应用示范类）
研究内容：研制面向移动终端和虚实融合自然交互技术的多用户远程和本地协同办公平台，实现相应的用户界面工具和支撑硬件，研究面向移动协同办公和用户长历史行为大数据的个性化用户模型及增量式学习技术；突破大数据驱动的高灵敏触及反馈式虚拟投射键盘技术和高准确率的手指虚拟键盘动作识别技术，研发面向移动终端的多模态深度融合的高效率信息输入和内容编辑技术；研究基于云端的多移动终端的分屏显示与协作机制，研制满足长期健康使用需求的、具有匹配个体差异的沉浸式超大视场显示终端，实现多移动终端、穿戴式显示终端与虚拟键盘、手势、语音等的统一交互方式；在上述内容基础上，研究并构建面向行业应用的具有多模态融合的高效智能的随身办公系统。
考核指标：多用户远程和本地协同办公平台支持常见的移动终端，支持16个节点以上的远程交互，能支撑虚实融合的工作讨论、协同设计等任务；多模态自然交互协同办公机制支持虚拟键盘、触控、手势、语音和笔等通道，支持冗余、互补、混合等3种以上交互通道融合方式；虚拟投射键盘具有触及反馈功能，按键敲击识别准确率不低于95%，支持用户击键动作的个性化自动纠错技术，能够实现每分钟180个以上英文字符正确输入；沉浸式显示系统视场角不小于150度，能自主显示虚拟键盘，并与手势识别等协同交互工作，手势和击键动作识别准确率不低于95%，经大规模人群测试后的连续健康沉浸时间可达2小时；智能随身办公系统应支持企业办公、教育培训等行业用途，形成规模化产业应用。
