艺科融合的文化数字传承与创新

北京航空航天大学新媒体艺术与设计学院院长 沈旭昆

在当今时代，人工智能与新质生产力成为热门话题，在此背景下，艺术与科技的融合也备受关注。在文化科技一体化的进程中，有诸多典型事例彰显了技术对文化艺术的深刻赋能。如《黑悟空神话》这一现象级作品，其在技术层面实现了显著突破。从毛发渲染的精细呈现，到实时渲染技术保障游戏流畅运行，再到运动捕获技术的精准应用，以及文化设定与关卡设计的创新，都展现了技术与文化艺术深度融合所带来的巨大变革。这一成果在文化艺术与游戏承载领域产生了深远影响。具体而言，在技术实现方面，精确的三维重建技术使得双向反射函数的光照呈现效果极佳，游戏在本机上的实时渲染流畅度大幅提升，运动捕获技术也精准高效。综合来看，这些技术成果在相关领域极具代表性和开创性，堪称现象级的杰出工作。

在教育领域，理工科高校北京航空航天大学却设立了新媒体艺术和设计学院，究其原因，在教育科技人才培养的进程中，像北航这类高校深刻认识到，从人才培养、教育革新以及创新驱动等多维度来看，艺术与科技虽存在差异，但二者的紧密融合至关重要。在学校教育层面，这种融合落实于人才培养体系之中；在产业创新与科技进步方面，其也是推动创新发展的关键路径。

在产业支撑领域，文化科技创新工程不断推进，例如 798 等文化产业基地承载着相关创新实践。正如福楼拜所言，“科学与艺术，从山麓分手，又在山顶汇合”。李政道也曾指出，“科学与艺术是一枚硬币的两面，连接它们的是创造力”。当前，艺术与科技融合已成为文化创新与科技创新的核心工作，且已获得广泛关注与认可，不再是以往被认为的相互脱节的“两张皮”。在北航，甚至有院士积极参与相关研讨，足见其重要性。

在政策与科研布局上，国家社科基金设有“信息时代智能化设计创新方法论研究”“中国设计智造协同创新模式研究”等文化科技战略课题；国家重点研发计划也涵盖了“中国风格文化创意及智能产品设计技术集成与应用示范”“面向智能交互产品的创意服务设计技术与平台”“大型邮轮国家创新工程专项邮轮美学设计技术”等项目。这些表明，在文化科技领域，不仅有科技研发布局，部分项目已在产业化进程中取得显著进展。国外的理工科院校如麻省理工学院的 Media Lab 实验室，同样积极布局艺术与科技融合项目，在戏剧数字化等方面深度耕耘，其交叉融合程度更深、更具前瞻性。

虚拟现实的特征包括 Immersion（沉浸）、Interaction（互动）、Imagination（构想），新媒体艺术的特征有 Communication（连接）、Integration（融入）、Interaction（互动）、Transformation（转化）、Appearance（出现）。尽管二者看似差异较大，但在结构上具有同构性。在技术发展进程中，从二维到三维乃至更高维空间的探索，借助镜像、同构、循环、嵌套、上升等方法，以及感知多维建模、交互自然性、适人性等支撑技术，推动了艺术与科技融合的不断深化。例如，本人的博士论文第一个主题做的是类比推理加速的研究，用类比推理、演绎推理和归纳推理有方法、有规则。还做了一块加速板来解决算力不足的问题，这也是技术融合发展过程中的具体探索实例。

当前，人工智能时代已然引发诸多变革，在解决某些特定问题方面，确实成效显著。然而，人机协同以及人机与现实世界的协同，成为了关键问题所在。对于此，有人认为，尽管人工智能发展之路漫长且充满挑战，但不可否认其已展现出解决问题的能力。在这一背景下，技术研究是否会陷入困境，以及颠覆性的艺术与科技结合是否即将到来，尚有待观察。当前，人工智能所产生的成果大多存在同质化现象，具有独特创新性的成果较为稀缺。就博士学位研究及论文创作而言，其处于庞大的知识体系之中，能够产生创新性成果的概率较低。至于人工智能未来的发展走向，目前尚不明朗。但客观来讲，它为整个教育科技领域以及创作创意发展带来了广阔的可能性与发展空间。在文化科技范畴内，目前主要聚焦于文化的数字化传承、保护与传播方向，本人及研究团队也一直沿着此方向持续推进工作。具体涉及以下几个关键技术层面：

场景虚实融合计算与体验模式构建：在当前的技术与文化发展趋势下，尤其是随着沉浸式体验需求的增长以及人工智能衍生空间如元宇宙概念的兴起，其核心在于基于感知基础实现模型的优化构建，且这种构建需朝着多维、多通道方向持续深化与拓展。在此过程中，涵盖了全场景、全域体验模式的塑造。当下，体验式模式成为主流，例如参与诸如 798 艺术展览等活动时，受众更注重自身的感悟与体验，而非传统的信息单向传递。同时，在网络环境中，鉴于存在多种载体与平台，涉及如何对其进行优化、数据传输与信息传播等关键环节，这背后存在相应的计算模式。具体而言，包括场景的构建与优化策略、多感知注册技术应用等方面，并涵盖室内外不同场景。

智能感知交互与沉浸互动技术：在当前技术发展的进程中，交互已成为各领域普遍关注的焦点，尤其是智能交互备受瞩目。在智能交互范畴内，除了常见的姿态、位置、语言以及手势等交互形式外，还涵盖了更为深入的感知层面，如触觉及其他类型的感知方式。如今，在相关应用场景中，对智能感知交互的要求愈发严苛。例如在博物馆的展示情境下，对于一些不允许直接触摸的青铜器，若能通过技术手段为观众提供诸如青铜铭文或特殊材质的间接触摸感受，将会极大地提升观众的参观体验，这也体现了智能感知交互技术在文化展示等领域的重要应用潜力及发展方向。

感知一致性增强的多模态沉浸呈现技术：在艺术呈现领域，其具有多维度、多感知的特点。当前，以 K5 屏幕、Steam Lab 等为典型代表，实现了无缝拼接效果，并在业界广泛应用。然而，此类技术并非仅局限于此种表现形式。在此方面，关键在于如何从更底层提供支撑。现阶段，通常采用 Unity 或其他相关技术。当前亟待思考的是，能否在该领域实现自主研发，以有效解决特定问题。在此过程中，团队在虚拟现实全国重点实验室的 2.0 布局规划中，已开展了与之对应的工作。

在文物数据获取方面，针对故宫门前的部分文物展开了相关工作。这些文物的材质，如铜质材料，在获取过程中其质感呈现效果良好。在此过程中，运用了双向反射函数以及基于辐射度等技术手段，这些技术有助于进一步提升大场景模型的构建水平。在数据采集阶段，采用无人机进行拍摄，夜间作业时可获取几百张乃至数千张照片作为基础数据。其重点在于对获取的数据基于内容理解，不要进行过多的后期处理。相关工作已持续推进数年并取得了一定进展，当前在人机交互领域也有新的成果。

在故宫文物的人机交互研究中，手势姿态包括双手交互等方面已较为成熟。然而，仍存在一些关键问题值得深入探讨。例如，智能手机的出现极大地改变了人与移动设备的交互模式，这是以往未曾预料到的变革。从设计与艺术的视角出发，创新的交互模式需要适配不同的交互场景与产品类型。如桌面系统、沉浸式系统以及大型场景等，其交互需求存在显著差异，并非仅仅局限于技术层面的手势识别。交互模式的适人化与创新化在移动载体和装备上是否能够催生全新的发展机遇，成为当前广泛研究的重要课题，且已取得了一些出人意料的研究成果。

在重大项目应用方面，研究团队在冬奥期间承担了一项重要任务。除了 MOC 大屏指挥系统外，还实现了异地第三方的指挥控制整合功能。在大型活动和场景中，此类需求较为常见，解决了多人协同的分布式问题。该项目通过电子沙盘实现了虚实融合注册，并将指挥控制命令进行有效整合，同时与 MOC 大屏协同工作。这在国际奥委会相关项目中属于首次由国内团队承担，以往多由 IBM 等国际企业赞助完成。此次项目成功解决了异地分布式问题，并实现了设计与控制功能的有机结合。

拓展沉浸式媒介设计，服务国家文化传承

在文化遗产保护与传播领域，本人在博物馆数字化建设方面积累了丰富经验。从早期的数字博物馆项目起步，已历经近20年的发展历程。以广州考试博物馆为例，其开创了在数字空间构建博物馆的先河，最初版本在设计上较为规范，充分考虑到信息链接可能带来的接受度问题。后续进一步发展第二个版本，构建了云南省非物质文化遗产数字化体系，涵盖了云南省数百项非遗项目，如翁丁古寨等。该体系相较于第一代数字博物馆实现了重大突破，能够解决单机、网络以及移动设备等多平台应用问题，尽管仍与博物馆建筑体系存在一定关联，但在数据优化和轻量化处理方面成效显著，实现了半实物与虚拟环境的有效结合，并且能够在手机端流畅运行。同时，该项目紧密结合云南省本地文化资源，如滇池民族村等。滇池民族村多年来运营面临困境，该项目尝试注入新元素以促进其发展。目前项目一期已完成，正在筹备二期工作。在项目验收阶段，在云南省搭建了展示平台，与恐龙谷、石屏、朱家花园等当地文化景点相结合，充分展示了虚实融合效果，在大场景尤其是室外场景方面表现良好，切实将艺术、设计内容与技术进行了深度融合，为小众文化遗产的呈现、传承与保护提供了便捷且高效的平台。

拓展沉浸式媒介设计，服务国家文化传承

此前团队承接了一项服务于该重要节点的澳门项目。此项目的核心任务之一是对保利所持有的部分国宝级文物进行数字化处理，并实现实物与数字化成果在空间中的有机结合。近期，团队仍在当地提供支持工作，目前应已顺利完成。在此过程中，团队成功整合了博物馆展览的方式、手段及相关设备，达成了高效协同。

鉴于文化遗产北京中轴线申遗成功这一重要背景，团队还承担了中轴线鼓楼内影像的数字化工作，实现了鼓楼空间内光影的数字化呈现，有力地配合了整个升级进程。在这一系列工作中，大量运用了粒子系统、分形几何等技术手段，且这些技术与各类系统实现了良好融合，并进一步与智能创作相结合，展现出较高的技术应用水平与创新能力。

在 2024 年巴黎国际博览会中，团队精心打造的展品将非遗舞蹈与先进技术相融合，实现了技术、设计与艺术的深度交融，同时搭建了优质平台，为二次创作及深度开发提供了有力支撑。

创新跨媒介展示设计，传播航空航天精神

围绕传播航空航天精神，紧密结合登月取壤等重要事件，在展陈设计环节巧妙融合技术、艺术与文化元素，充分体现空天报国情怀与航天精神，线上线下协同发力，全面展示相关成果。在布展过程中，团队展现出高效的工作能力，抵达现场后仅需两三天便可完成布局，实现线上线下展览的完美配合。

在先进影像领域，团队持续探索与发力。在去年的威尼斯双年展上，团队教师创作了一部以沉香为主题的影片。该影片采用虚拟现实技术，构建多叙事线路，为观众带来独特的视觉体验，充分展示了团队在艺术与科技融合实践方面的创新成果与探索精神，切实将艺术与科技融合贯穿于“一带一路”文化自信、传承、保护与传播的主题实践之中，取得了显著成效。

北京航空航天大学积极应对人工智能时代的挑战与机遇，设立人工智能学院，并为本科生开设 32 学时的相关课程，推动学校在这一领域的教育与科研发展。艺术与科技的融合在理论研究、技术创新与实际应用等多方面都取得了显著进展，在文化传承、创新与传播等领域发挥着日益重要的作用，并在未来面临着更多的发展机遇与挑战。

活动现场