在生物和人工系统中，理解视觉信息是如何编码的，通常需要生成适当的刺激，以测试特定的假设，但可用的视频生成方法很少。今日，德国 图宾根大学（University of Tübingen）Antonino Greco & Markus Siegel，在Nature Computational Science上发文，报道了时空风格转移spatiotemporal style transfer (STST) 算法，这是一种动态视觉刺激生成框架，可以操作和合成用于视觉研究的视频刺激。
研究表明，如何产生与自然对应物的低层次时空特征相匹配，但缺少高层次语义特征的刺激，为研究物体识别提供了有用的工具。利用这些刺激，探测PredNet（一种预测编码深度网络），并发现下一帧预测不会因遗漏高级信息而中断，人类观察者也证实了生成的刺激中，保留了低级特征和缺少高级信息。还介绍了动态刺激的独立时空分解过程。在人类和深度视觉模型上，测试这样的因式分解刺激表明，人类和深度视觉模型如何编码动态视觉信息的空间偏差。
这些结果表明，时空风格转移STST算法作为视觉科学中，动态刺激生成通用工具的潜在应用。
A spatiotemporal style transfer algorithm for dynamic visual stimulus generation.
图1: 时空风格转移spatiotemporal style transfer，STST算法的图形表示。
图2:在Metamer中，低级特征及其对深度视觉模型层表示的影响。
图3: 使用STST元探测预测编码网络中高级信息的影响。
图6: 在时空因式分解的条件等色刺激上，测试人类和深度视频模型。文献链接
Greco, A., Siegel, M. A spatiotemporal style transfer algorithm for dynamic visual stimulus generation. Nat Comput Sci (2024).
https://doi.org/10.1038/s43588-024-00746-w
https://www.nature.com/articles/s43588-024-00746-w
本文译自Nature。
来源：今日新材料
声明：仅代表译者观点，如有不科学之处，请在下方留言指正！
