Nvidia在TwitchCon上展示了RTX Broadcast Engine,这是一系列SDK的集合,这些SDK使用AI提供实时虚拟绿屏,增强现实效果以及样式滤镜,供开发人员添加到其流软件中。Nvidia可能已经为其GeForce RTX 20系列图形卡加载了专用的RT和张量核心,以加速游戏中最先进的实时光线追踪,但现在它将这些张量核心的机器学习印章投入到视频创作者的更实际工作中。
RTX绿屏
RTX Greenscreen的性能类似于Logitech C922和Razer Stargazer网络摄像头内置的虚拟绿屏功能-希望能获得更一致的结果。它可以智能地从网络摄像头摘要中删除背景,仅保留您的身体和面部,显示游戏摘要。
Nvidia提供的图像看上去清晰而干净,但是上述网络摄像头显示,该证明将在布丁中体现出来。如果这项技术行之有效,它可能会否定Logitech和Razer的特殊功能,甚至可能需要冒充昂贵的物理绿屏。
RTX AR
与Greenscreen一样,RTX AR可以检测到您的脸部,直至各个功能的移动。Nvidia说:“开发人员可以使用它来创建有趣的,引人入胜的AR效果,例如将3D内容叠加在脸上或允许人用自己的脸部控制3D角色。”
RTX样式过滤器
RTX样式过滤器可以改变网络摄像头源的外观,以模仿参考图像的样式。上面的Nvidia示例为Feed(包括飘带本人)提供了梵高的标志性“ 星夜” 画作的氛围。该公司的Ansel“超级屏幕截图”图像过滤器可以在游戏中提供类似的效果,尽管Ansel不需要张量核心来发挥其魔力。
这些新功能要求开发人员将它们添加到其流软件中,因此我们必须了解它们的使用范围。向OBS添加RTX Greenscreen是世界上最受欢迎的Twitch流程序之一,这是一个很好的开始。StreamLabs和XSplit的高管提供了罐头语,表明他们对将Nvidia RTX Broadcast Engine功能集成到自己的软件中感到兴奋。
充分利用RTX GPU中烘焙的张量核心来增强效果,这是一种邪恶的聪明方法,可以使GeForce对流光更具吸引力,尤其是在出色的RTX编码器的背面。在过去的一个月中,Twitch Studio,Elgato和Discord均引入了功能,这些功能也依赖Nvidia Fast Codec SDK的支持。