SmoovPlay:主机游戏的实时插帧和超分,采集卡进来画面变顺

一、这个项目解决的是什么问题

主机游戏卡在三十帧,这件事没有软件能改,因为帧是游戏自己算出来的。但如果你是在 PC 上通过串流玩主机——PS5 的 Remote Play 就是这么回事——那你看到的其实是一串视频帧。视频帧是可以插的。

SmoovPlay 干的就是这件事:把主机串流过来的三十帧画面,在显卡上实时补成六十帧、九十帧甚至一百二十帧,同时用 FSR 或者 RTX VSR 做超分。它不碰游戏本体,不碰主机,只在 PC 这一侧的解码和显示之间插一层。

这个思路跟 DLSS 帧生成不一样。DLSS 要有运动矢量,得有游戏引擎配合;串流出来的只是压缩过的视频帧,没有任何引擎数据。所以它用 RIFE 这类光流模型,从两张相邻的帧本身推算中间那张。代价是延迟和抖动,收益是三十帧的游戏看起来像六十帧。

二、核心设计机制

第一层是取帧的位置。它直接从 chiaki-ng 的解码器拿帧,不是去抓窗口。这个区别很实在:抓窗口要过一次合成,多几毫秒延迟,还可能抓到通知弹窗;从解码器拿就是拿到什么算什么。chiaki-ng 是开源的 PS5 Remote Play 客户端,SmoovPlay 配了一个 chiaki_tap 补丁接进去。

第二层是插帧。RIFE 在显卡上跑,一张 1080p 的中间帧在 RTX 4070 Ti SUPER 上大约九毫秒,用的是 RIFE 4.22 lite。三十帧要补到九十帧就得插两张,PS5 实机跑九十帧的时候,每真实帧插两张中间帧的中位耗时是十七点六毫秒。这个数字决定了它能做到什么档位:六十和九十有实测,一百二十没有公开数据。

第三层是超分。默认用 AMD 的 FSR 1,耗时零点一毫秒,几乎免费。NVIDIA 的 RTX VSR 是实验性的,需要 RTX 40 或 50 系显卡,还得单独下 NVIDIA VFG 那个包,同一个下载里带 VSR。

第四层是显示节奏。屏幕是六十赫兹就出六十帧,九十赫兹出九十,一百二十赫兹以上最高到一百二十。有 G-Sync 或者 FreeSync 会更顺,因为帧的间隔不是完全均匀的。这条是硬约束:屏幕刷新率不够,插出来的帧也没地方显示。

三、功能拆解

它要 Windows 10 或 11 的 64 位系统、8GB 内存、安装时 12GB 空闲硬盘。显卡 NVIDIA RTX 30、40、50 系是主路径;AMD Radeon 和 Intel Arc 走 DirectML,标记为实验性,同样的帧慢大约一点七倍。PS5 那边要开 Remote Play,控制台和 PC 之间走有线或者 5GHz、6GHz 的 Wi-Fi,不需要采集卡。

安装是下载 SmoovPlay-Setup.exe 直接跑,十到二十分钟,全程不要求管理员权限。安装包没签名,浏览器和 Windows 各拦一次,Edge 里是点省略号、Keep、Show more、Keep anyway,Windows 是 More info、Run anyway。下载大约 5GB,Python、PyTorch、NVIDIA TensorRT 各自从官方源拉。想核对文件就用 Get-FileHash 算 SHA-256。

设置页能改帧率、超分方式、AI 模型,Auto-detect 会给建议和理由。视频窗有一整套热键:M 出菜单、F 全屏、I 开关插帧做对比、R 存即时回放(三十秒到五分钟的 MP4)、B 存前后对比、K 关或开 Look、J 下一个 Look(Shift+J 回退)、S 统计叠加(off、minimal、detailed)、U 换超分器、Z 切超宽屏的 Fit、Zoom、Stretch、Panorama、L 测延迟(仅 PS5 Remote Play)、Esc 或 Q 停止。抓的是应用窗口而不是采集卡的时候,这些热键要加 Ctrl 和 Alt。

Play 页可以选 App window 或者 Capture card,后者是实验性的。Connect your PS5 在应用内完成:开 Remote Play、在 chiaki-ng 里登录 PSN、注册主机,大约五分钟一次。Looks 有十四个预设,Cinematic、Film、Noir、Retro VHS 这些,能存自定义并分享短码。

延迟这块要说清楚:九十帧大约三十六毫秒,六十帧大约二十毫秒,这是叠加在 Remote Play 自身延迟之上的。实测中位是三十五点四和三十五点八毫秒,其中约二十二毫秒是帧生成器固有的等待——它必须等到下一帧才知道怎么插,这个等待省不掉。

四、适合谁,不适合谁

适合的人:用 PS5 串流到 PC、受不了三十帧的人;有 RTX 30 系以上显卡、屏幕刷新率至少六十赫兹的人;玩三十帧游戏为主,尤其是那种画面慢、镜头稳的类型;愿意接受一点点画面抖动换流畅度的人。

不适合的人:显卡是核显或者很老的独显的,DirectML 那条路慢一点七倍,跑起来不如不跑;用一百二十赫兹屏幕想跑到一百二十的,官方只给了六十和九十的实测,一百二十没有公开片段;追求绝对画质的人,插出来的帧在快速转镜、细物体交叠、HUD 文字快动的时候会轻微抖,这是光流推算的固有缺陷;不想折腾的人,装完还要调帧率、调模型、调平滑选项,不是装完就完。

五、几个需要提前知道的限制

只支持 Windows。macOS 和 Linux 没有包,这不是没做,是它依赖的 TensorRT 和 DirectML 那条链路就长在 Windows 上。

同时只能用一个帧生成器。NVIDIA Smooth Motion、AMD Fluid Motion Frames、Lossless Scaling 这些要关掉,两个一起跑会互相打架,画面反而更糟。

PS5 黑屏是 HDCP 的问题。去 Settings、System、HDMI 里把 Enable HDCP 关掉,看完视频应用记得开回来,不然放蓝光会失败。

三十帧的游戏如果看起来还是不均,要去 Settings、Smoothness 里把 Game frame rate 手动设成 30 fps。Auto 会从流里推断,0.3.4 起改成按画面判断,但静止或者暗场景仍可能误判。四十到六十帧的游戏在六十赫兹流上会抖,把 Even out 40-60 fps 打开(默认开,实验性,多约十七毫秒)。三十帧掉帧就用 Dip smoothing(默认关,实验性,多十七到五十毫秒)。

画质上限是 1080p 源。再怎么超分也比 HDMI 直连软,这是串流本身的损失,不是插帧造成的。

六、项目现状

当前版本 v0.3.11,星标 329,MIT 许可,官网 smoovplay.github.io。发布页只给了一个 Windows x64 的安装包。自动化测试在 0.3.2 就有三百四十条。它不是索尼、NVIDIA、AMD 的官方项目,用到的 chiaki-ng 是 AGPL-3.0,RIFE 和 FSR 1 是 MIT。

七、常见问题

问:没有 PS5 能用吗?

答:能,但路径不一样。Xbox 走 App window 抓窗口;采集卡也能接,Play 页选 Capture card,那是实验性的。PS5 是主路径,因为 chiaki-ng 那条链路是专门为它打通的,延迟最低、最稳。

问:AMD 显卡能跑吗?

答:能,走 DirectML,标记为实验性,同样的帧慢大约一点七倍。预期是六十帧能跑,快一点的卡能到九十。想跑一百二十就别指望了,慢一点七倍之后时间根本不够。

问:为什么延迟比直连高这么多?

答:因为插帧本身要等。它必须拿到下一帧才知道中间那张怎么补,这个等待约二十二毫秒,省不掉。九十帧的三十六毫秒里,一半以上是这个固有代价,剩下的才是计算和传输。

问:插帧之后画面会糊吗?

答:静止和慢镜头基本看不出来,快速转镜、细物体交叠、HUD 文字快动的时候会轻微抖。按 I 键可以随时开关插帧做对比,自己看能不能接受。接受不了就只用超分不用插帧。

问:能不能和 DLSS 帧生成一起用?

答:不能,而且没必要。DLSS 帧生成要游戏引擎给运动矢量,串流出来的视频帧没有这些数据,SmoovPlay 只能用 RIFE 从帧本身推。两套东西解决的是不同场景的问题。

问:安装包为什么被杀毒软件报?

答:因为没签名。它从来不要求管理员权限,安装过程就是把 Python、PyTorch、TensorRT 装进用户目录。想确认文件没问题,用 Get-FileHash 算 SHA-256 跟发布页对一遍,对得上就放心装。

下载地址

夸克网盘(永久有效):https://pan.quark.cn/s/c1d4bf46d71f

本教程由「宝藏星球屋」整理,更多软件、游戏、开源项目都在 https://cbge.top。

本站全部免费,如果觉得内容有用,可打赏支持服务器续费打赏支持
固定文章缩略图

新人必看的入站详细说明指南

解决的你的各种疑难杂症以及各种相关教程

前往查看 »
© 版权声明
THE END
喜欢就支持一下吧
点赞32 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容