Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Doc Update Request:教程更新请求 #15

Open
2 tasks done
Justin62628 opened this issue Nov 7, 2023 · 49 comments
Open
2 tasks done

Doc Update Request:教程更新请求 #15

Justin62628 opened this issue Nov 7, 2023 · 49 comments

Comments

@Justin62628
Copy link
Collaborator

Justin62628 commented Nov 7, 2023

  • SVFI支持的onnx模型格式,见
    • input size must be [dynamic, 3, dynamic, dynamic]
    • the tensor type must be float16
  • 更新默认推荐配置
切记:此套设置仅支持N卡!!!
版本:6.x
帧数:24-60
输出分辨率:100%(1080p)
渲染质量:12
编码器:cpu(效果好,速度慢)NVENC(速度快,但相对质量有缩减)
压制编码:h.265,10bit
光流尺度:1.0
流畅度优化:时空重采样(流畅度很好,速度还行,但是会增加果冻)前进消重(效果最好,很多画面甚至超越了手抽,但是速度慢(4g显存使用此去重推荐开启半精度)其中,数值改成2可以解决拍三,改成3可以解决拍四以此类推)
补帧模型:GmfSs-pg-104(效果最好)rife-official-4.8(速度快,效果还行)
补帧线程数:1
双向光流:关
其他的可以直接默认,但是分辨率要在1080P
配置要求:显卡显存推荐预留4G及以上
已经用1650 4g笔记本测试可以跑得动
切记:此套设置仅支持N卡!!!
@routineLife1
Copy link
Collaborator

routineLife1 commented Nov 8, 2023

- [ ] 在文档中加入ini预设文件供用户下载与使用

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Nov 14, 2023

  • 解码出绿块画面,提醒用户开启VSPipe解码
    919b64847c83f67485353437f028de87_720

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Nov 17, 2023

- [ ] 更新前进消重的说明:补那些很短的片段(混剪用)的时候,开头结尾得给一些冗余,因为开头结尾肯定是静止帧

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 4, 2024

  • 教程首页更新教学b站链接。
  • 更新阅读顺序建议

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 5, 2024

  • 更新一拍N介绍(指向一个第三方介绍网页链接)

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 14, 2024

  • 未知颜色空间解决办法

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 16, 2024

  • 进一步补充一键压制和补帧的区别,前者输出帧率一定等于输入帧率
    image

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 18, 2024

  • 在进阶选项提示用户使用纯ols命令行速度最快

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 19, 2024

  • 在高级设置的首尾循环位置提示用户“在一般情况下,结尾因为没有可以补出来的新帧,漏掉(输出帧率/输入帧率)的帧是正常的。但在loop模式下不受影响,因为总有开头帧可以和结尾帧作为补帧对补出剩余的帧”

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 19, 2024

  • 在反向光流区域提示使用 pg 104 出现cudnn status error时关反向光流

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 19, 2024

  • 提示用户SVFI仅支持8bit RGB图像序列输入,图片序列和视频均不支持透明通道处理

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 20, 2024

  • Q&A新增:如果补帧算法栏下拉只有ncnn模型:
  1. 检查自己是否有N卡
  2. 退出软件,在steam检查文件完整性
  3. 删除软件安装文件夹的svfi_gpu_info.json

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 23, 2024

  • 介绍一种可能的偏色情况(以下文本是复盘内容,写教程的时候需要rephrase)
根据这里面https://github.com/dwbuiten/d2vsource/issues/40的说法,刚刚这个偏色问题是这样导致的:

- 一个未知编码器使用16-255范围压制该视频到yuv 420p 10bit,理论上它应该被标注成tv色彩范围,但是被错误地标注为pc(full range)。这个视频的色彩范围标签被错误地标注为pc。

- SVFI处理这个视频,完成YUV到RGB转换的时候,使用错误的色彩范围标签信息,用0-255范围解析16-255内容,导致黑色显得更白,白色更深(因为本来16的黑色在0-255范围下就是非纯黑)。

- 但如果强行指定SVFI的色彩转换曲线到bt709,刚好我写死的是用tv色彩范围去解析视频内容(也就是YUV到RGB这步的转换),这样出来就没有偏色。

- 综上,这是又一例经典的信息错误视频导致的偏色问题,具有一定专业性、代表性,不指望正常用户能够自行解决。github的这个issue讨论给出了彻底的解决方案(内置一个直方图分析仪),对当前预处理已经非常慢的SVFI来说不现实,因此又要写教程了(

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 23, 2024

  • 提醒用户对于低于720p的视频,同时使用trt超分模型和vspipe解码会先拉伸到720p再超分,这会引入模糊

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 27, 2024

  • 在Q&A添加偏色处理流程
@る 首先,看你视频在SVFI里是不是标了未知颜色空间
如果标了,去高级设置的输出设置,手动指定 自定义输入颜色转换
如果你不知道颜色转换曲线是什么,前三个三选一试到你发现不偏色为止
如果还是偏,高级设置下方导出settings.ini,原视频截个片段发上来,另外导出原视频mediainfo发上来

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 27, 2024

  • 在QA ”CUDA/3D/Compute0占用率一般在85% 左右或者更高为正常“ 补充以下说明:”不需要管CPU占用,因为SVFI重点不在CPU上“

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 29, 2024

  • 在QA补充“软件启动时报steamworks: None has no App错误是因为PySteamWorks.dll被拦截,手动添加到白名单即可”

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 29, 2024

  • 在QA补充“软件有时候启动任务报_pickle.UnpicklingError: invalid load key, '\x00'. 错误,需要手动删除C:\Users\<UserName>\AppData\Local\Temp\gen_py\文件夹"

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jan 29, 2024

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Feb 1, 2024

  • 高级设置修改相关内容如下,此更改应用在6.9.12后
### 转移分辨率比

先按用户设置的百分比缩放原视频,之后再进行超分。即预缩放功能。

> 例:原视频1920x1080,若转移分辨率比为50%, 模型放大倍数为4x

那么软件运行过程为: 1920x1080(输入) -> 960x540(下缩放) ->3840x2160(超分辨率)

::: tip
- 若转移分辨率设置为AUTO,那么转移分辨率会被设置为`输出倍数` / `模型放大倍数`- 例1:若输入视频分辨率为1920x1080,输出分辨率为3840x2160,计算得到输出倍数为200%,模型放大倍数若为2x,那么转移分辨率会被自动设置为100%;
  - 例2:若输入视频分辨率为1920x1080,输出分辨率为1920x1080,计算得到输出倍数为100%,模型放大倍数若为2x,那么转移分辨率会被自动设置为50%;超分仍然会执行。
- 对于恢复模型,转移分辨率会被设置为100%
:::

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Feb 4, 2024

  • 在Q&A新增视频输出坏块处理流程:1. 换mpv播放器 2. 换cpu编码器

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Feb 4, 2024

  • 超分模型部分新增如何自己导入模型的教程
SVFI 6.8.16 Beta 版本更新公告
SVFI 6.8.16 Beta Update Announcement
- (Pro) 新增SPAN架构超分类别,当前所有模型用于真人超分。所有模型均在[OpenModelDB网站](https://openmodeldb.info/?t=arch%3Aspan)上开源,可以在该网站下载类似的模型并复制到models\\sr\\SPAN\\models文件夹下供SVFI调用,权重文件pth需要包含span以及2x或4x两个字符串以标识超分模型。
- (Pro) Added a new SPAN architecture category for super-resolution. All current models are used for real-world footage. All models are open-sourced on the [OpenModelDB](https://openmodeldb.info/?t=arch%3Aspan) website. Similar models can be downloaded from this site and copied to the models\\sr\\SPAN\\models folder. The weight file (.pth) needs to contain the strings "span" and either "2x" or "4x" to identify the super-resolution model.
- (Pro) 新增Compact(SRVGGCompact)架构超分类别。带有multijpg、LSDIR字样的模型用于真人超分,其他模型用于动漫超分。所有模型均在[OpenModelDB网站](https://openmodeldb.info/?t=arch%3Acompact)上开源,可以在该网站上下载类似的模型并复制到models\\sr\\Compact\\models文件夹下供SVFI调用,权重文件pth需要包含compact以及2x或4x两个字符串以标识超分模型。
- (Pro) Added a new Compact (SRVGGCompact) architecture category for super-resolution. Models with "multijpg" and "LSDIR" are used for super-resolution of real-world footage, while other models are for anime super-resolution. All models are open-sourced on the [OpenModelDB](https://openmodeldb.info/?t=arch%3Acompact) website. Similar models can be downloaded from this site and copied to the models\\sr\\Compact\\models folder for SVFI use. The weight file (.pth) needs to contain "compact" and either "2x" or "4x" to identify the super-resolution model.
- (Pro) 用于动漫超分的AnimeJanai(仅用于测试)模型被移至Compact算法栏目下
- (Pro) The AnimeJanai model (used only for testing) for anime super-resolution has been moved to the Compact algorithm section.
- (Pro) 新增通用补帧算法模型RIFE 4.14
- (Pro) Added a new general VFI model of RIFE 4.14.

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Feb 7, 2024

  • Q&A和工具箱介绍部分新增:
  • 当遇到任务强制结束,显存和内存无法释放的情况时,前往工具箱点击“结束残留进程”按钮。注意这会结束所有任务,包括多开SVFI的其他任务。
    如果需要避免结束多开SVFI的情况,需要手动进入任务管理器,结束当前SVFI进程下的所有SVFI CLI进程。
    我们始终建议在开启多线程时,不要轻易点击结束任务按钮

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Feb 7, 2024

  • 在相关介绍部分:
    使用全vspipe工作流或者使用vspipe进行trt超分时,对于第一次trt编译,一定要检查任务管理器里有没有两个以上trtexec进程,如果有,杀掉其中一个,确保只有一个trtexec

如果在trtexec只有一个的情况下仍然由于显存不足报错,需要调整切割块大小。建议使用平均切割,即先切换到CUGAN超分算法调整切割模式(切割1/2即将画面对半切开分别超分,然后合并,其他模式以此类推),然后再切换回TensorRT选择模型
(这块以后会优化)
image
模型最后的切割大小可以在models\sr\TensorRT\models看到,realesrgan_2x.onnx.540x960_workspace128_fp16_io32_device0_8601.engine意味着切割大小是540x960,不同切割大小会导致完全不同的超分速度,因此要谨慎处理

@routineLife1
Copy link
Collaborator

routineLife1 commented Feb 16, 2024

  • ncnn显卡过载处理流程https://steamcommunity.com/app/1692080/discussions/3/3830917450447561410/#c6722218992170790481 并补充”时空线性化或绝对流畅可能会导致这个黑屏“
  • 对于相关设置,补充相关的技术实现细节
    AFDE307A770A0C2464C5A3B8AB5CC941
  • 处理ECC报错流程,https://channellfd.com/msfs-rtx-4090-issues-resolved/
  • 关于transition chooser 转场结果未对齐的解决方案,Enable Debug mode under advanced settings, and you will find output video with green mark on the top left corner which the software believes to be the scene according to the json. You can then adjust the number of shift option in scene detection settings panel to sort of calibrate the scene detection result
  • 添加上上次beta公告关于自定义添加openModelDb模型的说明,记得说明必须参加beta
  • 将超分预设(维护中)替换成近三年SVFI使用超分模型排行榜,同时补帧预设也添加一个对应的板块
  • 限制显存编译模型,在5G可用显存下的表现,可以看到占用6.9G专用+3.5G共享,速度却快了不少,如下图
    9c3858608f33f3ca3849c7a816724e23
  • 更新 软件除高级设置以外的教程,重点更新1. 常见问题解决流程,直接改群公告的即可 2. 软件首页各快捷功能(右键信息,快捷键等)

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Feb 25, 2024

  • 其他超分选项介绍新增“超分强度”介绍。

  • 使用realCUGAN非trt模型,该值越小,画面越锐;越大画面越模糊(超分强度越小)

  • 使用realCUGAN trt模型,该值越小,画面越模糊

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Feb 25, 2024

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Feb 25, 2024

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Feb 26, 2024

  • 在global_advanced_settings.json介绍页面新增以下参数:
    image
  1. 默认使用xformer加速,经测试不会导致效果下降
  2. 前进消重使用pad而不是interpolate,默认关
  3. 前进消重使用校正,默认开
  4. 补帧流程使用pad而不是interpolate,默认关
  5. torch trt使用fp32作为trt输入输出,开启后可显著
    减小rife trt在前进去重后导致的锯齿

@routineLife1
Copy link
Collaborator

routineLife1 commented Feb 26, 2024

07caa7a412a5209f3af2686a40f110e3_720

问: 拼接区块失败是因为啥来着?
答: 让他重新开个任务就行
问: 咋说,就是这个任务现在跑不了了是吗?
答: 对,估计已经给他搞脏了
问: 行吧, 话说,区块合并失败主要是因为哪些原因
答: 存在一个000-000000-000000的区块, 这个区块为什么能生成,三年来,我就没搞懂过
问: 那以后出现这种问题的话,我就是让他们恢复进度,如果还不行的话,就只能手动拼了?
答: 一般是让他们检查有没有那个000区块,如果有,就删掉重试恢复进度,如果还不行,就按你说的来

  • 总结上面的聊天记录内容并开一个新comment要求更新合并区块相关的教程

@routineLife1
Copy link
Collaborator

routineLife1 commented Mar 3, 2024

  • encc使用-d||控制编码gpu,ffmpeg nvenc,vce,qsv使用-gpu||控制使用的编码gpu
  • 提醒用户使用SVFI命令行工具要在SVFI安装文件夹下新建命令窗口\确保当前工作路径在安装文件夹路径
  • 在SVFI界面内选择gpu0启动任务,生成任务配置文件,然后按照在线教程另外开个命令行cmd,先输入set CUDA_VISIBLE_DEVICES=1回车,然后调用ols,以指定gpu运行。这个方法同样可以解决int8量化时无法指定使用显卡的问题
  • 开个新issue,title“进一步补充自定义模型输入的教程”,content写“补充说明模型名称解析规则,对号入座”,然后把assignee给justin
  • 警告大家1080p gmfss不要调0.5
  • 加入pt转trt的教程
  • 建议A卡用户在整数倍补帧时,不要开启TruMotion(绝对流畅),而是使用无优化
  • 建议用户先补帧再超分,遇到瑕疵放大的情况再使用默认设置(先超分再补帧)”。然后最好每隔几条说个“前xx条收到

@routineLife1
Copy link
Collaborator

routineLife1 commented Mar 11, 2024

  • 现在SVFI支持Waifu2x,RealESR,Compact,SPAN,WaifuCUDA,RealCUGAN,NcnnCUGAN,NcnnRealESRBasicVSRPP,FTVSR,RealBasicVSR,PureBasicVSR,AnimeSR,TensorRT(ONNX)这么多模型,
    OpenModelDB支持的模型结构如图

3591E5F1DB12141DE282BF219C5E38B3

其中与SVFI兼容的有Compact,(Real-)CUGAN(未测试),ESRGAN(未测试),SPAN,ONNX(TensorRT)。我计划新增HAT和OmniSR。

以下以新增Compact和TensorRT模型说明。

  • 补充关于播放器的教程 已有inpaint教程

@routineLife1
Copy link
Collaborator

routineLife1 commented Apr 6, 2024

  • hdr10静态数据缺失的手动补全方法
    Parse Master Display Info Failed: [{'side_data_type': 'SMPTE 12-1 timecode', 'timecodes': [{'value': '01:00:00:00'}]}]
    片源不行, 可以通过自定义ffmpeg压制命令行把参数补上去
    2024-04-06.error.log
  • 提示用户全vspipe补帧强制开时空线性化优化
  • 增加音画不同步问题的排查处理,注意“什么是帧率”的介绍页面有关于svfi不支持可变帧率的强调
  • 介绍开了前进消重还是卡的情况,可能是转场检测误判,要提高阈值

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Apr 21, 2024

  • 输出视频卡顿或合并报错:可能是chunk存在坏块

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Apr 22, 2024

  • cudnn initiated failure,检查文件完整性
    image

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Apr 22, 2024

  • 对比窗口升级
    73b8d8eac72cfd0fa49354f0d3683458_720

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Apr 26, 2024

  • 提示int8量化可能会显著降低超分质量

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Apr 28, 2024

  • 提示不开启安全帧率选项,输出mkv(由于mkvmerge的原因)可能会在输入为非标准帧率下(如119800/1000)出现VFR。其他情况没问题

@routineLife1
Copy link
Collaborator

routineLife1 commented May 13, 2024

  • 补充基础视频知识

@Justin62628
Copy link
Collaborator Author

Justin62628 commented May 17, 2024

@Justin62628
Copy link
Collaborator Author

Justin62628 commented May 23, 2024

  • 提示不支持直接网络位置,需要挂载为 虚拟磁盘

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jun 12, 2024

  • 提示对于播放分辨率错误:不要使用potplayer,用mpv

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jul 10, 2024

  • 全vspipe执行出现”未找到区块“:vs无法读入视频,无法开启此模式

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Jul 10, 2024

  • 反向光流的开启导致Gmfss-104模型补帧时,人物主体周围出现影子
  • 高到低帧率:可变帧率
  • 视频跑出来很少,合并失败
  • 字体问题
  • 标准问题处理流程

@routineLife1
Copy link
Collaborator

routineLife1 commented Sep 16, 2024

  • 校正英文选项翻译,流畅度优化
  • 教大伙用mpv lazy

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Oct 20, 2024

  • 加两个svfi一个超分一个超加补的效率
    @快去看春物! 一个Aniscale2x1080P超4K
    一个Ani2x加DrbaGmfss双打
    两个单拿出来都不比正常单独超的速度慢很多
    Image
  • 添加drba介绍
  • DRBA gif对比图(仓库的readme里有)
  • 更新教程主页中的效果演示视频
  • 添加涡轮增压模式介绍
  • 关于支持的分辨率。AnimeSR无法处理特定分辨率视频。Okay I made two files one is 854x480 and the other is 720x576 and they both worked!! so it was the weird resolution after all. What I will do then is I will use topaz to upscale it to 720 then use SFVI and upscale it to 1080 using AnimeSR. but this is good to know so in the future you will know if someone have a similar issue.

@Justin62628
Copy link
Collaborator Author

Justin62628 commented Nov 4, 2024

@routineLife1
Copy link
Collaborator

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants