waifu2x(老婆放大2倍)图片无损放大 笔记 与 Real-ESRGAN

《waifu2x(老婆放大2倍)图片无损放大 笔记 与 Real-ESRGAN》
《waifu2x(老婆放大2倍)图片无损放大 笔记 与 Real-ESRGAN》

waifu2x是使用深度卷积神经网络的图片超解析系统,针对二次元图片效果最佳。

waifu2x-caffe

waifu2x-caffe是由lltcggie制作的第三方单机版,基于Caffe平台,是流传最广的waifu2x第三方版本。(window)

waifu2x-ncnn-vulkan

Github用户nihui在2019年4月21日发布,可在 64bit Windows/Linux/MacOS 操作系统运行的本地端waifu2x。基于vulkan API,适用于所有现代Intel/AMD/Nvidia GPU。

waifu2x-ncnn

Android系统的本地端waifu2x,同样基于vulkan API,支持Android7.0及以上版本,适配大部分手机GPU。目前具有CUnet、UpRGB(Anime)、Up photo (photo)三个模型。

Video2x

Video2x由Github用户k4yt3x在2017年制作,基于Waifu2x-Caffe或waifu2x-ncnn-vulkan,整合了FFMPEG等,直接用于处理视频。Video2X GUI版本在2019年8月4日上线。现行版本除了Waifu2x之外也有多种适用于不同情况的运算模型。

waifu2x-Extension GUI

waifu2x-Extension GUI由Aaron Feng制作并持续更新。高级版价格为36RMB,有更多自定义设定和不会再弹出升级图标。基于多个影像超解析模型,包括Waifu2x-Caffe,同时可处理影片补帧。

基于waifu2x-ncnn-vulkan的安装笔记:

官网地址:
https://github.com/nihui/waifu2x-ncnn-vulkan
百科:
https://zh.moegirl.org.cn/Waifu2x

//https://github.com/nihui/waifu2x-ncnn-vulkan/archive/refs/tags/20220419.tar.gz

#cd /usr/local
#wget https://github.com/nihui/waifu2x-ncnn-vulkan/archive/refs/tags/20220419.tar.gz

#tar -xvf ./20220419.tar.gz

1.环境需求:
#dnf install vulkan-headers vulkan-loader-devel
//复制项目
#git clone https://github.com/nihui/waifu2x-ncnn-vulkan.git
#cd waifu2x-ncnn-vulkan
#git submodule update --init --recursive

#mkdir build
#cd build
#cmake ../src
#cmake --build . -j 4
//创建快捷方式
# ln -s  /usr/local/waifu2x-ncnn-vulkan/build/waifu2x-ncnn-vulkan /usr/local/bin/waifu2x
#cp -r /usr/local/waifu2x-ncnn-vulkan/models/models-upconv_7_anime_style_art_rgb /usr/local/waifu2x-ncnn-vulkan/build/

//使用
waifu2x -i origin.jpg -o output.png -n 2 -s 2
  -h                   show this help
  -v                   verbose output
  -i input-path        源文件路径 (jpg/png/webp) or directory
  -o output-path       输出路径 (jpg/png/webp) or directory
  -n noise-level       降噪level (-1/0/1/2/3, default=0)
-1 = 无
0 = 低
1 = 中等
2 = 高
3 = 最高

  -s scale             放大倍数 ratio (1/2/4/8/16/32, default=2)
1 = no scaling, denoise only. upconv_7 doesn't support this mode.
2 = upscale 2x.



  -t tile-size         tile size (>=32/0=auto, default=0) can be 0,0,0 for multi-gpu
  -m model-path        waifu2x model path (default=models-cunet) 详细速度比较可以看下面的图表
0 = upconv_7_anime_style_art_rgb
1 = upconv_7_photo
2 = cunet (用于 2D 图稿。速度较慢,但​​质量更好。)



  -g gpu-id            gpu device to use (-1=cpu, default=auto) can be 0,1,2 for multi-gpu
  -j load:proc:save    thread count for load/proc/save (default=1:2:2) can be 1:2,2,2:2 for multi-gpu
  -x                   enable tta mode
  -f format            输出的文件类型 (jpg/png/webp, default=ext/png)

测试时发现处理一张800*1500的图片居然需要6s+以上,可能是服务器使用的是cpu处理模式而不是GPU处理模式,暂时因为无法升级服务器显卡等问题,可能这个方案只有看看,而无法确立被使用

后记,如果支持多启动,那么,这个处理时长就不成问题~~~~~~😮😮😮,简直就像发现新大陆一样~~~~

2022.07.29测试说明,启用nvidia与不启用gpu只使用cpu处理一个290kb的图片对比:
->不使用gpu,只使用cpu(E5-2696 v3 @ 2.30GHz 72核) 总用时: 1:04.82
->使用gpu(gtx 1050Ti 4G) cuda11.7 cpu(E3 1230 v3)  总用时 00:05.50
差别将近12倍!!!😲😲😲😲😲😲😲😲

实践证明方案可行,只能说,老婆两倍牛B🎉🎉🎉

cunet 针对一般图片

图片尺寸 目标大小 块大小 总时间 显存(MB)
waifu2x-ncnn-vulkan 200×200 400×400 400/200/100 0.86/0.86/0.82 638/638/197
waifu2x-caffe-cui 200×200 400×400 400/200/100 2.54/2.39/2.36 3017/936/843
waifu2x-ncnn-vulkan 400×400 800×800 400/200/100 1.17/1.04/1.02 2430/638/197
waifu2x-caffe-cui 400×400 800×800 400/200/100 2.91/2.43/2.7 3202/1389/1178
waifu2x-ncnn-vulkan 1000×1000 2000×2000 400/200/100 2.35/2.26/2.46 2430/638/197
waifu2x-caffe-cui 1000×1000 2000×2000 400/200/100 4.04/3.79/4.35 3258/1582/1175
waifu2x-ncnn-vulkan 2000×2000 4000×4000 400/200/100 6.46/6.59/7.49 2430/686/213
waifu2x-caffe-cui 2000×2000 4000×4000 400/200/100 7.01/7.54/10.11 3258/1499/1200
waifu2x-ncnn-vulkan 4000×4000 8000×8000 400/200/100 22.78/23.78/27.61 2448/654/213
waifu2x-caffe-cui 4000×4000 8000×8000 400/200/100 18.45/21.85/31.82 3325/1652/1236

upconv_7_anime_style_art_rgb 针对插画

图片尺寸 目标大小 块大小 总时间 显存(MB)
waifu2x-ncnn-vulkan 200×200 400×400 400/200/100 0.74/0.75/0.72 482/482/142
waifu2x-caffe-cui 200×200 400×400 400/200/100 2.04/1.99/1.99 995/546/459
waifu2x-ncnn-vulkan 400×400 800×800 400/200/100 0.95/0.83/0.81 1762/482/142
waifu2x-caffe-cui 400×400 800×800 400/200/100 2.08/2.12/2.11 995/546/459
waifu2x-ncnn-vulkan 1000×1000 2000×2000 400/200/100 1.52/1.41/1.44 1778/482/142
waifu2x-caffe-cui 1000×1000 2000×2000 400/200/100 2.72/2.60/2.68 1015/570/459
waifu2x-ncnn-vulkan 2000×2000 4000×4000 400/200/100 3.45/3.42/3.63 1778/482/142
waifu2x-caffe-cui 2000×2000 4000×4000 400/200/100 3.90/4.01/4.35 1015/521/462
waifu2x-ncnn-vulkan 4000×4000 8000×8000 400/200/100 11.16/11.29/12.07 1796/498/158
waifu2x-caffe-cui 4000×4000 8000×8000 400/200/100 9.24/9.81/11.16 995/546/436

imagick相关滤镜

imagick::FILTER_UNDEFINED (int)
imagick::FILTER_POINT (int)
imagick::FILTER_BOX (int)
imagick::FILTER_TRIANGLE (int)
imagick::FILTER_HERMITE (int)
imagick::FILTER_HANNING (int)
imagick::FILTER_HAMMING (int)
imagick::FILTER_BLACKMAN (int)
imagick::FILTER_GAUSSIAN (int)
imagick::FILTER_QUADRATIC (int)
imagick::FILTER_CUBIC (int)
imagick::FILTER_CATROM (int)
imagick::FILTER_MITCHELL (int)
imagick::FILTER_LANCZOS (int)  筛箱的模态分析采用分块法(Lanczos),有点像降噪的滤镜,但不是降噪
imagick::FILTER_BESSEL (int)
imagick::FILTER_SINC (int)

Real-ESRGAN 一个貌似比waifu2x还好的工具

官网:https://github.com/xinntao/Real-ESRGAN/blob/master/README_CN.md

安装:
git clone https://github.com/xinntao/Real-ESRGAN.git
cd Real-ESRGAN


# 安装 basicsr - https://github.com/xinntao/BasicSR
# 我们使用BasicSR来训练以及推断
pip3.7 install basicsr
# facexlib和gfpgan是用来增强人脸的
pip3.7 install facexlib
pip3.7 install gfpgan
pip3.7 install -r requirements.txt
python3.7 setup.py develop


python3.7 inference_realesrgan.py -n RealESRGAN_x4plus -i /root/01.webp --face_enhance

Usage: python inference_realesrgan.py -n RealESRGAN_x4plus -i infile -o outfile [options]...
A common command: python inference_realesrgan.py -n RealESRGAN_x4plus -i infile --outscale 3.5 --face_enhance
显示这个帮助
-i——input输入图像或文件夹。默认值:输入
-o——output输出文件夹。默认值:结果
-n——model_name模型名。默认值:RealESRGAN_x4plus
-s,——outscale图像的最终上采样比例。默认值:4
——suffix恢复映像的后缀。默认:out
-t,——tile tile大小,0表示测试期间没有tile。默认值:0
——face_enhance是否使用GFPGAN增强人脸。默认值:假
——fp32在推理时是否使用半精度。默认值:假
——ext图像扩展。选项:auto | jpg | png, auto表示使用相同的扩展名作为输入。默认值:自动
《waifu2x(老婆放大2倍)图片无损放大 笔记 与 Real-ESRGAN》
对小图的处理还是比较优秀的,点击图片可看大图

使用总结

1.效果比waifu好,速度比waifu慢,waifu用5秒处理的这个需要15秒

2.建议是少于400*400的图要放大才用这个来处理,平常还是waifu吧

3.对于比较大的图的处理,感觉还是waifu好点,Real-ESRGAN会存在吞细节的问题,下面是例子

《waifu2x(老婆放大2倍)图片无损放大 笔记 与 Real-ESRGAN》
点赞

发表评论

邮箱地址不会被公开。 必填项已用*标注