waifu2x是使用深度卷积神经网络的图片超解析系统,针对二次元图片效果最佳。
waifu2x-caffe
waifu2x-caffe是由lltcggie制作的第三方单机版,基于Caffe平台,是流传最广的waifu2x第三方版本。(window)
waifu2x-ncnn-vulkan
Github用户nihui在2019年4月21日发布,可在 64bit Windows/Linux/MacOS 操作系统运行的本地端waifu2x。基于vulkan API,适用于所有现代Intel/AMD/Nvidia GPU。
waifu2x-ncnn
Android系统的本地端waifu2x,同样基于vulkan API,支持Android7.0及以上版本,适配大部分手机GPU。目前具有CUnet、UpRGB(Anime)、Up photo (photo)三个模型。
Video2x
Video2x由Github用户k4yt3x在2017年制作,基于Waifu2x-Caffe或waifu2x-ncnn-vulkan,整合了FFMPEG等,直接用于处理视频。Video2X GUI版本在2019年8月4日上线。现行版本除了Waifu2x之外也有多种适用于不同情况的运算模型。
waifu2x-Extension GUI
waifu2x-Extension GUI由Aaron Feng制作并持续更新。高级版价格为36RMB,有更多自定义设定和不会再弹出升级图标。基于多个影像超解析模型,包括Waifu2x-Caffe,同时可处理影片补帧。
基于waifu2x-ncnn-vulkan的安装笔记:
官网地址:
https://github.com/nihui/waifu2x-ncnn-vulkan
百科:
https://zh.moegirl.org.cn/Waifu2x
//https://github.com/nihui/waifu2x-ncnn-vulkan/archive/refs/tags/20220419.tar.gz
#cd /usr/local
#wget https://github.com/nihui/waifu2x-ncnn-vulkan/archive/refs/tags/20220419.tar.gz
#tar -xvf ./20220419.tar.gz
1.环境需求:
#dnf install vulkan-headers vulkan-loader-devel
//复制项目
#git clone https://github.com/nihui/waifu2x-ncnn-vulkan.git
#cd waifu2x-ncnn-vulkan
#git submodule update --init --recursive
#mkdir build
#cd build
#cmake ../src
#cmake --build . -j 4
//创建快捷方式
# ln -s /usr/local/waifu2x-ncnn-vulkan/build/waifu2x-ncnn-vulkan /usr/local/bin/waifu2x
#cp -r /usr/local/waifu2x-ncnn-vulkan/models/models-upconv_7_anime_style_art_rgb /usr/local/waifu2x-ncnn-vulkan/build/
//使用
waifu2x -i origin.jpg -o output.png -n 2 -s 2
-h show this help
-v verbose output
-i input-path 源文件路径 (jpg/png/webp) or directory
-o output-path 输出路径 (jpg/png/webp) or directory
-n noise-level 降噪level (-1/0/1/2/3, default=0)
-1 = 无
0 = 低
1 = 中等
2 = 高
3 = 最高
-s scale 放大倍数 ratio (1/2/4/8/16/32, default=2)
1 = no scaling, denoise only. upconv_7 doesn't support this mode.
2 = upscale 2x.
-t tile-size tile size (>=32/0=auto, default=0) can be 0,0,0 for multi-gpu
-m model-path waifu2x model path (default=models-cunet) 详细速度比较可以看下面的图表
0 = upconv_7_anime_style_art_rgb
1 = upconv_7_photo
2 = cunet (用于 2D 图稿。速度较慢,但质量更好。)
-g gpu-id gpu device to use (-1=cpu, default=auto) can be 0,1,2 for multi-gpu
-j load:proc:save thread count for load/proc/save (default=1:2:2) can be 1:2,2,2:2 for multi-gpu
-x enable tta mode
-f format 输出的文件类型 (jpg/png/webp, default=ext/png)
测试时发现处理一张800*1500的图片居然需要6s+以上,可能是服务器使用的是cpu处理模式而不是GPU处理模式,暂时因为无法升级服务器显卡等问题,可能这个方案只有看看,而无法确立被使用
后记,如果支持多启动,那么,这个处理时长就不成问题~~~~~~😮😮😮,简直就像发现新大陆一样~~~~
2022.07.29测试说明,启用nvidia与不启用gpu只使用cpu处理一个290kb的图片对比:
->不使用gpu,只使用cpu(E5-2696 v3 @ 2.30GHz 72核) 总用时: 1:04.82
->使用gpu(gtx 1050Ti 4G) cuda11.7 cpu(E3 1230 v3) 总用时 00:05.50
差别将近12倍!!!😲😲😲😲😲😲😲😲
实践证明方案可行,只能说,老婆两倍牛B🎉🎉🎉
cunet 针对一般图片
图片尺寸 | 目标大小 | 块大小 | 总时间 | 显存(MB) | |
---|---|---|---|---|---|
waifu2x-ncnn-vulkan | 200×200 | 400×400 | 400/200/100 | 0.86/0.86/0.82 | 638/638/197 |
waifu2x-caffe-cui | 200×200 | 400×400 | 400/200/100 | 2.54/2.39/2.36 | 3017/936/843 |
waifu2x-ncnn-vulkan | 400×400 | 800×800 | 400/200/100 | 1.17/1.04/1.02 | 2430/638/197 |
waifu2x-caffe-cui | 400×400 | 800×800 | 400/200/100 | 2.91/2.43/2.7 | 3202/1389/1178 |
waifu2x-ncnn-vulkan | 1000×1000 | 2000×2000 | 400/200/100 | 2.35/2.26/2.46 | 2430/638/197 |
waifu2x-caffe-cui | 1000×1000 | 2000×2000 | 400/200/100 | 4.04/3.79/4.35 | 3258/1582/1175 |
waifu2x-ncnn-vulkan | 2000×2000 | 4000×4000 | 400/200/100 | 6.46/6.59/7.49 | 2430/686/213 |
waifu2x-caffe-cui | 2000×2000 | 4000×4000 | 400/200/100 | 7.01/7.54/10.11 | 3258/1499/1200 |
waifu2x-ncnn-vulkan | 4000×4000 | 8000×8000 | 400/200/100 | 22.78/23.78/27.61 | 2448/654/213 |
waifu2x-caffe-cui | 4000×4000 | 8000×8000 | 400/200/100 | 18.45/21.85/31.82 | 3325/1652/1236 |
upconv_7_anime_style_art_rgb 针对插画
图片尺寸 | 目标大小 | 块大小 | 总时间 | 显存(MB) | |
---|---|---|---|---|---|
waifu2x-ncnn-vulkan | 200×200 | 400×400 | 400/200/100 | 0.74/0.75/0.72 | 482/482/142 |
waifu2x-caffe-cui | 200×200 | 400×400 | 400/200/100 | 2.04/1.99/1.99 | 995/546/459 |
waifu2x-ncnn-vulkan | 400×400 | 800×800 | 400/200/100 | 0.95/0.83/0.81 | 1762/482/142 |
waifu2x-caffe-cui | 400×400 | 800×800 | 400/200/100 | 2.08/2.12/2.11 | 995/546/459 |
waifu2x-ncnn-vulkan | 1000×1000 | 2000×2000 | 400/200/100 | 1.52/1.41/1.44 | 1778/482/142 |
waifu2x-caffe-cui | 1000×1000 | 2000×2000 | 400/200/100 | 2.72/2.60/2.68 | 1015/570/459 |
waifu2x-ncnn-vulkan | 2000×2000 | 4000×4000 | 400/200/100 | 3.45/3.42/3.63 | 1778/482/142 |
waifu2x-caffe-cui | 2000×2000 | 4000×4000 | 400/200/100 | 3.90/4.01/4.35 | 1015/521/462 |
waifu2x-ncnn-vulkan | 4000×4000 | 8000×8000 | 400/200/100 | 11.16/11.29/12.07 | 1796/498/158 |
waifu2x-caffe-cui | 4000×4000 | 8000×8000 | 400/200/100 | 9.24/9.81/11.16 | 995/546/436 |
imagick相关滤镜
imagick::FILTER_UNDEFINED (int)
imagick::FILTER_POINT (int)
imagick::FILTER_BOX (int)
imagick::FILTER_TRIANGLE (int)
imagick::FILTER_HERMITE (int)
imagick::FILTER_HANNING (int)
imagick::FILTER_HAMMING (int)
imagick::FILTER_BLACKMAN (int)
imagick::FILTER_GAUSSIAN (int)
imagick::FILTER_QUADRATIC (int)
imagick::FILTER_CUBIC (int)
imagick::FILTER_CATROM (int)
imagick::FILTER_MITCHELL (int)
imagick::FILTER_LANCZOS (int) 筛箱的模态分析采用分块法(Lanczos),有点像降噪的滤镜,但不是降噪
imagick::FILTER_BESSEL (int)
imagick::FILTER_SINC (int)
Real-ESRGAN 一个貌似比waifu2x还好的工具
官网:https://github.com/xinntao/Real-ESRGAN/blob/master/README_CN.md
安装:
git clone https://github.com/xinntao/Real-ESRGAN.git
cd Real-ESRGAN
# 安装 basicsr - https://github.com/xinntao/BasicSR
# 我们使用BasicSR来训练以及推断
pip3.7 install basicsr
# facexlib和gfpgan是用来增强人脸的
pip3.7 install facexlib
pip3.7 install gfpgan
pip3.7 install -r requirements.txt
python3.7 setup.py develop
python3.7 inference_realesrgan.py -n RealESRGAN_x4plus -i /root/01.webp --face_enhance
Usage: python inference_realesrgan.py -n RealESRGAN_x4plus -i infile -o outfile [options]...
A common command: python inference_realesrgan.py -n RealESRGAN_x4plus -i infile --outscale 3.5 --face_enhance
显示这个帮助
-i——input输入图像或文件夹。默认值:输入
-o——output输出文件夹。默认值:结果
-n——model_name模型名。默认值:RealESRGAN_x4plus
-s,——outscale图像的最终上采样比例。默认值:4
——suffix恢复映像的后缀。默认:out
-t,——tile tile大小,0表示测试期间没有tile。默认值:0
——face_enhance是否使用GFPGAN增强人脸。默认值:假
——fp32在推理时是否使用半精度。默认值:假
——ext图像扩展。选项:auto | jpg | png, auto表示使用相同的扩展名作为输入。默认值:自动

使用总结
1.效果比waifu好,速度比waifu慢,waifu用5秒处理的这个需要15秒
2.建议是少于400*400的图要放大才用这个来处理,平常还是waifu吧
3.对于比较大的图的处理,感觉还是waifu好点,Real-ESRGAN会存在吞细节的问题,下面是例子
