我想请问一个问题,对于这个项目的模型,可以处理高分辨率2k、4k的图像或者视频吗,还是说对于任意分辨率的输入,输出结果都是256,有什么方法可以实现高分辨率图像和谐化呢   这是我使用1920*1080测试的结果,得到256分辨率
Activity
zhanghongyong123456 commentedon Nov 25, 2021
junleen commentedon Nov 26, 2021
第一个问题:我之前用多卡并行训练了一个512x512分辨率的模型,我只测了客观指标,还没有看具体的结果,麻烦您帮我也试一下哈。模型链接在这https://github.com/junleen/RainNet#update
第二个问题:这个case有点意思,局部靠近边界的地方产生了一些怪怪的颜色,我后面可能得具体找找原因,感谢您的提问。
zhanghongyong123456 commentedon Nov 26, 2021
感谢您的及时回复,


1.我测试的这张图是HCOCO数据集的c10123_2152925_1.jpg图片,您可以自己测试一下,看看是否和我一样的效果
2.对于新的模型,除了修改模型,对于test.py 文件 testdata = TestDataset(foreground_paths=comp_path, mask_paths=mask_path, background_paths=real_path, load_size=256),这个load_size 设置有什么影响吗,我尝试我这里最高设置1024,输出为1024。
对于原始的load_size=256:得到这个结果
我修改load_size=1024,得到这个结果
您看一下有什么区别
junleen commentedon Nov 26, 2021
一般是在多少分辨率训练的,就在多少分辨测试。如果是512分辨率的话,用256测试可能不太行。您这里尝试的测试结果,在1024分辨率感觉还挺好的呀。
zhanghongyong123456 commentedon Nov 26, 2021
1.是的,我也觉得效果很好,那我如何才能测试更大分辨率的图像呢,比如2k、4k之类的图像

2.对于咱们这个实现和谷歌(https://github.com/augmentedperception/total_relighting)的这个实现,本质一样吗,都是处理合成之后的效果
3.这个项目,相较于其他的两个项目,有什么不同之处呢
https://github.com/bcmi/BargainNet-Image-Harmonization
https://github.com/bcmi/Image-Harmonization-Dataset-iHarmony4
junleen commentedon Nov 26, 2021
谢谢提问!
zhanghongyong123456 commentedon Nov 27, 2021
1感谢您的回复,我能输出分辨率不一样的图像吗,比如19201080 ,还是说只能输出2的n次方数值(256256、512512、10241024、2048*4028...)

2.
我用新的512模型测试一张图像,
zhanghongyong123456 commentedon Nov 29, 2021
您好,我想请教一下,

1.对于图像是不是需要固定特殊的尺寸,比如2的n次幂,能不能实现任意图像的处理,无需进行resize处理
2. 是不是对于任意的提取特征的网络作为骨架都是可行的,比如现在常用的ResNet 以及MobileNetv3 ,在这些特征图之间加上Rain模块可以实现
3. 对于速度上有什么好的优化呢,我测试的一张图像只进行处理最快大概需要1.2-1.3s,能不能实现实时(30fps)