中国科学院深圳先进技术研究院近期推出了一项研究成果,即名为HYPIR的模型。
该系统是由中国科学院深圳先进技术研究院的XPixel团队与SenseTime公司以及香港地区的高校共同研发而成的。
该模型的最大处理速度可达1.7秒,即可完成图像的还原工作,并且能够达到8K画质级别的修复效果。
HYPIR的厉害之处
传统的多尺度估计(MSE)、生成对抗网络(GAN)或迭代扩散技术常常存在速度较慢或细节不够精细的问题。
HYPIR的独到之处在于——通过采用“基于扩散模型预训练的得分先验”来初始化恢复网络,接着仅需一次前向传播和对抗微调,便能使模型迅速逼近自然图像分布,从而实现高质量的图像还原,整个过程无需进行多次采样或添加额外模块。
从理论层面来看,这种初始化方法不仅确保了数值的稳定性,防止了坍塌现象的发生,同时还能显著提升训练和推理的效率。
不仅速度迅捷、成效显著,HYPIR 还沿袭了扩散模型的“可控生成”特性——您能够通过文字提示来设定所需的纹理风格或细节程度,甚至能够在恢复过程中进行实时调整,以适应各种不同场景的需求。
下图是经过提示词修改之后的,石头变为房子。

还可以对生成的图片保真度进行设置
在真实的测试过程中,该方案在包括去噪、去模糊以及JPEG伪影修复在内的多项常规任务中,均超越了以往的最佳解决方案。
下图是各个方案的对比。
仅通过一次网络前向传播即可实现,其推理延迟与传统CNN相当,同时还能生成更加自然、更为丰富的细节。
HYPIR如何使用?
若您想体验新意,只需进行仓库的克隆操作,并下载由官方提供的模型(此模型系基于Stable Diffusion 2.1进行训练,批量处理1024个样本,性能均衡,且对计算能力的要求并不高)。
按照官方的提示就可以本地部署。
git clone请勿对HYPIR项目进行任何形式的修改。该项目的代码库位于GitHub平台上的XPixelGroup组织下,具体链接为https://github.com/XPixelGroup/HYPIR.git。cd HYPIR创建名为hypir的新环境,并安装Python 3.10版本。conda activate hypir执行pip命令,使用-r参数,对requirements.txt文件中的依赖项进行安装。
也可以使用官方的在线网站体验
Copyright C 2018 All Rights Reserved 版权所有 聚贤人力 皖ICP备20008326号-40
地址:安徽省合肥市高新技术开发区人力资源产业园 EMAIL:qlwl@foxmail.com
Powered by PHPYun.