MimicBrush,港大&阿里联合提出的一个对目标图像选定区域自动进行局部编辑或替换的图像编辑神器,用户只需指明想要编辑的区域,再配上一张参考图,MimicBrush就能智能捕捉两者间的联系,目标图像就可以根据参考图换成参考图的样子。也就是说,你上传图片,选择图片中的某一个部分,比如一个人的衣服、头发、背景等,然后再上传一张你喜欢的参考图片。MimicBrush就会根据参考图片自动编辑你选择图片的那一部分,让它看起来像参考图片中的那样,这样你就可以只修改图片的某一部分,而不是整个图片。而且MimicBrush还很智能地将参考图像中的纹理(如豹纹、花纹、木纹等)提取出来,然后换到目标图像中。
MimicBrush的功能特征:
参考图像模仿:用户可以在目标图像上圈定希望编辑的特定区域,然后提供一张包含所需样式或对象的参考图像。MimicBrush能够分析并模仿参考图像中的特定视觉特征,将这些特征无缝应用到源图像的指定区域,实现风格或内容的一致性。
零样本图像编辑:用户无需提供大量样本或进行复杂的训练,即可实现图像风格的转换。
自监督学习:MimicBrush利用自监督学习技术,增强语义对齐能力,使得模型能够自监督地捕捉不同图像之间的语义对应关系。
局部风格重绘:MimicBrush可以将一张图片的某一部分融合到另一张图片上,实现局部风格的重绘。
MimicBrush的使用:
用户通过简单的步骤就可以在网页上使用MimicBrush,先上传目标图像,绘制或上传编辑区域的遮罩图,然后上传参考图,点击一下就可以开始编辑了。
MimicBrush适合在电商商品展示、图片编辑和内容迁移等场景。
项目地址:https://xavierchen34.github.io/MimicBrush-Page/
Github:https://github.com/ali-vilab/MimicBrush
HuggingFace:https://huggingface.co/spaces/xichenhku/MimicBrush