connect everything into stable diffusion

你想要连接任何稳定的东西。比如Photoshop或者一个网络摄像头。在这个教程中,让我们看一看如何在TouchDesigner中使用稳定的扩散的几个例子。首先安装所有必要的组件,然后看一些生成图像的基本示例以及我们如何增加生成速度,我们还将创建一个简单的界面。让我们开始吧。

如果你还没有安装TouchDesigner,下载最新的版本。免费版本将会有一定的图片大小限制,但对我们来说足够了。然后下载包含一切你需要在稳定的扩散中工作的东西,还要安装ComfyUI管理器。稳定扩散模型将会需要用来生成图像,它们可以例如在Civit AI网站上找到,将模型复制到文件夹confi models。还要下载各种Auto编码器,并将其复制到相应的文件夹。启动ComfyUI,下载更新,安装附加说明。连接STB扩散和Touch设计,重新启动ComfyUI。让我们检查图像生成是否工作。

拿一个已经做好的工作流程并简单地移到Comfi窗口,选择检查点双击打开笔记菜单,并选择VAA加载器连接到Code和Decode之间,点击Q提示,我们得到了生成的图像。现在我们需要连接到Touch设计,这需要稍微修改工作流。为了发送图像到Comfi,我们在最开始添加加载图像Base64笔记。为了发送图像到Touch设计师,我们在最后添加发送图像WebSocket笔记。现在你需要保存工作流并加载到TouchDesigner中。为了做到这一点,在设置中启用DEF模式选项,并以API格式保存它。下载TDComfyUI组件,它允许你在TouchDesigner中打开Comi项目。打开TouchDesigner,添加一个组件到项目中,添加工作流文件到项目中并连接。所有参数从Comfi将出现在工作流选项卡中。让我们设置一张图片,选择MVE文件并设置到所需的分辨率使用Fit笔记设置分辨率创建新的源来生成图像。在TDComfiUI之后添加N笔记,点击生成并获得一个新的图像。让我们尝试使用Webcam。添加一个视频设备笔记,在选择Webcam并插入到图片之前点击生成。你也可以启用流,这样图像将持续生成。你可能会问,我们如何加快稳定的扩散速度。

为了做到这一点,你需要下载一个额外的模型并将其复制到文件夹confi models。进入Comfi,添加LoRas笔记,按下刷新并按照视频中所示连接。以API格式保存,添加新文件到Touch设计师,更改设置,打开流。你也可以实时控制参数。

让我们来看一看Photoshop的例子。现在我需要安装OBS和Spout插件。Spout允许程序共享来自视频内存的纹理,如果你的软件没有插件,你可以使用OBS,这就是我们即将在Photoshop中做的事情。在Photoshop中创建一个新文档并在OBS中捕获窗口。进入滤镜并自定义,添加一个Spout滤镜。进入Touch设计,并在Spout中添加笔记,这是Photoshop的画布。现在我们需要通过Alpha裁剪它。为了做到这一点,下载Alpha通道裁剪图像组件,并在Spout笔记之后添加它。让我们组合一个简单的界面来让绘制变得更加容易。创建一个容器并选择分辨率,将Null笔记拖动到TDComi的容器后面,在选择背景后设置对齐。创建一个按钮,启用流生成,并将其连接到容器。在按钮之后创建Null笔记,按下键盘上的A并将其拖动到流上选择Chop引用创建窗口并拖动容器选择窗口运算符,在参数中选择始终置顶,然后设置为执行窗口并按F1切换到执行模式,点击流并开始绘制。你可以使用Escape退出编辑器。

我们已经涵盖了Touch设计中稳定扩散整合的最简单的例子,当然你也可以使用控制网络或其他扩展来做更复杂的工作流程,这将为你可能有的任何想法打开空间。谢谢观看。

Leave a Comment