曹欣　崇光

Adobe 最近發(fā)布了AdobePhotoshop 的最新公開測(cè)試版后，驚呼聲此起彼伏，其中包含一種新的生成填充功能，可以使用生成AI 技術(shù)在現(xiàn)有照片中創(chuàng)建逼真的對(duì)象、背景和場(chǎng)景擴(kuò)展。

筆者已經(jīng)感受到Adobe 在AdobeFirefly 中實(shí)現(xiàn)生成人工智能，堪稱魔術(shù)師施展的變法，用于根據(jù)文本提示創(chuàng)建整個(gè)合成圖像。

什么是Generative Fill（AI 圖像合成工具）？ 就是使用Firefly 技術(shù)以更有針對(duì)性的方式編輯現(xiàn)有圖像，將生成AI 作為標(biāo)準(zhǔn)功能引入Photoshop。至于其他生成AI 系統(tǒng)相關(guān)聯(lián)的第三方Photoshop 插件，已經(jīng)有一些了，例如Alpaca 和Stability AI。

Firefly 生成式AI 系統(tǒng)會(huì)根據(jù)文本提示中的描述，創(chuàng)建完全原始的圖像，新的素材疊加創(chuàng)建新構(gòu)圖，而不會(huì)用傳統(tǒng)形式提取現(xiàn)有圖像的各個(gè)部分。系統(tǒng)利用從攝取數(shù)百萬張照片中學(xué)到的知識(shí)，發(fā)明場(chǎng)景和對(duì)象以匹配它理解文本的含義。諸如“夜間下雨街道上的古董車”之類的提示，會(huì)讓軟件從大量隨機(jī)像素中組合出一幅圖像，以匹配系統(tǒng)理解的“汽車”“雨”“街道”和“夜晚”，系統(tǒng)通常會(huì)根據(jù)主題提供多種變體。

如果你已經(jīng)有一張晚上下雨的街道的照片，并且想在構(gòu)圖中添加一輛古董車怎么辦？很簡單，使用Photoshop 的生成填充功能，先選擇我們希望汽車出現(xiàn)的區(qū)域，并鍵入“古董車”生成一個(gè)基礎(chǔ)圖形（也可稱為“修復(fù)”），然后選擇要從圖像中刪除的部分，在沒有特定文本提示的情況下使用生成填充去替代它，工具會(huì)自動(dòng)填充缺失區(qū)域。

從體驗(yàn)上主觀的感受，Adobe 這個(gè)過程比其他生成AI 系統(tǒng)更加友好。它具有將工具直接構(gòu)建到Photoshop 中的優(yōu)勢(shì)，其中Generative Fill 具有干凈直接的界面。

根據(jù)文本提示在Adobe Firefly中生成圖像

在上下文任務(wù)欄可見的情況下在Photoshop 中進(jìn)行選擇

單擊“生成填充”會(huì)顯示文本提示字段

單擊“生成填充”會(huì)顯示文本提示字段生成結(jié)果后，游客將被刪除，這是三個(gè)變體之一，在“屬性”面板中顯示為縮略圖

相比之下，當(dāng)前流行的Midjourney服務(wù)需要加入Discord 服務(wù)器，訂閱該服務(wù)，進(jìn)入設(shè)置為接收文本提示的聊天室，然后使用“想象下雨天的古董車”等命令，輸入想要生成的內(nèi)容“晚上的街道”，圖形結(jié)果會(huì)顯示在聊天室的滾動(dòng)討論中，不太令人習(xí)慣。

Photoshop 的方法是推出了一個(gè)新的上下文任務(wù)欄，其中包含選擇主題或刪除背景等命令。當(dāng)使用任何選擇工具（例如套索工具）進(jìn)行選擇時(shí)，任務(wù)欄中的一個(gè)選項(xiàng)會(huì)是生成填充按鈕，非常直接。

單擊該按鈕會(huì)顯示一個(gè)文本字段，可以在其中描述應(yīng)在選擇中創(chuàng)建的內(nèi)容?；蛘邔⒃撟侄瘟艨詹螕簟吧伞卑粹o，讓Photoshop 根據(jù)周圍場(chǎng)景的上下文確定將顯示的內(nèi)容。

單擊“生成”后，Photoshop 會(huì)生成三個(gè)Firefly 生成的變體并向使用者展示第一個(gè)。你可以使用上下文任務(wù)欄中的按鈕，或通過單擊“屬性”面板中的縮略圖來循環(huán)瀏覽它們，如果它們都不好看，可以再次單擊“生成”以獲得另外三個(gè)變體，怎么樣，是不是找到了ChatGPT 的感覺？

順便說一句，如果你對(duì)每個(gè)選擇正下方出現(xiàn)的上下文任務(wù)欄感到不便，可以將其拖動(dòng)到想要的位置，然后單擊欄上的三點(diǎn)圖標(biāo)，并從菜單中選擇 Pin Bar Position。

所有變化都包含在一個(gè)新型層中，即生成層，該層還包括用戶所選區(qū)域的遮罩。如果將生成填充應(yīng)用于圖像的另一個(gè)區(qū)域，則會(huì)創(chuàng)建一個(gè)新的生成層。以上操作的所有變化都保存在這些圖層中，可以返回修改并以非破壞性方式嘗試變化、隱藏或顯示圖層、設(shè)置混合模式和不透明度，以及使用圖層的所有其他靈活屬性。

另外需要注意的是，生成填充以與原始照片相同的分辨率創(chuàng)建結(jié)果，這與大多數(shù)系統(tǒng)形成的圖像對(duì)比有巨大優(yōu)勢(shì)，因?yàn)楹笳呱傻膱D像分辨率較低（通常為1024×1024 像素），接下來我們看看生成填充可以做什么。

通常情況下，當(dāng)我們使用工具從照片中刪除不需要的項(xiàng)目時(shí)，該軟件會(huì)嘗試使用圖像中其他地方的像素來回填缺失區(qū)域。當(dāng)要移除的區(qū)域很大時(shí)，像素回填會(huì)變得更加困難，導(dǎo)致重復(fù)的鬼影，一眼就能看到圖像的某些部分被移除。

相反，生成填充會(huì)查看圖像的前后文件，并嘗試創(chuàng)建在其位置上有意義的內(nèi)容。在上面我們移除游客的示例中，Photoshop 重新創(chuàng)建了建筑物的線條和顏色，并匹配了地面的紋理。

Photoshop還是生成了一系列替代“人物”（左側(cè)），圖片來自官方演示

根據(jù)Adobe的在線建議，不需要編寫“刪除人員”之類的命令就能把圖像左側(cè)的背景顯現(xiàn)出來

但是我們不能假設(shè)該功能每次都能正確處理，以下面兩個(gè)人的形象為例。我們可以嘗試刪除一個(gè)人（左邊的人），方法是使用套索工具在他周圍進(jìn)行松散選擇以定義我們要替換的區(qū)域，然后單擊文本框中的空生成。奇怪的是，在多次嘗試中，該工具假設(shè)我們想用另一個(gè)隨機(jī)的人替換這個(gè)人，這簡直是合成的噩夢(mèng)。

根據(jù)Adobe 的說法，使用 GenerativeFill 時(shí)不需要鍵入“刪除人員”等命令作為提示，但最終，鍵入該提示給了我們想要的結(jié)果。此處要注意，雖然Photoshop 給出一個(gè)沒有左側(cè)人物的修改（見下文），但它同時(shí)也創(chuàng)建了兩個(gè)仍然包含人物的變體。我們或許可以將此歸因于預(yù)發(fā)布功能的不完善，因?yàn)楫?dāng)前機(jī)器學(xué)習(xí)量很大，還沒有盡善盡美。

刪除對(duì)象是一回事，但是用完全不同的東西替換它們呢？使用生成填充，我們還可以創(chuàng)建原始圖像中從未有過的東西。例如，在下面的照片中，我們可以通過在餡餅周圍進(jìn)行選擇（稍微擴(kuò)大選擇有助于拾取它們后面的紙張紋理）并在文本提示字段中鍵入“藍(lán)莓”，將其中一種甜點(diǎn)變成藍(lán)莓餡餅，反復(fù)試了幾次才找到匹配的，但這些藍(lán)莓看起來很有說服力。

更換背景中的飲料效果會(huì)怎么樣？我們可以選擇左側(cè)的玻璃杯，然后輸入“品脫啤酒”作為提示，而不是冷萃咖啡。注意，不僅玻璃杯稍微偏離焦點(diǎn)以匹配它所替換的景深，前面的餡餅和旁邊的咖啡還有玻璃光線的一絲反射，很逼真吧。

將任意項(xiàng)目添加到空白空間會(huì)如何？我們?cè)谇熬爸欣L制了一個(gè)矩形選區(qū)并鍵入提示“Dog lying down”，隨后Photoshop 創(chuàng)建了多個(gè)小狗變體，其中我們最喜歡下面的那個(gè)，后期填充之后光線和陰影的角度匹配得很好。

除了替換或添加前景對(duì)象外，通過使用“選擇主題”并反轉(zhuǎn)選擇以選擇背景，我們可以輸入提示以重新定義場(chǎng)景的整個(gè)格局。

選中盆子的原始圖像

用藍(lán)莓代替前景餡餅中的草莓

后面的冷咖啡換成了一品脫（約0.4732升）啤酒

帶有矩形選區(qū)的原始照片

添加一條狗，尤其是在光線保持一致的情況下

選中背景的原始照片，將選區(qū)擴(kuò)大了20個(gè)像素（類似羽化操作），包括了車輛的邊緣

背景變成了雪地

用“叢林之路”替換背景

說了這么多， 我們來看如何獲取該軟件： 生成填充功能在最新的Photoshop 24.6.0 公測(cè)版中，Creative Cloud 訂閱者可以使用該版本，在Creative Cloud 應(yīng)用程序中，選擇邊欄中的 Beta 應(yīng)用程序，然后在右側(cè)列表中查找 Photoshop （Beta），單擊安裝即可。Photoshop 的測(cè)試版和發(fā)行版可以同時(shí)存在于計(jì)算機(jī)上，此外測(cè)試版不會(huì)覆蓋你已經(jīng)安裝的內(nèi)容。