通信界訊 文生圖在最近一年取得了顯著的進步，DreamBooth 定制化生成工作，進一步證明了文生圖的潛力，并且廣泛引起了社區關注，相比于單概念生成，在一張圖內定制多個概念是更加有趣且具有廣泛應用場景（AI 影樓，AI 漫畫生成....）。
相比于單概念定制生成取得的成功，阿里提出的 Cones 和 Adobe 提出的 Custom Diffusion 作為現有的多定制概念生成方法仍存在兩個挑戰：
-
首先，他們需要為每一種多個概念的組合都學習單獨的模型，這可能會受到以下影響：1）無法利用已有的模型，比如一個新的需要定制的多概念組包含三種概念 {A,B,C}，無法從已有的 {A,B} 的定制模型中獲得知識，只能重新訓練。2）當需要定制的概念數量增加時，計算資源的消耗指數上升。
基于此，阿里巴巴和螞蟻集團的研究團隊提出了組合式的多概念定制生成方法：Cones 2，能同時定制更多物體，且生成圖片質量顯著提升。
論文主頁：Cone 2
https://arxiv.org/abs/2305.19327
項目主頁：Cones-page
https://cones-page.github.io
該團隊的前作 Cones 獲得了 ICML 2023 的 oral，并且在推特獲得了廣泛關注。
Cones 2 優勢主要體現在 3 個方面。（1）使用簡單而有效的方法來表示概念，可以任意組合，復用各種訓練好單概念，從而進行多定制概念生成，而無需為多概念進行任何重新訓練。（2）使用空間布局作為指導，這在實踐中非常容易獲得，用戶只需要提供一個 bounding box，即可以控制每個概念的特定位置，并同時減輕概念之間的屬性混淆。（3）在一些具有挑戰性的場景下也能取得令人滿意的性能：進行語義相似的多定制概念的生成，如定制兩只狗，并且可以交換眼鏡；在概念數量上，也可以合成六個概念。
方法
1. 基于擴散模型的文本引導圖像生成
擴散模型學習從正態分布噪聲中逐步去噪來恢復真實的視覺內容，該過程實際上是在模擬可逆的長度為 T=1000 的馬爾可夫鏈。在文本到圖像任務中，條件擴散模型 的訓練目標可以簡化為重建損失：
文本嵌入 通過交叉注意力機制注入到模型 中。在推理時，網絡通過迭代去噪 進行采樣。
2. 殘差文本嵌入表示概念
為了可以定制化生成用戶需要的特定概念，模型首先需要“記住”這些概念的特征。由于改變預訓練模型參數往往會導致模型的泛化性下降，Cones 2 選擇針對每個特定概念學習一個合適的編輯方向。將這個方向作用于概念對應的基類的特征編碼上，就可以得到定制化的結果，這個方向稱為 residual token embedding。
舉個例子，在使用 Stable Diffusion 生成圖像“一只狗坐在海灘上”時，整個生成過程由文本經過文本編碼模型得到的文本編碼控制，那么只需要將“狗”對應的文本編碼做合適的偏移，就可以讓模型生成出定制化的“狗”。為了得到 residual token embedding，首先需要用給定的數據微調文本編碼模型，在訓練過程中 Cones 2 通過引入文本編碼保持損失，限制微調后的文本編碼器的輸出和原始預訓練的文本編碼器的輸出盡可能接近。
同樣參考上面的例子，給定“一只狗坐在海灘上”作為輸入，這兩個文本編碼器輸出的文本編碼，只在定制化概念對應的類別詞（狗）這里差別較大，在其他詞（海灘等。。。）的部分盡可能保持輸出一致。結合原本的生成模型，微調后的文本編碼器具有定制特定概念的能力，由于微調過程采用了文本編碼保持損失的約束，這種能力可以通過計算微調過的文本編碼器和原始文本編碼器在類別詞部分的平均差異，來得到需要的 residual token embedding：
基于上述方法得到殘差表示，是可以重復使用并且即插即用的。在做多概念定制化生成的時候，只需要將每個定制概念所對應類別詞的文本編碼加上對應的殘差項即可。
3. 通過空間布局引導多概念組合生成
交叉注意力層之間的注意力圖如下 ，交叉注意力圖直接影響最終生成的空間布局，多概念定制生成的圖片中的一個問題是某些概念可能無法顯示。為了避免這種情況，Cones 2 在希望其出現即用戶通過 bounding box 指定的區域中增強目標概念的激活值。另一個問題是概念間的屬性存在混淆，即生成圖像中的概念可能包含其他概念的特征。
為了避免這種情況，則希望削弱每個對象出現在用戶指定區域外的激活值。結合上述兩種想法，Cones 2 提出了一種根據預定義布局 指導生成過程的方法。在實踐中，將布局 定義為一組概念邊界框，由每個概念的的指導布局 組成。在希望概念 出現的區域中將 的值設置為正值，并在與該概念無關區域中將 的值設置為負。對注意力圖進行編輯。
實驗
將生成結果與現有方法進行對比，從訓練的計算復雜度，以及生成效果，均有顯著提升。
并且在處理更多概念的生成，以及處理語義相似物體的場景下，都有著優越表現。
應用前景
多定制概念生成除了能夠生成更加高質量，內容豐富的圖片外，同時具有廣泛的應用前景，現在大火的 ControlNet 更多是控制生成圖片中的結構，多概念定制生成可以對生成的內容進行控制，使文本到圖像的生成更加可控，進一步提高了文生圖模型的應用價值。比如，創作者通過輸入文本，通過幾個定制好的角色概念，進行多格漫畫生成；通過組合用戶定制的自身角色概念和商家提供的多個試戴試穿的定制概念（衣服，首飾，鞋帽等等），實現多款服裝的試穿體驗。
