白丝美女被狂躁免费视频网站,500av导航大全精品,yw.193.cnc爆乳尤物未满,97se亚洲综合色区,аⅴ天堂中文在线网官网

首頁 / 專利庫 / 圖形技術(shù) / 迭代重建 / 一種基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法

一種基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法

閱讀：91發(fā)布：2020-05-08

專利匯可以提供一種基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法專利檢索，專利查詢，專利分析的服務(wù)。并且本 發(fā)明 公開基于結(jié)構(gòu)先驗的人臉圖像超 分辨率 方法，包括：將人臉圖像數(shù)據(jù)集的圖像數(shù)據(jù)預(yù)處理，得到 訓(xùn)練數(shù)據(jù) 集與測試數(shù)據(jù)集；通過計算生成網(wǎng)絡(luò)生成的人臉圖像與真實的人臉圖像之間的結(jié)構(gòu)先驗損失，能夠使得生成的人臉圖像保持拓撲結(jié)構(gòu)的合理性。訓(xùn)練包括生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)的模型，生成網(wǎng)絡(luò)包括16個殘差 塊 ，得到能對低分辨率人臉圖像進行超分到高分辨人臉圖像的人臉圖像超分模型；使用訓(xùn)練好的人臉圖像超分模型，對測試數(shù)據(jù)集中的低分辨率圖像超分處理，測試訓(xùn)練好的人臉圖像超分模型的超分性能。本發(fā)明能顯著的提高生成的高分辨率圖像的視覺 質(zhì)量 。，下面是一種基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法專利的具體信息內(nèi)容。

1.一種基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法，其特征在于，包括步驟：
S1.將人臉圖像數(shù)據(jù)集中的圖像預(yù)處理，得到訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集：
S2.使用訓(xùn)練數(shù)據(jù)集訓(xùn)練模型，得到能對低分辨率人臉圖像進行超分到高分辨人臉圖像的人臉圖像超分模型，包括一個生成網(wǎng)絡(luò)、一個人臉parsing圖生成網(wǎng)絡(luò)和一個判別網(wǎng)絡(luò)；生成網(wǎng)絡(luò)包含16個殘差塊；人臉parsing圖生成網(wǎng)絡(luò)為BiSeNet網(wǎng)絡(luò)；
利用低分辨率人臉圖像作為模型的輸入，使用相應(yīng)的高分辨率圖像作為監(jiān)督，訓(xùn)練模型中的生成網(wǎng)絡(luò)；
將目標高分辨率人臉圖像和生成網(wǎng)絡(luò)所生成的高分辨率人臉圖像輸入到判別網(wǎng)絡(luò)中，由判別網(wǎng)絡(luò)判斷出輸入圖像的真假，模型迭代多次達到穩(wěn)定后完成模型的訓(xùn)練；
將目標高分辨人臉圖像和生成網(wǎng)絡(luò)所生成的高分辨率人臉圖像輸入到人臉paring圖生成網(wǎng)絡(luò)中，分別得到目標高分辨率人臉圖像的parsing圖和生成人臉圖像的parsing圖；
約束兩種parsing圖的歐式距離，使得生成的人臉圖像的五官位置符合目標要求；
S3.使用訓(xùn)練好的人臉圖像超分模型，超分測試數(shù)據(jù)集中的低分辨率圖像，測試該人臉圖像超分模型的超分性能。
2.根據(jù)權(quán)利要求1所述基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法，其特征在于，所述的BiSeNet網(wǎng)絡(luò)包含兩個支路：空間支路和內(nèi)容之路；空間支路包含三個卷積層，來獲得1/8的特征圖大??；內(nèi)容之路的Xception末尾添加一個全局池化層，使得網(wǎng)絡(luò)的感受野最大。
3.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法，其特征在于，步驟S2包括：
S21.使用標準高斯分布隨機初始化生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的權(quán)重參數(shù)，其中生成網(wǎng)絡(luò)的重建損失函數(shù)為L2，結(jié)構(gòu)先驗損失為Lprior，對抗損失函數(shù)為 判別網(wǎng)絡(luò)的損失函數(shù)為S22.將低分辨率人臉圖像輸入到生成網(wǎng)絡(luò)中，生成網(wǎng)絡(luò)輸出與目標高分辨率人臉圖像大小一致的生成圖像，將生成圖像作為判別網(wǎng)絡(luò)的輸入，依次迭代使對抗損失函數(shù) 和損失函數(shù)L2均降低至趨于穩(wěn)定；
S23.將目標高分辨率人臉圖像和生成圖像輸入到人臉parsing圖生成網(wǎng)絡(luò)中，分別得到對應(yīng)的parsing圖；計算這兩種parsing圖之間的歐式距離，使得生成的人臉圖像拓撲結(jié)構(gòu)符合目標要求；
S24.判別網(wǎng)絡(luò)輸入為生成網(wǎng)絡(luò)生成的高分辨率人臉圖像和目標高分辨率人臉圖像，判別網(wǎng)絡(luò)判斷輸入圖像真假，計算損失函數(shù) 該損失函數(shù) 只用于更新判別網(wǎng)絡(luò)參數(shù)；
S25.交替訓(xùn)練生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，直到所有損失函數(shù)不再降低，得到最終人臉圖像超分模型。
4.根據(jù)權(quán)利要求3所述的基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法，其特征在于，所述生成網(wǎng)絡(luò)的目標函數(shù)如下：
其中，λ1，λ2，λ3為平衡因子，用于調(diào)整各個損失函數(shù)所占的權(quán)重；
所述判別網(wǎng)絡(luò)的目標函數(shù)為
5.根據(jù)權(quán)利要求3所述的基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法，其特征在于，所述生成網(wǎng)絡(luò)的重建損失函數(shù)為：
其中x，y分別為從低分辨圖像集X和高分辨率圖像集Y中采樣出來的低分辨率人臉圖像和對應(yīng)的高分辨率人臉圖像，E(*)表示取平均操作， 表示L2范數(shù)，F(xiàn)generator為生成網(wǎng)絡(luò)對應(yīng)的映射函數(shù)。
6.根據(jù)權(quán)利要求3所述的基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法，其特征在于，所述生成網(wǎng)絡(luò)的對抗損失函數(shù)為：
其中，E(*)表示取平均操作，x～P(X)表示低分辨率圖像從P(X)中采樣取得，D(*)表示判別網(wǎng)絡(luò)的映射函數(shù)，G(x)表示生成網(wǎng)絡(luò)生成的高分辨率人臉圖像。
7.根據(jù)權(quán)利要求3所述的基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法，其特征在于，所述結(jié)構(gòu)先驗損失函數(shù)為：
其中，其中x，y分別為從低分辨圖像集X和高分辨率圖像集Y中采樣出來的低分辨率人臉圖像和對應(yīng)的高分辨率人臉圖像，E(*)表示取平均操作， 表示L2范數(shù)，F(xiàn)generator為生成網(wǎng)絡(luò)對應(yīng)的映射函數(shù)。Φ為人臉parsing圖生成網(wǎng)絡(luò)對應(yīng)的映射函數(shù)。
8.根據(jù)權(quán)利要求3所述的基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法，其特征在于，所述判別網(wǎng)絡(luò)的目標函數(shù)為：
其中，E(*)表示取平均操作，y～P(Y)表示目標高分辨率圖像從分布P(Y)中采樣得到，D(*)表示判別網(wǎng)絡(luò)的映射函數(shù)，x～P(X)表示低分辨率圖像從分布P(X)中采樣得到，G(x)表示生成網(wǎng)絡(luò)生成的高分辨率圖像。
9.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法，其特征在于：
所述訓(xùn)練數(shù)據(jù)集中的圖像對為[x,y]，其中，x為低分辨率人臉圖像，y為目標高分辨率人臉圖像，且生成網(wǎng)絡(luò)的輸出為
10.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法，其特征在于，步驟S1包括以下步驟：
以統(tǒng)一對齊裁剪方式裁剪原始的高分辨率人臉圖像，只保留人臉區(qū)域；使用雙線性下采樣方法下采樣對齊裁剪后的高分辨率人臉圖像，得到對應(yīng)的低分辨人臉圖像；對生成的低分-高分人臉圖像對進行數(shù)據(jù)增廣，以增加訓(xùn)練數(shù)據(jù)集中的圖像數(shù)量；第四，使用LFW人臉數(shù)據(jù)集作為測試集，用于測試其模型的泛化性能。

說明書全文

一種基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法

技術(shù)領(lǐng)域

[0001] 本發(fā)明涉及計算機視覺、模式識別、機器學(xué)習(xí)、圖像超分等技術(shù)領(lǐng)域，特別是涉及一種基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法。

背景技術(shù)

[0002] 人臉圖像超分任務(wù)，指的是從給定的一張低分辨人臉圖像中推理恢復(fù)出對應(yīng)的高分辨人臉圖像。人臉圖像超分辨率是計算機視覺和圖像處理中一個重要的任務(wù)，受到了AI公司和研究社區(qū)的廣泛關(guān)注。在現(xiàn)實世界的很多場景下都能夠看到廣泛的應(yīng)用，比如高鐵安全檢查、門禁系統(tǒng)和實驗室打卡系統(tǒng)等等。
[0003] 除了提高人臉圖像的視覺質(zhì)量外，人臉圖像超分任務(wù)還為其他的計算機視覺和圖像處理任務(wù)提供幫助，比如人臉識別、上妝和轉(zhuǎn)臉等。所以人臉圖像超分任務(wù)具有重要的研究意義。
[0004] 但是這個問題仍然具有挑戰(zhàn)性，因為這是個典型的病態(tài)問題，即給定一張低分辨率的人臉圖像，可能存在多張對應(yīng)的高分辨率人臉圖像。
[0005] 因此，現(xiàn)有人臉圖像超分技術(shù)在還待進一步的提升。

發(fā)明內(nèi)容

[0006] 本發(fā)明的目的是針對現(xiàn)有技術(shù)中存在的技術(shù)缺陷，而提供一種結(jié)構(gòu)先驗的人臉圖像超分辨率方法，可以生成具有豐富紋理細節(jié)的人臉圖像。
[0007] 為實現(xiàn)本發(fā)明的目的所采用的技術(shù)方案是：
[0008] 一種基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法，包括步驟：
[0009] S1.將人臉圖像數(shù)據(jù)集中的圖像預(yù)處理，得到訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集：
[0010] S2.使用訓(xùn)練數(shù)據(jù)集訓(xùn)練模型，得到能對低分辨率人臉圖像進行超分到高分辨人臉圖像的人臉圖像超分模型，包括一個生成網(wǎng)絡(luò)、一個人臉parsing圖生成網(wǎng)絡(luò)和一個判別網(wǎng)絡(luò)；生成網(wǎng)絡(luò)包含16個殘差塊；人臉parsing圖生成網(wǎng)絡(luò)為BiSeNet網(wǎng)絡(luò)；
[0011] 利用低分辨率人臉圖像作為模型的輸入，使用相應(yīng)的高分辨率圖像作為監(jiān)督，訓(xùn)練模型中的生成網(wǎng)絡(luò)；
[0012] 將目標高分辨率人臉圖像和生成網(wǎng)絡(luò)所生成的高分辨率人臉圖像輸入到判別網(wǎng)絡(luò)中，由判別網(wǎng)絡(luò)判斷出輸入圖像的真假，模型迭代多次達到穩(wěn)定后完成模型的訓(xùn)練；
[0013] 將目標高分辨人臉圖像和生成網(wǎng)絡(luò)所生成的高分辨率人臉圖像輸入到人臉paring圖生成網(wǎng)絡(luò)中，分別得到目標高分辨率人臉圖像的parsing圖和生成人臉圖像的parsing圖；約束兩種parsing圖的歐式距離，使得生成的人臉圖像的五官位置符合目標要求；
[0014] S3.使用訓(xùn)練好的人臉圖像超分模型，超分測試數(shù)據(jù)集中的低分辨率圖像，測試該人臉圖像超分模型的超分性能。
[0015] 本發(fā)明基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法，使用殘差塊作為構(gòu)建網(wǎng)絡(luò)的基礎(chǔ)，結(jié)合多種損失函數(shù)，使得模型收斂更快，效果更好，泛化能力更強；可生成具有豐富紋理細節(jié)的人臉圖像。
[0016] 本發(fā)明使用生成網(wǎng)絡(luò)，提高了模型容量和加快訓(xùn)練速度，提高模型的泛化能力和加快訓(xùn)練速度；引入了判別網(wǎng)絡(luò)，使生成的高分辨率人臉圖像更加接近真實的高分辨率人臉圖像，顯著的提高生成的高分辨率圖像的視覺質(zhì)量。
[0017] 本發(fā)明引入人臉的結(jié)構(gòu)先驗信息。通過人臉parsing圖生成網(wǎng)絡(luò)分別生成目標人臉高分辨圖像的parsing圖和生成圖像的parsing圖，通過計算兩種parsing圖的歐式距離，來使得生成人臉的拓撲結(jié)構(gòu)符合常理。附圖說明
[0018] 圖1是本發(fā)明在測試數(shù)據(jù)集中的一張人臉圖像上的測試結(jié)果，左邊是時輸入的低分辨率人臉圖像，中間是生成的高分辨率人臉圖像，右邊是目標高分辨率人臉圖像。
[0019] 圖2是本發(fā)明基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法的流程圖；
[0020] 其中：LR表示輸入的低分辨率圖像，Conv表示卷積神經(jīng)網(wǎng)絡(luò)，Pixelshuffle表示上采樣模塊，HR_rec表示生成的高分辨率圖像，HR_tar表示目標高分辨率圖像，D表示判別網(wǎng)絡(luò)，Parsing表示人臉parsing圖生成網(wǎng)絡(luò)，RB表示殘差塊，Lprior表示結(jié)構(gòu)先驗損失函數(shù)，ReLU表示激活函數(shù)。
[0021] 圖3為人臉parsing圖生成網(wǎng)絡(luò)輸出實例。圖中左邊為輸入圖像，右邊為人臉parsing圖網(wǎng)絡(luò)的生成圖像。

具體實施方式

[0022] 以下結(jié)合附圖和具體實施例對本發(fā)明作進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0023] 本發(fā)明通過一種基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法來學(xué)習(xí)一組高度復(fù)雜的非線性的變換，用于把低分辨率的人臉圖像映射到高分辨的圖像，同時保持很好的紋理和身份特征。
[0024] 如圖2所示，基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法，包括以下步驟：
[0025] 步驟S1，先對CelebA人臉數(shù)據(jù)集中的人臉圖像進行預(yù)處理。
[0026] 第一，以一種統(tǒng)一的對齊裁剪方式裁剪原始的高分辨率人臉圖像，且只保留人臉區(qū)域；
[0027] 第二，使用雙線性下采樣方法下采樣對齊裁剪后的高分辨率人臉圖像，得到對應(yīng)的低分辨人臉圖像；
[0028] 第三，對生成的低分-高分人臉圖像對進行數(shù)據(jù)增廣，以增加訓(xùn)練數(shù)據(jù)集中的圖像數(shù)量，包括隨機水平翻轉(zhuǎn)，隨機顏色變換；
[0029] 第四，選擇LFW數(shù)據(jù)集作為測試集，其處理方式同CelebA的預(yù)處理。使用LFW數(shù)據(jù)集，測試其模型的泛化性能。
[0030] 步驟S2，利用步驟S1輸入訓(xùn)練數(shù)據(jù)，訓(xùn)練基于結(jié)構(gòu)先驗的人臉圖像超分辨率方法模型，以用來完成人臉圖像的超分辨率任務(wù)。
[0031] 在模型的生成網(wǎng)絡(luò)中利用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)先進行淺層的特征提取，然后通過16個殘差塊，進行深層特征提取，其次通過pixelshuffle層上采樣操作保持生成的人臉圖像的大小和GroundTruth真實高分辨率人臉圖像的大小一致，最后通過一份卷積層以將通道數(shù)縮放到3。殘差塊中不包含正則化。
[0032] 其中，稠密殘差神經(jīng)網(wǎng)絡(luò)的第一個卷積層的輸入通道數(shù)，輸出通道數(shù)，濾波器大小，步長和填充分別是3，64，3，1，1。每個殘差塊中包含2個卷積層。稠密殘差塊中的2個卷積層的輸入通道和輸出通道均為64，濾波器大小，步長和填充分別是3，1，1。最后一個卷積層輸入通道數(shù)，輸出通道數(shù)，濾波器大小，步長和填充分別是64，3，3，1，1。pixelshuffle層中包含一個卷積層、pixelshuffle和relu層。
[0033] 本發(fā)明中包含2個pixelshuffle層。殘差塊中的每一層卷積層的輸入均為前面所有卷積層輸出之合。在殘差塊中，第一個卷積層后均連接有RulU激活層。殘差塊的個數(shù)可根據(jù)實際情況進行選擇設(shè)置。殘差塊中的通道數(shù)也可以根據(jù)實際情況進行選擇設(shè)置。
[0034] 判別網(wǎng)絡(luò)結(jié)構(gòu)為由卷積層，BN層和激活層堆疊而成的，其中卷積層濾波器大小，步長，填充分別為3，1，1，本發(fā)明中卷積層個數(shù)為7，這一部分作為圖像的特征提取，然后在加上兩個全連接層來分類，該判別網(wǎng)絡(luò)的輸入為生成網(wǎng)絡(luò)生成的高分辨率人臉圖像 和真實的目標高分辨率人臉圖像y，同樣判別器的網(wǎng)絡(luò)結(jié)構(gòu)可根據(jù)需求自由設(shè)置。
[0035] 該步驟中，利用低分辨率人臉圖像作為模型的輸入，真實的高分辨率人臉圖像作為生成目標，交替訓(xùn)練模型中的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)完成人臉圖像超分辨率任務(wù)。
[0036] 具體地，通過模型中的生成網(wǎng)路對低分辨比率人臉圖像進行超分處理，得到生成的高分辨率人臉圖像，與真實的高分辨率人臉圖像進行重建L2損失函數(shù)的計算。
[0037]
[0038] 其中x，y分別為從低分辨圖像集X和高分辨率圖像集Y中采樣出來的低分辨率人臉圖像和對應(yīng)的高分辨率人臉圖像，E(*)表示取平均操作， 表示L2范數(shù)，F(xiàn)generator為生成網(wǎng)絡(luò)對應(yīng)的映射函數(shù)。
[0039] 并將生成的高分辨率人臉圖像作為判別網(wǎng)絡(luò)的輸入，計算對抗損失函數(shù)
[0040]
[0041] 其中，E(*)表示取平均操作，x～P(X)表示低分辨率圖像從P(X)中采樣取得，D(*)表示判別網(wǎng)絡(luò)的映射函數(shù)，G(x)表示生成網(wǎng)絡(luò)生成的高分辨率人臉圖像。
[0042] 將生成的高分辨人臉圖像和目標高分辨率人臉圖像作為人臉parsing圖生成網(wǎng)絡(luò)的輸入，計算其輸出的兩種parsing圖之間的歐氏距離，即結(jié)構(gòu)先驗損失函數(shù)Lprior：
[0043]
[0044] 其中，其中x，y分別為從低分辨圖像集X和高分辨率圖像集Y中采樣出來的低分辨率人臉圖像和對應(yīng)的高分辨率人臉圖像，E(*)表示取平均操作， 表示L2范數(shù)，F(xiàn)generator為生成網(wǎng)絡(luò)對應(yīng)的映射函數(shù)。Φ為人臉parsing圖生成網(wǎng)絡(luò)對應(yīng)的映射函數(shù)。
[0045] 通過判別網(wǎng)絡(luò)對輸入的生成的高分辨率人臉圖像和目標高分辨率人臉圖像判斷真假，并計算對抗損失函數(shù) 該損失函數(shù)只用于更新判別網(wǎng)絡(luò)的參數(shù)。模型迭代多次達到穩(wěn)定后完成模型的訓(xùn)練。
[0046]
[0047] 其中，E(*)表示取平均操作，y～P(Y)表示目標高分辨率圖像從分布P(Y)中采樣得到，D(*)表示判別網(wǎng)絡(luò)的映射函數(shù)，x～P(X)表示低分辨率圖像從分布P(X)中采樣得到，G(x)表示生成網(wǎng)絡(luò)生成的高分辨率圖像。
[0048] 本發(fā)明中，利用所述卷積神經(jīng)網(wǎng)絡(luò)的高度非線性擬合能力，針對人臉圖像超分任務(wù)，構(gòu)造以低分辨人臉圖像作為輸入的神經(jīng)網(wǎng)絡(luò)模型。
[0049] 特別的，模型中生成網(wǎng)絡(luò)以殘差塊為基礎(chǔ)，具有更好的模型容量，且不易出現(xiàn)梯度消失和爆炸的問題。本發(fā)明中，生成網(wǎng)絡(luò)結(jié)合了人臉的結(jié)構(gòu)先驗。這樣，通過如圖2所示的網(wǎng)絡(luò)，利用對抗生成網(wǎng)絡(luò)可以訓(xùn)練一個，具有良好感知效果的人臉圖像超分模型。在測試階段，使用測試集中的低分辨人臉圖像作為模型的輸入，且只通過模型中的生成網(wǎng)絡(luò)，判別網(wǎng)絡(luò)不參與測試，得到生成的效果圖，如圖1所示。
[0050] 具體的，基于結(jié)構(gòu)先驗的人臉圖像超分辨率模型包含三個網(wǎng)絡(luò)，分別是生成網(wǎng)絡(luò)、人臉parsing圖生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。特別的，模型的生成網(wǎng)絡(luò)目標函數(shù)如下：
[0051]
[0052] 其中，λ1，λ2，λ3為平衡因子，用于調(diào)整各個損失函數(shù)所占的權(quán)重。本發(fā)明中，λ1，λ2，λ3均為1。
[0053] 上述的生成網(wǎng)絡(luò)模型，主要完成人臉圖像超分任務(wù)，所述模型的最終目標為L2、Lprior和 三個損失函數(shù)降低至最低且保持穩(wěn)定。
[0054] 所述基于結(jié)構(gòu)先驗的人臉圖像超分辨率模型的三個網(wǎng)絡(luò)如下訓(xùn)練：
[0055] 步驟S21：初始化模型中的生成網(wǎng)絡(luò)，λ1，λ2，λ3均為1，批處理大小設(shè)為32，學(xué)習(xí)率設(shè)為10-4，并在整個訓(xùn)練過程中保持不變；
[0056] 步驟S22：對于人臉圖像超分任務(wù)，具體地，通過生成網(wǎng)絡(luò)對低分辨圖像進行超分辨處理，得到生成的高分辨率人臉圖像，與真實的高分辨率人臉圖像進行重建L2損失的計算，將生成的高分辨率人臉圖像輸入到判別器中，并計算 損失函數(shù)。
[0057] 步驟S23：人臉parsing圖生成網(wǎng)絡(luò)的輸入為生成網(wǎng)絡(luò)生成的高分辨人臉圖像和目標高分辨人臉圖像，計算其Lprior結(jié)構(gòu)先驗損失函數(shù)。
[0058] 將目標高分辨人臉圖像和生成網(wǎng)絡(luò)所生成的高分辨率人臉圖像輸入到人臉paring圖生成網(wǎng)絡(luò)中，分別得到目標高分辨率人臉圖像的parsing圖和生成人臉圖像的parsing圖，通過約束兩種parsing圖的歐式距離，使得生成的人臉圖像的五官位置符合目標要求。
[0059] 步驟S24：判別網(wǎng)絡(luò)的輸入為模型中生成網(wǎng)絡(luò)生成的高分辨率人臉圖像和目標高分辨率人臉圖像。判別網(wǎng)絡(luò)判斷輸入人臉圖像的真假，并計算 損失函數(shù)。該損失函數(shù)只用于更新判別網(wǎng)絡(luò)的參數(shù)。
[0060] 步驟S25：模型中的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)同時交替訓(xùn)練，更新其網(wǎng)絡(luò)權(quán)重。
[0061] 步驟S3：使用訓(xùn)練好的生成網(wǎng)絡(luò)，對測試數(shù)據(jù)集中的低分辨率人臉圖像進行超分處理。
[0062] 其中，人臉parsing圖生成網(wǎng)絡(luò)采用BiSeNet網(wǎng)絡(luò)包，所述的BiSeNet網(wǎng)絡(luò)包含兩個支路：空間支路和內(nèi)容之路；空間支路包含三個卷積層，來獲得1/8的特征圖大??；內(nèi)容之路的Xception末尾添加一個全局池化層，使得網(wǎng)絡(luò)的感受野最大。
[0063] 為了詳細說明本發(fā)明的具體實施方式及驗證本發(fā)明的有效性，將本發(fā)明提出的方法應(yīng)用于一個公開的數(shù)據(jù)集中訓(xùn)練(CelebA)，該人臉圖像大概有2萬多張人臉圖像。選擇LFW人臉數(shù)據(jù)集作為其測試集，用于測試模型的泛化性能。
[0064] 先對CelebA人臉數(shù)據(jù)集中的人臉圖像進行預(yù)處理：第一，以一種統(tǒng)一的對齊裁剪方式裁剪原始的高分辨率人臉圖像，且只保留人臉區(qū)域；第二，使用雙線性下采樣方法下采樣對齊裁剪后的高分辨率人臉圖像，得到對應(yīng)的低分辨人臉圖像；第三，對生成的低分-高分人臉圖像對進行數(shù)據(jù)增廣，以增加訓(xùn)練數(shù)據(jù)集中的圖像數(shù)量，包括隨機水平翻轉(zhuǎn)，隨機顏色變換。使用訓(xùn)練數(shù)據(jù)集訓(xùn)練模型，利用梯度反傳技術(shù)優(yōu)化模型參數(shù)，得到用來人臉圖像超分的模型。
[0065] 為了測試該模型有效性，使用測試集LFW作為訓(xùn)練好的模型的測試集，可視化結(jié)果如圖1所示。實驗中，與GroundTruth真實圖像進行對比，實驗結(jié)果如圖1所示，該實施例有效證明了本發(fā)明方法對人臉圖像超分辨率的有效性。
[0066] 所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出的是，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應(yīng)視為本發(fā)明的保護范圍。
高效檢索全球?qū)＠?/div>

專利匯是專利免費檢索,專利查詢,專利分析-國家發(fā)明專利查詢檢索分析平臺，是提供專利分析，專利查詢，專利檢索等數(shù)據(jù)服務(wù)功能的知識產(chǎn)權(quán)數(shù)據(jù)服務(wù)商。

我們的產(chǎn)品包含105個國家的1.26億組數(shù)據(jù)，免費查、免費專利分析。

申請試用

分析報告

專利匯分析報告產(chǎn)品可以對行業(yè)情報數(shù)據(jù)進行梳理分析，涉及維度包括行業(yè)專利基本狀況分析、地域分析、技術(shù)分析、發(fā)明人分析、申請人分析、專利權(quán)人分析、失效分析、核心專利分析、法律分析、研發(fā)重點分析、企業(yè)專利處境分析、技術(shù)處境分析、專利壽命分析、企業(yè)定位分析、引證分析等超過60個分析角度，系統(tǒng)通過AI智能系統(tǒng)對圖表進行解讀，只需1分鐘，一鍵生成行業(yè)專利分析報告。

申請試用

QQ群二維碼
意見反饋