Score-Based Generative Model
wassing
|
AI技术,学术
|
|
409
|
22

一切的起源-Tweedie公式

fig:

fig:

分数函数可以用于去除噪声

fig:

fig:

SGM的一个核心特定就是它将训练过程和采样过程解耦，其与DDPM有本质的不同，就是其模型专注于学习数据分布的梯度（分数函数）来实现的，而不是直接生成数据，一旦训练完成，分数函数就可以独立于训练数据用于采样。

有学者已经证明，使用分数函数有多种采样方法，通常使用Langevin动力学或其他类型的马尔可夫链蒙特卡罗（MCMC）方法。

退火Langevin动力学

核心公式：

fig:

可以证明，当α→0且T→∞时，xT可以无限趋近于真实样本

使用去噪分数匹配进行训练：

fig:

但Langevin动力学存在以下问题：

  1. 只有当加入噪声很小时，去噪分数匹配的分数估计才能符合，同时在数据密度较低的区域，分数估计又非常不准确，这导致Langevin采样更不准确了
    fig:
  2. 当加入噪声很大时，分数估计表现良好，但得到的数据分布仍保留部分加入的噪声，真实数据分布被破坏
  • fig:

解决方法：采用退火的思想，在采样时先加大噪声后加小噪声对数据进行扰动，用同一分数网络预测不同噪声下数据的分数函数(这里思想和DDPM出奇相似)，再采用Langevin动力学。在接近目标数据分布后，再次施加较小的噪声，并使用更小的步长进行更多的Langevin动力学迭代。这有助于细化样本，调整细节，使其更精确地匹配真实数据分布。

fig:

fig:

按以上原理，训练的网络需要在各种噪声条件下准确预测对应的分数函数，则输入需要包含噪声大小，可以用以下方法训练(称为NCSN网络)，通过实验，使用U-Net、空洞卷积和transformer的网络效果最好

fig:

算法：退火Langevin动力学

fig:

数列最好设置为等比数列，参数更新时加上EMA更稳定

扩散模型

评论

  1. 头像
    Shirley1395
    1月前
    2025-4-14 9:57:40

    https://cr-v.su/forums/index.php?autocom=gallery&req=si&img=4017

  4. 头像
    Kristen559
    1月前
    2025-4-19 7:14:13

    http://terios2.ru/forums/index.php?autocom=gallery&req=si&img=4620

  7. 头像
    Ron3543
    1月前
    2025-4-20 17:08:53

    https://mazda-demio.ru/forums/index.php?autocom=gallery&req=si&img=6538

  10. 头像
    Ron3608
    1月前
    2025-4-21 14:20:40

    Awesome https://is.gd/tpjNyL

  13. 头像
    Billie4500
    4周前
    2025-4-26 11:17:12

    http://wish-club.ru/forums/index.php?autocom=gallery&req=si&img=5405

  16. 头像
    Ian1531
    4周前
    2025-4-29 14:50:44

    https://www.fromrus.su/index.php?/gallery/image/494-11/

  19. 头像
    Ebony658
    3周前
    2025-5-02 14:52:10

    https://vitz.ru/forums/index.php?autocom=gallery&req=si&img=4929

  22. 头像
    Alfredo2816
    3周前
    2025-5-05 1:57:31

    https://myteana.ru/forums/index.php?autocom=gallery&req=si&img=6764

  25. 头像
    Claudia3999
    3周前
    2025-5-05 14:10:32

    http://passo.su/forums/index.php?autocom=gallery&req=si&img=4277

  28. 头像
    Elliott4642
    3周前
    2025-5-05 14:56:50

    http://wish-club.ru/forums/index.php?autocom=gallery&req=si&img=5339

  31. 头像
    Greyson171
    3周前
    2025-5-05 15:52:35

    http://terios2.ru/forums/index.php?autocom=gallery&req=si&img=4666

  34. 头像
    Lily1289
    2周前
    2025-5-08 10:27:22

    https://honda-fit.ru/forums/index.php?autocom=gallery&req=si&img=7066

  37. 头像
    Theresa1707
    2周前
    2025-5-08 11:33:46

    https://myteana.ru/forums/index.php?autocom=gallery&req=si&img=6652

  40. 头像
    Anika4182
    4天前
    2025-5-21 1:22:39

    Егор Крид – Сердцеедка скачать и слушать онлайн https://shorturl.fm/erbNc

  43. 头像
    Whitney4247
    4天前
    2025-5-21 2:50:29

    Нискуба – Балаклава скачать и слушать песню бесплатно https://shorturl.fm/ft6jb

  46. 头像
    Roger291
    4天前
    2025-5-21 5:52:46

    Красные Маки – Так случилось скачать mp3 и слушать онлайн https://shorturl.fm/TIlHU

  49. 头像
    Isabel4104
    4天前
    2025-5-21 6:51:21

    Наталья Гулькина – Айвенго скачать mp3 и слушать онлайн бесплатно https://shorturl.fm/HpgED

  52. 头像
    Jaime4843
    2天前
    2025-5-23 9:18:50

    https://honda-fit.ru/forums/index.php?autocom=gallery&req=si&img=7327

  55. 头像
    Alexandria1717
    1天前
    2025-5-23 11:11:44

    http://terios2.ru/forums/index.php?autocom=gallery&req=si&img=4613

  58. 头像
    Shannon695
    1天前
    2025-5-23 13:54:30

    https://myteana.ru/forums/index.php?autocom=gallery&req=si&img=6730

  61. 头像
    Jorge2682
    1天前
    2025-5-23 15:31:27

    https://honda-fit.ru/forums/index.php?autocom=gallery&req=si&img=7202

  64. 头像
    Mary224
    1天前
    2025-5-23 21:12:22

    http://toyota-porte.ru/forums/index.php?autocom=gallery&req=si&img=3236

发送评论 编辑评论 


				

			

						

				

					

						

							

								
							

							
						

					

				

				

					

						

							

								
							

							
						

					

				

				

					

						

							

								
							

							
							
															
													

					

				

			

			
			

				

					
				

			

				

											

							
							
						

																

							
							
						

															
					
											
						

	

		
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
（╯‵□′）╯︵┴─┴
￣﹃￣
(/ω＼)
∠( ᐛ 」∠)＿
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ｀)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ(￣∇￣o)
ヾ(´･ ･｀｡)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò｡)
Σ(っ °Д °;)っ
( ,,´･ω･)ﾉ"(´っω･｀｡)
╮(╯▽╰)╭
o(*////▽////*)q
＞﹏＜
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
	

	

		
颜文字
Emoji
小恐龙
花!
	


									

			

			
			
		

	






上一篇
下一篇