生成式人工智能的数学与统计学基础
———— 孙剑 西安交通大学
科普
生成式AI（Generative AI）:
- 概念：一类能够基于已有数据生成新内容的人工智能技术。
- 核心思想：模型通过从大量数据中学习，掌握数据的潜在结构和规律，然后用这种学习到的知识来创建新数据。
生成式人工智能发展趋势
- 从单一模态生成向多模态统一生成
- 从第一时刻数据生成想动态系统生成
生成式人工智能挑战问题
- 数据质量：无/少输入输出对于的训练数据集
- 如何与物理世界/实际观察数据符合
- 李飞飞教授团队的研究聚焦于如何让人工智能系统更好地理解和遵循现实世界的规律，包括物理规律、社会规律和人类行为等。通过深度学习、可解释性、常识推理、多模态学习和自监督学习等技术的结合，李飞飞团队不断推动AI从“感知”到“理解”的进化，使其更接近于人类的认知模式，并为实际应用中的安全性、可靠性和伦理性奠定基础。
- 精细关系/关系的保持
tips
- chatgpt的答案是随机的，基于token的(概率生成)
- 图像是多模态的，不同的人有不同的理解
- 最优传输，实际上是曲线：
* 原始空间 ———— 特征空间 ———— 目标
曲线 直线
生成式A人工智能的本质于代表性方法
生成式A人工智能的本质
↓
客观世界对象的数据分布p(x) 人/对象对外界激发的响应分布p(x|y)
生成模型四种代表性方法:
- 变分自编码器（VAE）
- 生成对抗网络（GAN）
- 基于流模型（Normalizing Flow）/扩散模型（Diffusion Model）
- 自回归模型（Autoregressive Model）
详细内容见：
为什么最优传输可作为生成式AI基础？
生成式任务
针对高维复杂数据（图像、文本、基因、分子等）
- 分布估计
- 分布变换
- 样本采集
最优传输（Optimal Transport, OT）
通过最优传输实现分布变换
- 建模变换
- 分布距离（欧式距离）
- 连续性微分方程
- 流形、几何结构
生成式任务和最优传输的关系
生成式任务 ←—— 最优传输
|
↓
深度生成模型、可学习连续性方程等。
应用
图像处理：
- 建立低质量图像到高质量图像分布之间的最优传输映射
- 对于不同质量问题进行统一模型
- 训练基于不成对或少量承兑的数据
总结
- 生成式AI的本质是高维/多模态复杂数据分布的学习与变换，OT是重要工具。
- 生成式AI是AI for science, 通用AI的基础
- “AI for Science” 是指利用人工智能（AI）和机器学习（ML）技术来推动科学研究和解决科学问题的一个跨学科领域。简而言之，它是将AI技术应用于科学研究的各个方面，帮助科学家们更高效地进行数据分析、模型构建、发现新规律、设计实验、优化研究过程等。随着计算能力的提升和大数据的爆炸式增长，AI已经成为推动现代科学发展的重要工具。