模型开发
基础模型
- 数据体系
- 数据集/语料
- 标注系统
-
管线系统
-
模型体系
- 深度
- 参数
- 模态
-
Token
-
集群体系
- 多卡并行
- RDMA带宽
-
基于以太网/HPC的通讯调度
-
训练体系
- 指令调试
-
正则化/Epoch优化等
-
对齐体系
- 自然语言
- 代码
-
价值观/安全
-
评估体系
- 系统化的工程体系
- 性能
- 成本
-
多维度优化
-
垂直/领域模型
-
基于已有大模型
- 知识蒸馏
- 微调或提示
- PEFT
-
领域数据集
- 语言学知识/知识图谱
-
API工具和服务
-
多模态/扩散模型
- 数据系统
- 标注数据集
- 模型系统
- 可扩展Transformer
- U-Net等结...