第一章 What are Transformers?

工业4.0

这一章，作者认为Transformers 是工业4.0这个观点进行了阐述。

An Industry 4.0 project manager can go to OpenAI’s cloud platform, sign up, obtain an API key, and get to work in a few minutes. A user can then enter a text, specify the NLP task, and obtain a response sent by a GPT-3 transformer engine. Finally, a user can go to GPT-3 Codex and create applications with no knowledge of programming. Prompt engineering is a new skill that emerged from these models.

首先是云平台，然后提供API访问 包括像Codex都是，只要大模型提供了云API 都算是工业4.0 。 工业4.0 其实是数据驱动的人工智能型的网络化“智能工厂”，确实现在类似的API，其实还没有进入工业领域。

围绕现在transformers这个模型，其实建立起来的是foudation models，算是模型基础设施，后面这种基础设施也只有大厂会来做。

AI 的新范式，感觉是以基础大模型+微调 组成的。 这确实算是一种新的颠覆。

生成代码的Codex

输入：

输出的代码：

工业4.0 AI的角色

1. API – 大模型
2. 库 – 开源库
3. 训练和微调 – 提供计算，训练和微调服务
4. 开发技巧 – 模型落地