AIGC周刊目录

总目录:AIGC周刊


目录:

这是你的AIGC探索茶馆

更新记录:

  • v0.1 2022.10.15
  • v0.2 2022.11.22

专栏链接: https://xiaobot.net/post/7aa026e7-b23a-4d2f-84d3-0b0840688099

旅行者,欢迎光临,小二有礼了。

这是一个可以探索的茶馆,我会不定期的把AIGC相关的应用都分类更新到下面。有感兴趣的项目,旅行者可先自行了解和试用,后面我会挑几个应用重点分析。

AIGC 应用目录

文本生成

AI写诗

AI写作

AI影视创作

  • 故事与分镜生成工具 结合 GPT-3 和 Stable Diffusion,搭建在Google Sheet上的故事与分镜生成工具。只需要录入一句话即可自动完成所有内容生成

音频生成

  • OpenAI Whisper 可以将音频中的语言信息转换为文字,不只是翻译,此项目是开源的
  • AudioGen 根据文本生成音频
  • Mubert AI生成音乐

AI辅助工作

  • www.adept.ai 可以通过自然语言操作搜索,也可以操作表格

AI代码生成:

图像生成

AI画画

Prompts Engineering

每个平台的Prompts其实不太一样,需要学习

AI辅助设计

  • Artbreed 可以通过Prompts+图像指导AI创作,从而获得更可控的结果
  • Figma **Ando AI插件** 使用提示词生成渲染及变体
  • getalpaca 自动图像生成和补全
  • Novel AI 生成二次元漫画,质量很高。目前他们模型已经泄露,网上很多工具基于他们的偶像
  • AI Render Blender的Stable Diffusion插件
  • carefree-creator 开源AI创作工具

视频生成

视频生成

动画生成

游戏生成

AIGC 模型目录

GPT3:OpenAI的语言模型

官网: https://openai.com/api/

  • GPT3 demo 提供300多个GPT3 demo的搜索

Dall·e&Dall·e2:OpenAI的text2img模型

官网:https://openai.com/dall-e-2/

  • dalle-mini huggingface托管的mini版本,效果不太好
  • craiyon Dalle开源版本

Diffuse Model: 扩散模型

stable-diffusion

官网: https://github.com/CompVis/stable-diffusion

微调模型demo:https://huggingface.co/spaces?sort=likes&search=stable-diffusion

优化:

  • Diffusion预训练成本降低6.5倍,微调硬件成本降低7倍**!**mp.weixin.qq.com

Dreambooth

官网:https://dreambooth.github.io/

Disco-Diffusion

官方:https://github.com/alembics/disco-diffusion

Guided-diffusion

官方:https://github.com/openai/guided-diffusion

大模型交叉研讨课目录

链接: 大模型交叉研讨课

课程安排

第一部分:大模型基础

  • 第一节:自然语言处理基础知识 【6月27日】
  • 第二节:神经网络基础知识 【6月29日】
  • 第三节:Transformer与预训练模型 【7月1日】

第二部分:大模型技术

  • 第四节:Prompt Tuning, Delta Tuning 背景以及技术【7月4日】
  • 第五节:BMInf, BMTrain,BMCook相关背景和技术和使用【7月6日】
  • 第六节:基于大模型的文本理解与生成解决方案【7月8日】

第三部分:大模型交叉应用

  • 第七节:大模型X生物医学 【7月11日】
  • 第八节:大模型X法律智能 【7月13日】
  • 第九节:大模型X脑科学 【7月15日】


Transformers for NLP 第一章

第一章 What are Transformers?

工业4.0

这一章,作者认为Transformers 是工业4.0这个观点进行了阐述。

An Industry 4.0 project manager can go to OpenAI’s cloud platform, sign up, obtain an API key, and get to work in a few minutes. A user can then enter a text, specify the NLP task, and obtain a response sent by a GPT-3 transformer engine. Finally, a user can go to GPT-3 Codex and create applications with no knowledge of programming. Prompt engineering is a new skill that emerged from these models.

首先是云平台,然后提供API访问 包括像Codex都是,只要大模型提供了云API 都算是工业4.0 。 工业4.0 其实是数据驱动的人工智能型的网络化“智能工厂”,确实现在类似的API,其实还没有进入工业领域。

围绕现在transformers这个模型,其实建立起来的是foudation models,算是模型基础设施,后面这种基础设施也只有大厂会来做。

AI 的新范式,感觉是以基础大模型+微调 组成的。 这确实算是一种新的颠覆。

生成代码的Codex

输入:

输出的代码:

工业4.0 AI的角色

  1. API – 大模型
  2. 库 – 开源库
  3. 训练和微调 – 提供计算,训练和微调服务
  4. 开发技巧 – 模型落地