标签： AIGC

AIGC周刊 | 第3期

P小二留下评论

时间： 2022.11.21-11.27

最新技术：

  • Stable Diffusion 2.0发布，带来了更好的效果。 webui和diffusers都已经支持。官方介绍：stability.ai试用： huggingface.co
  • 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with Text-guided Diffusion Models官网： 3ddesigner-diffusion.github.io
  • sketch-guided-diffusion： Sketch-Guided Text-to-Image Diffusion Models官网：3ddesigner-diffusion.github.io
  • Make-A-Story: Visual Memory Conditioned Consistent Story Generation 论文：arxiv.org
  • prompt-converter：sd2 用了OpenCLIP ViT-H，sd1 用的是OpenAI ViT-L，导致sd1 的prompt 用到sd2 上有问题，这里提供了一个转换器。链接：huggingface.co
  • 用扩散模型合成连贯视觉故事 mp.weixin.qq.com
  • AI都会和人类谈判了？Meta AI最新研究登上Science，LeCun称里程碑式成果 mp.weixin.qq.com
  • VectorFusion： Text-to-SVG by Abstracting Pixel-Based Diffusion Models官网：ajayj.com/vectorfusion
  • SinFusion: Training Diffusion Models on a Single Image or Video官网：yanivnik.github.io/sinfusion/

课程：

  • Hugging Face 每周速递: 扩散模型和深度强化学习开课啦！ 扩散模型今天开课mp.weixin.qq.com

商业：

案例：

  • How AI Text Generation Models Are Reshaping Customer Support at Airbnb medium.com
  • 利用AI生成游戏资源，12月份公测 www.scenario.gg
  • magician: 使用AI设计图标的figma插件 magician.design
  • 独立开发者分享：我是如何用AI做美术参加游戏Game Jam的？ mp.weixin.qq.com

本周专栏新增：

  • 【项目分享】08.VisilyAI: 面向非设计师的辅助设计工具 xiaobot.net
  • 番外篇 | 这是你的探索茶馆 xiaobot.net

专栏链接：https://xiaobot.net/post/41133c8c-b1c3-48e1-8f06-78de68f433c6

AIGC周刊 | 第2期

P小二留下评论

时间： 2022.11.14-11.20

最新技术：

  • 基于草稿的文本生成模型： huggingface.co 这个模型有点意思，论文链接：arxiv.org，感觉可以用来造句，扩写
  • Magic3D： 英伟达最新的论文，文本到3D内容生成，链接： deepimagination.cc 论文链接：arxiv.org
  • RenderDiffusion: 可以用做3D重建的扩散模型 论文链接：arxiv.org
  • InstructPix2Pix: pix2pix编辑 链接： www.timothybrooks.com
  • 扩散模型驱动动作生成，可以生成舞蹈，效果很不错。 www.speech.kth.se
  • SPACEx： 英伟达最新论文，使用音频驱动头，包括了嘴型，脸部表情和头部运动，是带情绪的。 链接：deepimagination.cc
  • 文本驱动3D动作 来自网易AIlab mp.weixin.qq.com

商业：

案例：

本周专栏新增：

  • 【项目分享】04. BeautifulAI：用AI设计好看的PPT xiaobot.net
  • 【项目分享】05. Photoleap: 带有文字生成图像功能的图像编辑App xiaobot.net
  • 【项目分享】06.Tweet Hunter：用AI写Twitter xiaobot.net
  • 【项目分享】07.Remover.app: AI智能擦除 xiaobot.net

专栏链接：https://xiaobot.net/post/72c98731-69e1-4d86-99b0-1c831da33757

AIGC周刊 | 第1期

P小二留下评论

AIGC周刊（第1期）

时间： 2022.11.07-11.13

最新技术：

论文：

  • 扩散模型(Diffusion Model)最新综述+GitHub论文汇总-A Survey On Generative Diffusionhttps://zhuanlan.zhihu.com/p/562226867?utm_id=0
  • 扩散模型(Diffusion Model)首篇综述-Diffusion Models: A Comprehensive Survey of Methods and Applicationshttps://zhuanlan.zhihu.com/p/562389931
  • 来自多伦多大学、滑铁卢大学等机构的研究者受 prompt engineering 的启发，提出一种使用大型语言模型自动生成和选择指令的新算法，在 24 项任务中有 19 项达到了人类水平的表现。 mp.weixin.qq.com

课程：

  • 1st Two Lessons of From Deep Learning Foundations to Stable Diffusion www.fast.ai
  • 在讲 OpenAI Whisper 前先做了一个剪视频小工具【论文精读】 www.bilibili.com

商业：

案例：

  • AI绘画版“谁是卧底”，因AI生成太多涩图而无法游玩 mp.weixin.qq.com

更多案例： xiaobot.net

本周专栏新增：

专栏链接：https://xiaobot.net/post/3e397b8c-0ddc-4475-9c01-c1b194447679

这是你的AIGC探索茶馆

P小二留下评论

更新记录:

  • v0.1 2022.10.15
  • v0.2 2022.11.22

专栏链接： https://xiaobot.net/post/7aa026e7-b23a-4d2f-84d3-0b0840688099

旅行者，欢迎光临，小二有礼了。

这是一个可以探索的茶馆，我会不定期的把AIGC相关的应用都分类更新到下面。有感兴趣的项目，旅行者可先自行了解和试用，后面我会挑几个应用重点分析。

AIGC 应用目录

文本生成

AI写诗

AI写作

AI影视创作

  • 故事与分镜生成工具 结合 GPT-3 和 Stable Diffusion，搭建在Google Sheet上的故事与分镜生成工具。只需要录入一句话即可自动完成所有内容生成

音频生成

  • OpenAI Whisper 可以将音频中的语言信息转换为文字，不只是翻译，此项目是开源的
  • AudioGen 根据文本生成音频
  • Mubert AI生成音乐

AI辅助工作

  • www.adept.ai 可以通过自然语言操作搜索，也可以操作表格

AI代码生成：

图像生成

AI画画

Prompts Engineering

每个平台的Prompts其实不太一样，需要学习

AI辅助设计

  • Artbreed 可以通过Prompts+图像指导AI创作，从而获得更可控的结果
  • Figma **Ando AI插件** 使用提示词生成渲染及变体
  • getalpaca 自动图像生成和补全
  • Novel AI 生成二次元漫画，质量很高。目前他们模型已经泄露，网上很多工具基于他们的偶像
  • AI Render Blender的Stable Diffusion插件
  • carefree-creator 开源AI创作工具

视频生成

视频生成

动画生成

游戏生成

AIGC 模型目录

GPT3：OpenAI的语言模型

官网： https://openai.com/api/

  • GPT3 demo 提供300多个GPT3 demo的搜索

Dall·e&Dall·e2：OpenAI的text2img模型

官网：https://openai.com/dall-e-2/

  • dalle-mini huggingface托管的mini版本，效果不太好
  • craiyon Dalle开源版本

Diffuse Model： 扩散模型

stable-diffusion

官网： https://github.com/CompVis/stable-diffusion

微调模型demo：https://huggingface.co/spaces?sort=likes&search=stable-diffusion

优化：

  • Diffusion预训练成本降低6.5倍，微调硬件成本降低7倍**！**mp.weixin.qq.com

Dreambooth

官网：https://dreambooth.github.io/

Disco-Diffusion

官方：https://github.com/alembics/disco-diffusion

Guided-diffusion

官方：https://github.com/openai/guided-diffusion