时间： 2022.12.5-12.11

最新技术：

• Dramatron：使用语言模型来创造剧本，DeepMind出品官网：deepmind.github.io报道： mp.weixin.qq.com
• Masked Lip-Sync Prediction by Audio-Visual Contextual Exploitation in Transformers论文: arxiv.org官网: hangz-nju-cuhk.github.io
• Youtube-Whisperer：新增对large-v2 whisper 的支持。huggingface.co
• VADER: A Model for Diffusion with Multimodal Context链接:arxiv.org
• Pretrained Diffusion Models for Unified Human Motion Synthesis论文:arxiv.org官网:ofa-sys.github.io
• 首次不依赖生成模型，一句话让AI修图！ mp.weixin.qq.com
• ChatGPT讲故事，DALLE-2负责画出来，两AI合作出绘本 mp.weixin.qq.com
• 告诉Stable Diffusion 2.0你不想要什么，生成效果更好：Negative Prompt显奇效mp.weixin.qq.com
• Dreambooth Web UI：huggingface.co

课程：

• 李宏毅大佬讲解Chat GPT是怎样练成的！www.bilibili.com

商业：

• ChatGPT会取代搜索引擎吗？ mp.weixin.qq.com
• ChatGPT的一些工具：web.okjike.com
• 业内专家：大幅提升创意效率，AI画图工具将将改变营销买量！ mp.weixin.qq.com
• 对话微软CTO Kevin Scott：人工智能的未来之路mp.weixin.qq.com

案例：

• photoshot：开源的生成头像项目github.com
• 在huggingface space上跑sd 2.1版本的webuihuggingface.co
• AI生成头像项目AvatarAI.me，6周收入超过25万美元： twitter.com
• 《无人深空》艺术总监：4人美术团队，如何与程序生成艺术共处？mp.weixin.qq.com
• 会写代码1小时做游戏，聊天机器人ChatGPT豪取百万用户走红全球 mp.weixin.qq.com

时间： 2022.11.28-12.4

重点：

ChatGPT：OpenAI最新的对话模型开放测试

官网：openai.com

测试：chat.openai.com

工具：

• Chrome插件 github.com
• mac客户端： github.com
• ChatGPT API：github.com

参考：

1. 如何评价OpenAI的超级对话模型ChatGPT？ www.zhihu.com
2. OpenAI超级对话模型ChatGPT发布！智能回答堪比雅思口语满分案例https://mp.weixin.qq.com/s/6jFQvN4o4Mv0E8-u8phkCg
3. AI扮演Linux虚拟机，能管理文件&编程&开浏览器，还能跟自己「套娃」聊天 | ChatGPT新玩法 mp.weixin.qq.com
4. 即刻ChatGPT测试案例web.okjike.com

Pytorch 2.0发布

官网：pytorch.org

报道：mp.weixin.qq.com

苹果发布基于自己芯片的SD模型

链接： huggingface.co

GitHub：github.com

其他：

• Tasmania：Youtube片段级搜索引擎，效果不错。 tasmania.sievedata.com
• 【论文】On Distillation of Guided Diffusion Models，SD蒸馏，速度提高20倍 arxiv.org
• 【论文】CLIPascene: Scene Sketching with Different Types and Levels of Abstraction论文: arxiv.org官网: clipascene.github.io
• 【论文】UDE：A Unified Driving Engine for Human Motion Generation 文本和音频同时驱动人动作论文：https: //arxiv.org/abs/2211.16016
• 【论文】DATID-3D: Diversity-Preserved Domain Adaptation Using Text-to-Image Diffusion for 3D Generative Model论文: arxiv.org官网: datid-3d.github.io
• Dance Diffusion：huggingface.co
• 【论文】OpenScene: 3D Scene Understanding with Open Vocabularies论文: arxiv.org官网: pengsongyou.github.io
• Diffusers 0.9.0 正式发布，支持 Stable Diffusion 2!mp.weixin.qq.com
• 何恺明团队12页论文新作剑指AIGC！“新CLIP”只需一个trick，训练速度快3.7倍！mp.weixin.qq.com

课程：

• Whisper 微调www.bilibili.com

商业：

• EP 20. 生成式AI/AIGC：硅谷AI大牛、投资人、创业者眼里的机会与挑战 www.xiaoyuzhoufm.com
• 中美的AI大模型竞赛mp.weixin.qq.com

案例：

• 她用10年日记训练GPT-3，对话童年的自己，网友：AI最治愈的应用 mp.weixin.qq.com
• AI 美甲生成器｜训练笔记mp.weixin.qq.com
• 搭载DALL-E2！微软AI设计神器Designer内测启动，Adobe的最强对手快来了mp.weixin.qq.com
• 使用AI创作儿童故事 #StoriesForKids.ai 给定主角与主题即可生成图文插画mp.weixin.qq.com

时间： 2022.11.21-11.27

最新技术：

• Stable Diffusion 2.0发布，带来了更好的效果。 webui和diffusers都已经支持。官方介绍：stability.ai试用： huggingface.co
• 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with Text-guided Diffusion Models官网： 3ddesigner-diffusion.github.io
• sketch-guided-diffusion： Sketch-Guided Text-to-Image Diffusion Models官网：3ddesigner-diffusion.github.io
• Make-A-Story: Visual Memory Conditioned Consistent Story Generation 论文：arxiv.org
• prompt-converter：sd2 用了OpenCLIP ViT-H，sd1 用的是OpenAI ViT-L，导致sd1 的prompt 用到sd2 上有问题，这里提供了一个转换器。链接：huggingface.co
• 用扩散模型合成连贯视觉故事 mp.weixin.qq.com
• AI都会和人类谈判了？Meta AI最新研究登上Science，LeCun称里程碑式成果 mp.weixin.qq.com
• VectorFusion： Text-to-SVG by Abstracting Pixel-Based Diffusion Models官网：ajayj.com/vectorfusion
• SinFusion: Training Diffusion Models on a Single Image or Video官网：yanivnik.github.io/sinfusion/

课程：

• Hugging Face 每周速递: 扩散模型和深度强化学习开课啦！ 扩散模型今天开课mp.weixin.qq.com

商业：

• 陆奇也不能免AIGC这个「俗」 mp.weixin.qq.com
• 游戏行业中的Generative AI革命-来自A16Z的行业分析 mp.weixin.qq.com
• AI创造新工作！雷亚月薪9000以上，正式招聘AI美术设计师了？ mp.weixin.qq.com

案例：

• How AI Text Generation Models Are Reshaping Customer Support at Airbnb medium.com
• 利用AI生成游戏资源，12月份公测 www.scenario.gg
• magician: 使用AI设计图标的figma插件 magician.design
• 独立开发者分享：我是如何用AI做美术参加游戏Game Jam的？ mp.weixin.qq.com

本周专栏新增：

• 【项目分享】08.VisilyAI: 面向非设计师的辅助设计工具 xiaobot.net
• 番外篇 | 这是你的探索茶馆 xiaobot.net

专栏链接：https://xiaobot.net/post/41133c8c-b1c3-48e1-8f06-78de68f433c6

时间： 2022.11.14-11.20

最新技术：

• 基于草稿的文本生成模型： huggingface.co 这个模型有点意思，论文链接：arxiv.org，感觉可以用来造句，扩写
• Magic3D： 英伟达最新的论文，文本到3D内容生成，链接： deepimagination.cc 论文链接：arxiv.org
• RenderDiffusion: 可以用做3D重建的扩散模型 论文链接：arxiv.org
• InstructPix2Pix: pix2pix编辑 链接： www.timothybrooks.com
• 扩散模型驱动动作生成，可以生成舞蹈，效果很不错。 www.speech.kth.se
• SPACEx： 英伟达最新论文，使用音频驱动头，包括了嘴型，脸部表情和头部运动，是带情绪的。 链接：deepimagination.cc
• 文本驱动3D动作 来自网易AIlab mp.weixin.qq.com

商业：

• Notion AI 中文试用 m.okjike.com
• Notion AI 发布，AIGC 新阶段｜从 Notion 看 PLG 类 SaaS 工具的发展路径 mp.weixin.qq.com
• AIGC概念爆发 多家上市公司回应相关业务情况 finance.eastmoney.com
• 奇绩创坛 2022 秋季创业营路演日，全球 55 个项目，100％技术驱动 posts.careerengine.us

案例：

• 利用AI生成，5个小时做出来的RPG游戏demo 链接：twitter.com
• 使用文本替换来编辑图像 链接：huggingface.co
• 基于AI画画，猜prompt的游戏 链接：findtheprompt.com
• 维多利亚风格的sd模型 链接：huggingface.co
• 图片生成音乐 链接：huggingface.co，是把CLIP和Mubert串起来了，感觉还不错
• Stablediffusion2puppet 链接：twitter.com

本周专栏新增：

• 【项目分享】04. BeautifulAI：用AI设计好看的PPT xiaobot.net
• 【项目分享】05. Photoleap: 带有文字生成图像功能的图像编辑App xiaobot.net
• 【项目分享】06.Tweet Hunter：用AI写Twitter xiaobot.net
• 【项目分享】07.Remover.app: AI智能擦除 xiaobot.net

专栏链接：https://xiaobot.net/post/72c98731-69e1-4d86-99b0-1c831da33757

AIGC周刊（第1期）

时间： 2022.11.07-11.13

最新技术：

• Diffusion预训练成本降低6.5倍，微调硬件成本降低7倍！mp.weixin.qq.com
• 沉浸式体验飞鸟的快乐：从一张照片生成3D航拍视频 mp.weixin.qq.com
• Real-Time Target Sound Extraction github.com
• FactorMatte: Redefining Video Matting for Re-Composition Tasks factormatte.github.io

论文：

• 扩散模型(Diffusion Model)最新综述+GitHub论文汇总-A Survey On Generative Diffusionhttps://zhuanlan.zhihu.com/p/562226867?utm_id=0
• 扩散模型(Diffusion Model)首篇综述-Diffusion Models: A Comprehensive Survey of Methods and Applicationshttps://zhuanlan.zhihu.com/p/562389931
• 来自多伦多大学、滑铁卢大学等机构的研究者受 prompt engineering 的启发，提出一种使用大型语言模型自动生成和选择指令的新算法，在 24 项任务中有 19 项达到了人类水平的表现。 mp.weixin.qq.com

课程：

• 1st Two Lessons of From Deep Learning Foundations to Stable Diffusion www.fast.ai
• 在讲 OpenAI Whisper 前先做了一个剪视频小工具【论文精读】 www.bilibili.com

商业：

• AIGC 火遍全球，里面有哪些创业机会？ mp.weixin.qq.com
• 白皮书 | AIGC的机会到底在何处? mp.weixin.qq.com
• 一文读懂AIGC：万亿新赛道为何今年获得爆发？ mp.weixin.qq.com
• AIGC行业FOMO了，刚拿1亿美金种子轮的Stability AI打算再融10亿美金https://mp.weixin.qq.com/s/JUjV8vj31tG4mcRGUV8b1A
• 陆奇年度分享 ：前沿科技创新创业趋势分析（2022） mp.weixin.qq.com

案例：

• AI绘画版“谁是卧底”，因AI生成太多涩图而无法游玩 mp.weixin.qq.com

更多案例： xiaobot.net

本周专栏新增：

• 【项目分享】01.AvatarAI: 使用AI生成好看的头像https://xiaobot.net/post/51b4b198-1481-4323-836c-fc442feaae30
• 【项目分享】02.TattoosAI：AI驱动的纹身艺术家https://xiaobot.net/post/3dc45b03-ae3c-4570-b59c-278ff594f105
• 【项目分享】03.VidonAl: 用AI把文章变成视频https://xiaobot.net/post/db30c989-9757-4fe5-8c38-b5dd719452d0

专栏链接：https://xiaobot.net/post/3e397b8c-0ddc-4475-9c01-c1b194447679