CS329S: 机器学习系统设计——了解机器学习生产

官网笔记和Slide(地址可能有变,无效请参考官方):

机器学习中的研究 VS 生产

 ResearchProduction
ObjectivesModel performanceDifferent stakeholders have different objectives
Computational priorityFast training, high throughputFast inference, low latency
DataStaticConstantly shifting
FairnessGood to have (sadly)Important
Interpretability*Good to haveImportant
  • 目标:
    • 研究者主要就是模型的性能,是否达到了SOTA
    • 生产的话,不同的职位的人他的目标是不一样的
  • 计算优先度:
    • 研究者主要是快速的训练,高吞吐量,主要是节约训练时间
    • 生产者主要是快速推断能力,低延迟,提高QPS,高性能服务应用
  • 数据:
    • 研究主要是固定的数据集,干净静态的,也是历史数据
    • 生产是变化的数据,脏乱的数据,历史和实时数据流,也有一些隐私数据
  • 公平性:
    • 研究 基本没多少研究 最好是有
    • 生产的公平性是非常重要
  • 可解释性:
    • 最好是有 ,但是可以没有
    • 生产的可解释性也非常重要,对用户企业都很重要,对于开发人员也非常重要

我认为在生产中,最重要的还是前期业务调研和训练数据,还有一点也比较重要,就是模型的安全性,这个在模型研究中基本没有涉及,在生产中非常重要。

机器学习系统 VS 传统的软件开发

机器学习系统的新挑战

  • 数据测试
  • 数据和模型版本
  • 监控
  • 数据标签
  • CI/CD测试
  • 部署
  • 模型压缩
  • 推理优化
  • 边缘设备
  • 隐私
  • 数据操作
  • 数据格式

机器学习部署神话

  • 部署是困难的
    • 可靠部署非常困难,包括低延迟和高可用
  • 你只能一次部署一到两个模型
    • 我们需要部署上百上千个模型
  • 如果我们不做任何事情,模型的性能问题依然存在
    • 模型的性能一开始就是有很多问题,都是需要做优化的
  • 你不需要更新你的模型
    • 其实模型的更新需求是非常频繁,如果使用k8s来部署,基本的容器生命周期都是十几分钟,几十分钟
  • 大多数的机器学习工程师不需要担心规模
    • 开始并没有担心规模,后续针对业务来做大规模部署
  • 机器学习可以神奇的转换一个业务
    • 机器学习的收益很难说这个和业务相关

CS329S: 机器学习系统设计笔记目录

  1. CS329S: 机器学习系统设计——了解机器学习生产
  2. CS329S: 机器学习系统设计——机器学习系统设计简介
  3. CS329S: 机器学习系统设计——数据管理
  4. CS329S: 机器学习系统设计——模型开发
  5. CS329S: 机器学习系统设计——PyTorch和分布式培训
  6. CS329S: 机器学习系统设计——模型评估
  7. CS329S: 机器学习系统设计——实验跟踪和版本控制
  8. CS329S: 机器学习系统设计——TinyML
  9. CS329S: 机器学习系统设计——在生产中扩展ML模型:Uber和Ludwig的案例研究
  10. CS329S: 机器学习系统设计——公平,准确和透明
  11. CS329S: 机器学习系统设计——监控与维护
  12. CS329S: 机器学习系统设计——基础设施
  13. CS329S: 机器学习系统设计——将ML集成到业务中
  14. CS329S: 机器学习系统设计——最终项目讨论
  15. CS329S: 机器学习系统设计——ML系统的未来
  16. CS329S: 机器学习系统设计——最终项目演示

官网: https://stanford-cs329s.github.io/index.html

《CS329S:机器学习系统设计》 是斯坦福大学今年才开的课程,也是第一次开这门课。主要的目标是构建一个可部署可靠可扩展的机器学习系统,具体介绍可以参考官网。

现在课程只有PPT和笔记,视频后续有可能会公布。目前文章的内容只是根据PPT和笔记以及其他相关内容整理而成,如果后面放出视频,文章会根据视频更新。

Github:https://github.com/xxg1413/CS329S

课程时间:

DateDescriptionMaterialsEvents
Mon Jan 11Understanding machine learning productionNote
Slides
Lecture
Wed Jan 13Intro to machine learning systems designNote
Slides
Lecture
Mon Jan 18No classMartin Luther King, Jr. Day
Wed Jan 20Data managementSlidesLecture
Mon Jan 25Model developmentSlidesLecture
Wed Jan 27PyTorch & distributed training
Tutorial by Shreya Shankar and Karan Goel
Tutorial
Mon Feb 1Model evaluationLecture + Tutorial
Wed Feb 3Experiment tracking and versioning
Weights & Biases tutorial by Lavanya Shukla
DVC tutorial by DVC team
Lecture + Tutorial
Mon Feb 8DeploymentLecture
Wed Feb 10Deployment tutorials
Guest lecture by Daniel Bourke
Tutorial
Mon Feb 15No classPresidents’ Day
Wed Feb 17TinyML
Guest lecture by Pete Warden
Lecture
Mon Feb 22Scaling ML models in production: case studies with Uber and LudwigGuest lecture by Piero MolinoLecture
Wed Feb 24Fairness, accuracy, and transparency
Guest lecture by Sara Hooker
Lecture
Mon Mar 1Monitoring and maintenanceLecture + Tutorial
Wed Mar 3InfrastructureLecture
Mon Mar 8Integrating ML into business
Guest lecture by Saam Motamedi
Lecture
Wed Mar 10Final project discussionWorkshop
Mon Mar 15Future of ML systems
Panel:Christopher RéNeil LawrenceHan XiaoTBD
Panel
Wed Mar 17Final project demo dayDemo day

北大创业课笔记(四)

  1. 创业前要做的准备
    1. 初创者的精神和领导力
    2. 团队的重要性
    3. 如何招人、组建团队
    4. 公司文化
    5. 中国创业宏观市场和互联网+
  2. 创业中的要点
    1. 产品
    2. 商业模式
    3. 初创企业的战略营销
  3. 融资
    1. 如何写商业计划书和数据展示
    2. 融资和估值
    3. 众筹
    4. 创业时需要知道的基本法律知识
  4. 撰写商业计划书

北大创业课笔记(三)

  1. 创业前要做的准备
    1. 初创者的精神和领导力
    2. 团队的重要性
    3. 如何招人、组建团队
    4. 公司文化
    5. 中国创业宏观市场和互联网+
  2. 创业中的要点
    1. 产品
    2. 商业模式
    3. 初创企业的战略营销
  3. 融资
    1. 如何写商业计划书和数据展示
    2. 融资和估值
    3. 众筹
    4. 创业时需要知道的基本法律知识
  4. 撰写商业计划书

北大创业课笔记(二)

  1. 创业前要做的准备
    1. 初创者的精神和领导力
    2. 团队的重要性
    3. 如何招人、组建团队
    4. 公司文化
    5. 中国创业宏观市场和互联网+
  2. 创业中的要点
    1. 产品
    2. 商业模式
    3. 初创企业的战略营销
  3. 融资
    1. 如何写商业计划书和数据展示
    2. 融资和估值
    3. 众筹
    4. 创业时需要知道的基本法律知识
  4. 撰写商业计划书

产品匹配与市场需求

蜜芽创始人:

1.创业源头: 回家生孩子,想创业。 回归自己的需求发现,我就是一个孩子的母亲, 我天然知道孩子需要什么,我也天然知道所有天下的妈妈爸爸在给孩子选购商品时她的那种- 焦虑感

2.匹配的重要性: only things that matters is getting to product and market fit 找到一个不错的市场,做出一款能让市场尖叫的产品

3.创投公司的生命周期: product/market fit前和product/market fit后

4.最好是超出市场预期,这样可以帮你节省前期的很多推广费用

5.创业团队的三个因素: 团队,产品和市场 三个因素只要具备一个因素就可以拿第一轮天使轮

6.蜜芽天使轮: 没有团队,没有产品,只有市场和对市场的洞察

7.airbnb: 没有团队,有产品,市场也需要论证,培育。

8.A轮融资:能够从一个因素拓展到这个 product/market fit,是创业公司非常重要的时刻

9.天使到A轮要做的事情: 1.决定产品的形态 2.决定产品的定位 3.决定产品的节奏

10.产品决策最重要的是什么?你根据市场去倒逼着来做一些决定,而不是 根据你自然的一个节奏,最后是导致可能市场错失,时机丧失。

怎么做到市场与产品的匹配

  1. 你的市场调研和学习阶段,一定不要打无准备的战
    • 查看你所感兴趣的领域 的所有的上市公司的财报
    • 找到完全不同的陌生人去访谈(误以为广泛)
    • 实地考察
  2. 判断与决策阶段
    • 创始人判断力好,可以节约很多成本
    • 考验这个创始人和管理团队的一个眼光
  3. 如何确保你的Product-Market Fit
    • 小步快跑、 快速试错,让市场告诉你
    • 小团队,钱越少越好,三到五个人是最好做独立决策
  4. 重复1到3
  5. 将上述 思维运用到公司各个层级,各个层次,各个大小,各个维度的产品上

如何判断你的公司是否真的做到了 product market fit

  1. 你的用户数量高速增长,这个是判断product market fit最重要的一个因素
  2. 少量试着投放的时候,你会发现效率远远优于市场普遍标准
  3. 你会发现你不断的需要增加后端服务能力

当你做到了product market fit之后

  1. 下一步, 不要停止,不断的去scale up,拉开,拉大市场规模,拉开竞争差距。你规模化的资金, 一个是用于市场投放,获取新用户;一个是用于匹配你的服务能力
  2. 当你的规模扩大之后,PM可能出现不匹配的情况,你需要调整你的产品和市场
  3. 公式: 产品乘以市场,Product乘以Market, 除以竞争
  4. 不断的打磨你的团队

北大创业课笔记(一)

  1. 创业前要做的准备
    1. 初创者的精神和领导力
    2. 团队的重要性
    3. 如何招人、组建团队
    4. 公司文化
    5. 中国创业宏观市场和互联网+
  2. 创业中的要点
    1. 产品
    2. 商业模式
    3. 初创企业的战略营销
  3. 融资
    1. 如何写商业计划书和数据展示
    2. 融资和估值
    3. 众筹
    4. 创业时需要知道的基本法律知识
  4. 撰写商业计划书

创业前要做的准备

初创者的精神和领导力

1.什么是企业家精神

企业家精神是一种素质, 是一种品格,是一种梦想,是一种激情,是一种使命。 它包含了创新、 执着、 专注、 胆识、 刚毅、 敢于反潮流、 敢为天下先、 敢越雷池一步、 敢于承担企业的社会责任

2.管理者和创业者有什么区别?

作为一个管理者本人 他使他的所有的权利,和自己做事的行为都是 受的企业制度的制约。 因此,他强调的是专业素质, 更强调维护企业的秩序和短期的行为,在整个企业发展运行过程中, 在执行力问题上,没有任何借口,因此他特别重视细节, 维护企业的短期局面,而作为企业家来讲,他是具有一个梦想的, 一个创业者,在他的梦想之下 他有个很好的理念,有很好的一个视野。 在这个视野和理念下,他自己在追求和实现他的终身梦想。 这种梦想就是在财富,不仅是创造财富,而且要改变人类。

3.企业家精神的根基——价值观

价值观:

  • 行为的动机: 一个企业家,一个创业者的行动的动机, 做有兴趣,有梦想做的事情.同时他也包括企业家在面对众多选择时 的价值排序,做正确的事情,做最重要的事情。
  • 选择的排序: 我们在所有众多选择之中,要 做出我们自己正确的事情,做出正确的选择

例子: 乔布斯作为一个案例。 乔布斯本人对计算机的憧憬和喜欢, 让他能够在公司1986年解雇他之后, 仍然坚守计算机领域里面的持续创新。 坚持十年,创造了两家世界级企业, 一个是叫Pixar,动画片企业;一个叫NeXT,计算机企业。 而这两家企业的核心技术,为整个苹果计算机的 整个在2000年之后的重启,奠定了技术基础。 关键的问题还不在于他的兴趣, 乔布斯很清晰,他这样做,不仅仅因为 他个人的强烈的对计算机的兴趣,更因为他认为他做的事情 将会改变世界

4.价值观的判断

乔布斯的判断方法: 提醒自己快死了,是我在做重大判断时 最重要的工具。 因为几乎每件事, 所有外界期望,所有名誉,所有被困窘和失败的恐惧, 在面对死亡时,全都消失了,只有最重要的东西才会留下。 所以我所讲的价值观,就是在重要的排序中,你认为你必须做的。 因为我们每个人的精力都是有限的,你必须做的事情,你认为正确的事情, 这就是你的价值观。 你要去做这件事情,你必须懂得 选择,你必须学会放弃,你做了这件事情,你终身、 毕生就要做这件事情, 你就不可能做全世界所有的事情,当你真正集中精力去做这件事情的时候, 你成功的把握、 成功的概率就会大大地得到提升

5.什么是品格

一个人品格,是指一个人一贯和稳定的心理特质, 思维方式和行为举止。品格是价值观体现 出的人的行为,而价值观是一个人的内在的这种驱动力

6.什么是领导力

领导力 就是影响力,领导力就是制造追随者的能力, 领导力就是让下属做你期望实现,下属又 特别愿意去做的事情。

价值观和品格加起来,就会产生出巨大的领导力。

7.什么是影响力

真正基于价值观和品格能力,品格魅力所产生的领导力, 它是一种影响力。 这种影响力是什么呢?这种影响力是影响并改变追随者的态度、 价值观、 信念和行为,可以用追随者表现出的行为和内心、 态度来衡量,这种影响力具有持久的 这种现象持久的能量

影响力建立在价值观和品格基础之上,是 一个企业家在所应该特别具备的 一种能力。

8.卓越领导者的品质

  • 待人真诚 不欺骗,不作假
  • 有预见性 vision 有格局 能看到未来
  • 称职胜任 对你的产品服务所有都有清晰的认知
  • 鼓舞人心 必须带领团队实现团队的目标,鼓励机制。物质上要激励 在精神上更要激励,在组织架构的变革上要激励

9.卓越创业者的五大行为特质

  • 以身作则
  • 共启愿景
  • 挑战现状
  • 使众人行 
  • 激励人心

10.西点军校和稻盛和夫

西点军校: Knwo, Do, Be —— 知,行,成 。 用权力培养 有品格素质的领军人物

西点要求是你这个人一定要有一种精神,这种精神叫追求真理 评判是非,在行动中表现出勇气和承诺 品格不仅涉及到伦理道德的最高准则, 同时包括你在意志力上面的坚定,决断 自我约束和判断力。

 培养品质: 开明、 诚实、 博爱,也就是要有爱心 正直、 刚毅、 宽容、 自信 自律、 尽职尽责、 永不放弃 自我激励

稻盛和夫:

理念: 能力 乘上努力,乘上思维模式的理念和思想 

  • 能力: 能力就是知识天赋,你自己的这种天生的这种能力,和后天的学习能力 0-100分
  • 努力: 就是你自己在工作中的这种奋斗 的精神,艰苦奋斗的精神 0-100分
  • 思维模式: 人生观,价值观,世界观 做正确是事情 -100-100分

讨论问题:

  • 1. 提升自身领导力的方法有哪些?
  • 2. 品格为何如此重要?
  • 3. 西点军校的办学理念对你有何启示?
  • 4. 稻盛和夫的经营理念有那些优势?

团队的重要性

如何选择最好的创业项目

结论:

  1. 将来会很有价值
  2. 多数聪明人都不看好
  3. 你比别人有优势

找到一个符合三个条件的企业,可能是一个大的生意。

但是如果你找不到,不知道这个事情后面会很有价值,那你也可以只找到满足2和3的

  • 多数聪明人都不看好
  • 你比别人有优势

读到这里,其实我想到的是短视频领域。

其实最开始的时候,包括facebook,google和国内的一些大厂都不看好短视频,并且把一些短视频项目关掉。等到头条发现机会,抄Musical.ly变了一个玩法, 发展壮大之后,再进入这个领域就来不及了。这也导致在国内和国外,tiktok和抖音无敌。

现在视频号也是想来斗一斗,期待视频号的一些新玩法吧。

原文:

硅谷来信3 ——第067-071封信笔记

  • 第067封信丨我们应该承担多大的风险?
  • 第068封信丨怎么做到与自己和解?
  • 第069封信丨为什么我们要学会道歉?
  • 第070封信丨为什么主观的看法也可以全面、公正?
  • 第071封信丨如何运用系统性和科学试错的方法解决一道难题?
  • 答读者问12 为什么说真正让人吸取教训的是行动?

第067封信丨我们应该承担多大的风险?

风险的特征

  • 1.它不仅是一种可能性,更重要的是它往往是超出我们意料的波动
  • 2.风险当然是坏事,但这个“坏”其实是因人而异的

防范风险

定性:尽可能对自己要做的事情有充分的了解,对于可能会发生的事情,心里要有数,有针对性的防范 比如B计划,让事情发生的概念变成小概率事件。对于无法判断的风险,需要保留一条底线,确认自己有什么东西是不想失去、不能失去的;除此之外,就不必杞人忧天了

定量:

风险承受三级

  1. 底线 比如自己生命家人平安
  2. 维持现有的生活水平
  3. 不要让自己产生心里过不去的坎

池子越大,越能抵消随机性带来的误差,也就是说当你置身于一个很大的池子的时候,你就能承担更大的风险

P小二观点

挺同意上面的观点,风险确实是无处不在,首先得是保证自己和家人的最底层的需求,风险的控制是一个非常值得研究的话题,我们需要利用风险来博取更高的收益的同时,也需要维持一个基本的底线,这样不至于一直在担忧,让自己心累。

第068封信丨怎么做到与自己和解?

悲剧的内伤

内伤: 自身内心的纠结,纠结自己当初应该做xxx,就不会变成这样,否定自己。

自我关怀:在悲剧之后,对自己给予关怀和爱,就是自我关怀。

与自己的情绪共处

  1. 接受自己的情绪
  2. 理清楚自己的情绪,比如说出来
  3. 能够发现和承认自己阴暗的一面 ,承认自己的不足,才能宽容自己。

P小二观点

确实能够接受自己,接受失败是非常重要的,怎么和坏的情绪相处,其实还可以去做一些事情 比如运动,冥想等,可以调节自己的情绪。主要还是接受失败,接受失败的自己。