漏洞挖掘365天挑战

时间: 2022.1.1——2023.1.1

每天两小时,每日更新

此挑战的主页: 漏洞挖掘365天挑战

欢迎关注我的小报童:P小二的每日思考

有人加我,那就建个群吧。如果过期了,加我微信pxiaoer2025。

漏洞挖掘365天挑战微信交流群

目录:

1月

第一周

第二周

第三周

第四周

2月

第一周

第二周

第三周

第四周

3月

第一周

第二周

第三周

第四周

第五周

4月

第一周

  • Day091: 4.1
  • Day092:4.2
  • Day093:4.3

第二周

  • Day094:4.4
  • Day095:4.5
  • Day096:4.6
  • Day097:4.7
  • Day098:4.8
  • Day099:4.9
  • Day100:4.10

第三周

  • Day101:4.11
  • Day102:4.12
  • Day103:4.13
  • Day104:4.14
  • Day105:4.15
  • Day106:4.16
  • Day107:4.17

第四周

  • Day108:4.18
  • Day109:4.19
  • Day110:4.20
  • Day111:4.21
  • Day112:4.22
  • Day113:4.23
  • Day114:4.24

第五周

  • Day115:4.25
  • Day116:4.26
  • Day117:4.27
  • Day118:4.28
  • Day119:4.29
  • Day120:4.30

5月

  • Day121: 每日漏洞挖掘——5.1
  • Day122: 每日漏洞挖掘——5.2
  • Day123: 每日漏洞挖掘——5.3
  • Day124: 每日漏洞挖掘——5.4
  • Day125: 每日漏洞挖掘——5.5
  • Day126: 每日漏洞挖掘——5.6
  • Day127: 每日漏洞挖掘——5.7
  • Day128: 每日漏洞挖掘——5.8
  • Day129: 每日漏洞挖掘——5.9
  • Day130: 每日漏洞挖掘——5.10
  • Day131: 每日漏洞挖掘——5.11
  • Day132: 每日漏洞挖掘——5.12
  • Day133: 每日漏洞挖掘——5.13
  • Day134: 每日漏洞挖掘——5.14
  • Day135: 每日漏洞挖掘——5.15
  • Day136: 每日漏洞挖掘——5.16
  • Day137: 每日漏洞挖掘——5.17
  • Day138: 每日漏洞挖掘——5.18
  • Day139: 每日漏洞挖掘——5.19
  • Day140: 每日漏洞挖掘——5.20
  • Day141: 每日漏洞挖掘——5.21
  • Day142: 每日漏洞挖掘——5.22
  • Day143: 每日漏洞挖掘——5.23
  • Day144: 每日漏洞挖掘——5.24
  • Day145: 每日漏洞挖掘——5.25
  • Day146: 每日漏洞挖掘——5.26
  • Day147: 每日漏洞挖掘——5.27
  • Day148: 每日漏洞挖掘——5.28
  • Day149: 每日漏洞挖掘——5.29
  • Day150: 每日漏洞挖掘——5.30
  • Day151: 每日漏洞挖掘——5.31

六月

Transformers for NLP 第一章

第一章 What are Transformers?

工业4.0

这一章,作者认为Transformers 是工业4.0这个观点进行了阐述。

An Industry 4.0 project manager can go to OpenAI’s cloud platform, sign up, obtain an API key, and get to work in a few minutes. A user can then enter a text, specify the NLP task, and obtain a response sent by a GPT-3 transformer engine. Finally, a user can go to GPT-3 Codex and create applications with no knowledge of programming. Prompt engineering is a new skill that emerged from these models.

首先是云平台,然后提供API访问 包括像Codex都是,只要大模型提供了云API 都算是工业4.0 。 工业4.0 其实是数据驱动的人工智能型的网络化“智能工厂”,确实现在类似的API,其实还没有进入工业领域。

围绕现在transformers这个模型,其实建立起来的是foudation models,算是模型基础设施,后面这种基础设施也只有大厂会来做。

AI 的新范式,感觉是以基础大模型+微调 组成的。 这确实算是一种新的颠覆。

生成代码的Codex

输入:

输出的代码:

工业4.0 AI的角色

  1. API – 大模型
  2. 库 – 开源库
  3. 训练和微调 – 提供计算,训练和微调服务
  4. 开发技巧 – 模型落地

Transformers for NLP笔记

版本:Transformers for Natural Language Processing_Build, train, and fine-tune deep neural network architectures for NLP with Python, PyTorch, TensorFlow, BERT, and GPT-3 2nd Edition

官方代码: https://github.com/Denis2054/Transformers-for-NLP-2nd-Edition

目录:

  • Chapter 1: What are Transformers?
  • Chapter 2: Getting Started with the Architecture of the Transformer Model
  • Chapter 3: Fine-Tuning BERT Models
  • Chapter 4: Pretraining a RoBERTa Model from Scratch
  • Chapter 5: Downstream NLP Tasks with Transformers
  • Chapter 6: Machine Translation with the Transformer
  • Chapter 7: The Rise of Suprahuman Transformers with GPT-3 Engines
  • Chapter 8: Applying Transformers to Legal and Financial Documents for AI Text Summarization
  • Chapter 9: Matching Tokenizers and Datasets
  • Chapter 10: Semantic Role Labeling with BERT-Based Transformers
  • Chapter 11: Let Your Data Do the Talking: Story, Questions, and Answers
  • Chapter 12: Detecting Customer Emotions to Make Predictions
  • Chapter 13: Analyzing Fake News with Transformers
  • Chapter 14: Interpreting Black Box Transformer Models
  • Chapter 15: From NLP to Task-Agnostic Transformer Models
  • Chapter 16: The Emergence of Transformer-Driven Copilots

Day152: 每日漏洞挖掘——6.1

1.Bug Bytes #172 发布了,有一些不错的资源

https://blog.intigriti.com/2022/06/01/bug-bytes-172-pre-hijacking-accounts-csp-bypass-using-wordpress-unusual-ssrf-phishing-chain

2.云安全的一些资源

https://github.com/hashishrajan/cloud-security-vulnerabilities

3.web3安全

不管信不信,都需要保镖

https://github.com/ManasHarsh/Awesome-Web3-security

4.CVE-2022-30781:一条普通的 Git 命令导致的 Gitea RCE

gitee需要审核之后,感觉很多人把gitea用起来了。

https://tttang.com/archive/1607/

5.Social Media Take Over = Easy Money

社交媒体接管,意思就是去检查网站的社交媒体链接,如果失效,看看是否可以再次注册。

包括了Facebook,推特,linkedin,piinterest之类的。 作者说5年带来了2万刀的bug bounty,我感觉不太相信。

应该很少有公司会承认这是漏洞,如果这个可以那其实能自动化做这个事情。

https://medium.com/techiepedia/social-media-take-over-easy-money-aa6274b4b70d

挖掘进度:

6月份,开始对hackerone上的私有项目进行挖掘。今天开始做Recon。

【每日一书】5.19 分布式机器学习-算法,理论与实践

即刻链接: https://web.okjike.com/originalPost/628614f7150c9c7214696b32

5.19 分布式机器学习-算法,理论与实践

这本书入手于2018年11月17日,当年12月10日读完。可以作为分布式机器学习的入门书。

书中介绍了分布式机器学习框架的一些基础知识,包括单机优化,数据模型并行,通信机制,分布式机器学习算法和一些系统。系统主要介绍了基于IMR,基于参数服务器和基于流的机器学习系统。

TensorFlow 在2017年发布eager的时候,我在现场,觉得这是一个变革,回去就做了一个分享。 当时的PyTorch还不成气候,没想到今天会有如此地位。

当时我还去看过TensorFlow的代码,想想能不能贡献点代码。那个时候,NLP训练数据量不算多,很多时候一台机器+fasttext搞定,对分布式训练不了解,就去读了一下代码。

分布式机器学习主要有三个场景:
1. 计算量太大
2. 训练数据太多
3. 模型规模太大

现在就NLP的发展,像BERT和其变种,还有GTP-3这种面向生成的大模型,上面三个场景都占了。

BERT出来的时候,还能折腾折腾,8块V100跑一跑,像后面的大模型就只有等API了。我也变成做AI落地的了。

像IMR的系统,同步+数据并行,Spark MLlib都算比较简单的,属于大数据平台变化过来的。

基于参数的服务器,目前还是有很多开源项目的,Multiverso、PS Lite、KunPeng等等。

基于流的,目前是主流,一个有向无环图定义,可以灵活的数据并行,模型并行或者混合并行。

像Tesorflow、Pytorch、Paddle都属于基于流的,后面的趋势就是支持大规模训练的框架,像OneFlow就是以兼容Pytorch,一键分布式加速为亮点。

还有一个趋势,就是云原生的训练架构,把训练任务完全微服务化。后面看看发展吧。

我自己有个FAI的框架想法,目前还处于调研和开发阶段,还没开源,是基于Rust来实现的一个非常简单的深度学习框架,希望后面能完成和开源出来。

分布式机器学习框架论文很多,没法推荐。我就推荐一下,李沐老师在B站讲了两节课,讲PS架构和最新的Google Pathways架构,可以看看。

1.参数服务器(Parameter Server)www.bilibili.com
2.Pathways www.bilibili.com

【每日一书】5.18 人工智能与游戏

即刻链接:https://web.okjike.com/originalPost/6284c15c360fb4affaec764e

#每日一书# 加入的第一天,搞个新玩法。 随手拍一张,手上正在读的书或者身边已经读过的书,然后说说与这本书的故事。

5.18 人工智能与游戏

入手时间2021年8月,目前粗略读过一遍,正在根据这本书的内容写GameAI专栏。

专栏目前有9篇,书中内容太概括,一页内容就可以花很多时间去扩展,专栏有种给自己挖坑的感觉。

为什么读这个? 因为要做GameAI方向的产品,对游戏AI的传统方法不怎么熟悉,想有一个整体的视角。

这本书可能今年才能读完,因为还要为专栏做一个演示程序,包括了传统的方法,机器学习算法,深度学习和强化学习的一些demo,这工作量不小。

除了这本关于游戏AI的书外,我还有另外3,4本书,还有一些论文,后面再介绍。