Docker - 标签 - 逆向工程 Cookbook

Web 逆向工程 Cookbook

overkazaf@gmail.com (+5) — Fri, 25 Jul 2025 00:00:00 +0000

Web 逆向工程 Cookbook

欢迎来到 Web RE Cookbook —— 一本实战导向的 Web 逆向工程实用手册。

故障排除 - Troubleshooting

overkazaf@gmail.com (+5) — Sun, 20 Jul 2025 00:00:00 +0000

故障排除 - Troubleshooting

遇到问题？这里有常见问题的解决方案和调试技巧。

项目模板 - Templates

overkazaf@gmail.com (+5) — Sat, 21 Jun 2025 00:00:00 +0000

项目模板 - Templates

即用型项目模板和配置文件，帮助你快速启动新的逆向项目。

数据存储方案

overkazaf@gmail.com (+5) — Thu, 25 Sep 2025 00:00:00 +0000

数据存储方案

概述

爬虫系统需要高效的数据存储方案来处理海量数据。本章介绍常见的存储选型和最佳实践。

监控与告警系统

overkazaf@gmail.com (+5) — Wed, 13 Aug 2025 00:00:00 +0000

监控与告警系统

概述

监控和告警是保障分布式爬虫系统稳定运行的关键。本章介绍如何构建完整的监控和告警体系。

Docker 容器化部署

overkazaf@gmail.com (+5) — Thu, 07 Aug 2025 00:00:00 +0000

Docker 容器化部署

概述

Docker 容器化使爬虫项目具备可移植性、可扩展性和易维护性。本章介绍如何将爬虫项目容器化并进行生产部署。

分布式爬虫架构模板

overkazaf@gmail.com (+5) — Wed, 11 Jun 2025 00:00:00 +0000

分布式爬虫架构模板

基于 Scrapy + Redis 的分布式爬虫架构，支持多机协同、任务调度和数据去重。

容器化部署：Docker 与 Kubernetes 实战

overkazaf@gmail.com (+5) — Fri, 23 May 2025 00:00:00 +0000

容器化部署：Docker 与 Kubernetes 实战

📚 前置知识

基础爬虫项目模板

overkazaf@gmail.com (+5) — Mon, 28 Apr 2025 00:00:00 +0000

基础爬虫项目模板

一个简单但完整的 Python 爬虫项目模板，适合单机数据采集。

消息队列应用

overkazaf@gmail.com (+5) — Sun, 27 Apr 2025 00:00:00 +0000

消息队列应用

概述

消息队列是分布式爬虫系统的核心组件，用于解耦生产者和消费者、削峰填谷、异步处理。本章介绍常见消息队列的使用。

Docker 部署问题

overkazaf@gmail.com (+5) — Sat, 26 Apr 2025 00:00:00 +0000

Docker 部署问题

Docker 容器化部署中的常见问题及解决方案。

分布式爬虫架构

overkazaf@gmail.com (+5) — Sat, 26 Apr 2025 00:00:00 +0000

分布式爬虫架构

概述

随着数据规模的不断扩大，单机爬虫在性能、稳定性和效率上遇到了瓶颈。分布式爬虫架构通过将爬取任务分散到多台机器上并行执行，可以大幅提升爬取效率，实现千万级甚至亿级的数据采集。

绕过 App 对 Frida 的检测

overkazaf@gmail.com (+5) — Tue, 22 Apr 2025 00:00:00 +0000

绕过 App 对 Frida 的检测

📚 前置知识

Docker 部署配置模板

overkazaf@gmail.com (+5) — Sat, 12 Apr 2025 00:00:00 +0000

Docker 部署配置模板

容器化部署爬虫项目的完整配置，支持单机和分布式部署。

常用命令速查表

overkazaf@gmail.com (+5) — Sat, 05 Apr 2025 00:00:00 +0000

常用命令速查表

Chrome DevTools Console 命令

选择元素

命令	说明	示例
`$()`	等同于 `document.querySelector()`	`$('#username')`
`$$()`	等同于 `document.querySelectorAll()`	`$$('.item')`
`$x()`	XPath 选择器	`$x('//div[@class="container"]')`
`$0`	当前选中的元素	`$0.innerHTML`
`$1`	上一个选中的元素	`$1.classList`

实用函数

命令	说明	示例
`copy()`	复制到剪贴板	`copy($0)`
`clear()`	清空 Console	`clear()`
`keys()`	获取对象所有键	`keys(window)`
`values()`	获取对象所有值	`values(localStorage)`
`monitor()`	监控函数调用	`monitor(fetch)`
`unmonitor()`	取消监控	`unmonitor(fetch)`
`table()`	表格显示数据	`table([{name:'a',age:20}])`
`debug()`	在函数第一行设断点	`debug(myFunction)`
`undebug()`	移除断点	`undebug(myFunction)`

网络相关

// 查看所有 Cookie
document.cookie;

// 清空所有 Cookie
document.cookie.split(";").forEach((c) => {
document.cookie = c
.replace(/^ +/, "")
.replace(/=.*/, "=;expires=" + new Date().toUTCString() + ";path=/");
});

// 查看 LocalStorage
Object.keys(localStorage);

// 清空 LocalStorage
localStorage.clear();

// 发送 GET 请求
fetch("https://api.example.com/data")
.then((r) => r.json())
.then(console.log);

// 发送 POST 请求
fetch("https://api.example.com/login", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ username: "admin", password: "123456" }),
})
.then((r) => r.json())
.then(console.log);

Python 常用库

Requests

import requests

# GET 请求
response = requests.get('https://example.com')
print(response.text)

# POST 请求
response = requests.post('https://example.com/api', json={
'username': 'admin',
'password': '123456'
})
print(response.json())

# 设置 Headers
headers = {
'User-Agent': 'Mozilla/5.0 ...',
'Authorization': 'Bearer token123'
}
response = requests.get('https://example.com', headers=headers)

# 使用代理
proxies = {
'http': 'http://127.0.0.1:8080',
'https': 'http://127.0.0.1:8080'
}
response = requests.get('https://example.com', proxies=proxies)

# Session 保持
session = requests.Session()
session.get('https://example.com/login')
session.post('https://example.com/api', json={'key': 'value'})

BeautifulSoup

from bs4 import BeautifulSoup

# 解析 HTML
soup = BeautifulSoup(html, 'html.parser')

# 查找元素
soup.find('div', class_='content') # 查找第一个
soup.find_all('a') # 查找所有
soup.select('.class #id tag') # CSS 选择器

# 获取属性
element = soup.find('a')
element.get('href') # 获取 href
element.text # 获取文本
element.get_text(strip=True) # 获取文本（去空格）

Regex (re)

import re

# 查找
match = re.search(r'pattern', text)
matches = re.findall(r'pattern', text)

# 替换
result = re.sub(r'old', 'new', text)

# 编译（提高性能）
pattern = re.compile(r'pattern')
matches = pattern.findall(text)

cURL 命令

基本用法

# GET 请求
curl https://example.com

# POST 请求
curl -X POST https://example.com/api \
-H "Content-Type: application/json" \
-d '{"username":"admin","password":"123456"}'

# 设置 User-Agent
curl -A "Mozilla/5.0 ..." https://example.com

# 保存 Cookie
curl -c cookies.txt https://example.com

# 使用 Cookie
curl -b cookies.txt https://example.com

# 跟随重定向
curl -L https://example.com

# 显示响应头
curl -i https://example.com

# 只显示响应头
curl -I https://example.com

# 使用代理
curl -x http://127.0.0.1:8080 https://example.com

# 忽略 SSL 证书
curl -k https://example.com

# 上传文件
curl -F "file=@/path/to/file" https://example.com/upload

调试用法

# 显示详细信息
curl -v https://example.com

# 显示时间统计
curl -w "@curl-format.txt" -o /dev/null -s https://example.com

# curl-format.txt 内容:
# time_namelookup: %{time_namelookup}\n
# time_connect: %{time_connect}\n
# time_appconnect: %{time_appconnect}\n
# time_redirect: %{time_redirect}\n
# time_pretransfer: %{time_pretransfer}\n
# time_starttransfer: %{time_starttransfer}\n
# ----------\n
# time_total: %{time_total}\n

Git 常用命令

基础操作

# 查看状态
git status

# 添加文件
git add .
git add file.txt

# 提交
git commit -m "message"

# 推送
git push origin master

# 拉取
git pull origin master

# 查看历史
git log
git log --oneline --graph

# 回退
git reset --hard HEAD^ # 回退一个版本
git reset --hard commit_id # 回退到指定版本

分支操作

# 创建分支
git branch feature-name

# 切换分支
git checkout feature-name

# 创建并切换
git checkout -b feature-name

# 合并分支
git merge feature-name

# 删除分支
git branch -d feature-name

查看差异

# 查看修改
git diff

# 查看已暂存的修改
git diff --staged

# 查看两个提交的差异
git diff commit1 commit2

Node.js / npm

包管理

# 安装包
npm install package-name
npm install -g package-name # 全局安装
npm install --save-dev package # 开发依赖

# 卸载包
npm uninstall package-name

# 更新包
npm update package-name

# 查看已安装的包
npm list
npm list -g

# 查看包信息
npm info package-name

常用脚本

# 运行脚本
npm run script-name

# 常见的预定义脚本
npm start
npm test
npm run build

Bash 文本处理

grep

# 搜索文本
grep "pattern" file.txt

# 忽略大小写
grep -i "pattern" file.txt

# 递归搜索
grep -r "pattern" directory/

# 显示行号
grep -n "pattern" file.txt

# 反向匹配（不包含）
grep -v "pattern" file.txt

# 正则表达式
grep -E "regex pattern" file.txt

sed

# 替换文本
sed 's/old/new/' file.txt # 替换每行第一个
sed 's/old/new/g' file.txt # 替换所有
sed -i 's/old/new/g' file.txt # 直接修改文件

# 删除行
sed '/pattern/d' file.txt # 删除匹配的行
sed '1d' file.txt # 删除第一行
sed '1,10d' file.txt # 删除1-10行

awk

# 打印列
awk '{print $1}' file.txt # 打印第一列
awk '{print $1,$3}' file.txt # 打印第1和第3列

# 条件过滤
awk '$3 > 100' file.txt # 第3列大于100的行

# 求和
awk '{sum+=$1} END {print sum}' file.txt

Docker 常用命令

镜像操作

# 拉取镜像
docker pull image-name

# 查看镜像
docker images

# 删除镜像
docker rmi image-name

# 构建镜像
docker build -t image-name .

容器操作

# 运行容器
docker run -d --name container-name image-name
docker run -it image-name /bin/bash # 交互式

# 查看容器
docker ps # 运行中的
docker ps -a # 所有的

# 停止容器
docker stop container-name

# 启动容器
docker start container-name

# 删除容器
docker rm container-name

# 查看日志
docker logs container-name

# 进入容器
docker exec -it container-name /bin/bash

快速参考

编码/解码

# Base64
import base64
encoded = base64.b64encode(b'text')
decoded = base64.b64decode(encoded)

# URL编码
from urllib.parse import quote, unquote
encoded = quote('text with spaces')
decoded = unquote(encoded)

# JSON
import json
json_str = json.dumps({'key': 'value'})
obj = json.loads(json_str)

时间戳

import time
import datetime

# 当前时间戳（秒）
timestamp = int(time.time())

# 当前时间戳（毫秒）
timestamp_ms = int(time.time() * 1000)

# 时间戳转日期
dt = datetime.datetime.fromtimestamp(timestamp)
print(dt.strftime('%Y-%m-%d %H:%M:%S'))

# 日期转时间戳
dt = datetime.datetime(2024, 1, 1, 12, 0, 0)
timestamp = int(dt.timestamp())

// JavaScript
const timestamp = Date.now(); // 毫秒
const timestampSec = Math.floor(Date.now() / 1000); // 秒

// 时间戳转日期
const date = new Date(timestamp);
console.log(date.toLocaleString());

工程化：自动化与群控系统

overkazaf@gmail.com (+5) — Mon, 03 Feb 2025 00:00:00 +0000

工程化：自动化与群控系统

📚 前置知识

工程化：虚拟化与容器技术

overkazaf@gmail.com (+5) — Sat, 28 Dec 2024 00:00:00 +0000

工程化：虚拟化与容器技术

前置知识

代理池设计与 Scrapy 集成

overkazaf@gmail.com (+5) — Sat, 17 Aug 2024 00:00:00 +0000

代理池设计与 Scrapy 集成

📚 前置知识

Node.js 调试指南

overkazaf@gmail.com (+5) — Sun, 07 Jul 2024 00:00:00 +0000

Node.js 调试指南

概述

随着 Webpack、Vite 等构建工具的普及，前端代码的混淆和打包逻辑往往运行在 Node.js 环境中。逆向工程中，我们经常需要调试 Webpack 的 Loader/Plugin、分析服务端的 JS 逻辑、或者理解加密算法的实现。

Docker - 标签 - 逆向工程 Cookbook

Web 逆向工程 Cookbook

Web 逆向工程 Cookbook

故障排除 - Troubleshooting

故障排除 - Troubleshooting

项目模板 - Templates

项目模板 - Templates

数据存储方案

数据存储方案

概述

监控与告警系统

监控与告警系统

概述

Docker 容器化部署

Docker 容器化部署

概述

分布式爬虫架构模板

分布式爬虫架构模板

容器化部署：Docker 与 Kubernetes 实战

容器化部署：Docker 与 Kubernetes 实战

基础爬虫项目模板

基础爬虫项目模板

消息队列应用

消息队列应用

概述

Docker 部署问题

Docker 部署问题

分布式爬虫架构

分布式爬虫架构

概述

绕过 App 对 Frida 的检测

绕过 App 对 Frida 的检测

Docker 部署配置模板

Docker 部署配置模板

常用命令速查表

常用命令速查表

Chrome DevTools Console 命令

选择元素

实用函数

网络相关

Python 常用库

Requests

BeautifulSoup

Regex (re)

cURL 命令

基本用法

调试用法

Git 常用命令

基础操作

分支操作

查看差异

Node.js / npm

包管理

常用脚本

Bash 文本处理

grep

sed

awk

Docker 常用命令

镜像操作

容器操作

快速参考

编码/解码

时间戳

相关章节

工程化：自动化与群控系统

工程化：自动化与群控系统

工程化：虚拟化与容器技术

工程化：虚拟化与容器技术

代理池设计与 Scrapy 集成

代理池设计与 Scrapy 集成

Node.js 调试指南

Node.js 调试指南

概述