代理池 - 标签 - 逆向工程 Cookbook

故障排除 - Troubleshooting

overkazaf@gmail.com (+5) — Sun, 20 Jul 2025 00:00:00 +0000

故障排除 - Troubleshooting

遇到问题？这里有常见问题的解决方案和调试技巧。

Magisk 与 LSPosed 技术原理

overkazaf@gmail.com (+5) — Thu, 25 Sep 2025 00:00:00 +0000

Magisk 与 LSPosed 技术原理

Magisk 和 LSPosed 是 Android 平台上最流行的 Root 和 Hook 解决方案。本文深入分析其技术实现原理，帮助理解现代 Android 系统修改技术的核心机制。

视频 App 与 DRM 案例

overkazaf@gmail.com (+5) — Mon, 15 Sep 2025 00:00:00 +0000

视频 App 与 DRM 案例

电商网站逆向案例

overkazaf@gmail.com (+5) — Sat, 06 Sep 2025 00:00:00 +0000

电商网站逆向案例

概述

电商网站通常具有复杂的反爬虫机制，包括 API 签名、加密价格、滑块验证码等。本文通过实际案例介绍电商网站的逆向思路。

代理池管理

overkazaf@gmail.com (+5) — Fri, 29 Aug 2025 00:00:00 +0000

代理池管理

概述

代理池是分布式爬虫的核心组件之一，用于突破 IP 限制和反爬虫检测。本章介绍代理池的构建、管理和优化策略。

监控与告警系统

overkazaf@gmail.com (+5) — Wed, 13 Aug 2025 00:00:00 +0000

监控与告警系统

概述

监控和告警是保障分布式爬虫系统稳定运行的关键。本章介绍如何构建完整的监控和告警体系。

Docker 容器化部署

overkazaf@gmail.com (+5) — Thu, 07 Aug 2025 00:00:00 +0000

Docker 容器化部署

概述

Docker 容器化使爬虫项目具备可移植性、可扩展性和易维护性。本章介绍如何将爬虫项目容器化并进行生产部署。

搜索引擎对抗

overkazaf@gmail.com (+5) — Sun, 27 Jul 2025 00:00:00 +0000

搜索引擎对抗

概述

搜索引擎拥有业界最强的反爬虫防护机制。本文通过 5 个真实案例，讲解搜索引擎的防护技术及其对抗策略。

HTTP/2 与 HTTP/3

overkazaf@gmail.com (+5) — Fri, 11 Jul 2025 00:00:00 +0000

HTTP/2 与 HTTP/3

概述

HTTP/2 和 HTTP/3 是 HTTP 协议的最新版本，带来了性能提升和新的特性。在逆向工程中，理解这些协议的工作原理对于分析现代 Web 应用至关重要。

TLS 指纹识别 (JA3/JA4)

overkazaf@gmail.com (+5) — Tue, 08 Jul 2025 00:00:00 +0000

TLS 指纹识别 (JA3/JA4)

思考时刻

在学习 TLS 指纹之前，先挑战你的认知：

Canvas 指纹技术

overkazaf@gmail.com (+5) — Tue, 17 Jun 2025 00:00:00 +0000

Canvas 指纹技术

思考时刻

在学习 Canvas 指纹之前，先思考：

WebAssembly 逆向

overkazaf@gmail.com (+5) — Tue, 17 Jun 2025 00:00:00 +0000

WebAssembly 逆向

思考时刻

在深入 WebAssembly 逆向之前，先挑战一下你的认知：

新闻聚合网站

overkazaf@gmail.com (+5) — Sat, 14 Jun 2025 00:00:00 +0000

新闻聚合网站

概述

新闻聚合网站（如 Hacker News、Reddit、今日头条）汇集多个新闻源，并提供个性化推荐。本文通过 5 个真实案例，深入讲解新闻聚合平台的逆向技术。

分布式爬虫架构模板

overkazaf@gmail.com (+5) — Wed, 11 Jun 2025 00:00:00 +0000

分布式爬虫架构模板

基于 Scrapy + Redis 的分布式爬虫架构，支持多机协同、任务调度和数据去重。

反爬虫技术深度分析

overkazaf@gmail.com (+5) — Sun, 08 Jun 2025 00:00:00 +0000

反爬虫技术深度分析

概述

现代网站采用多层次、多维度的反爬虫体系。本章深入分析主流反爬虫技术的原理、检测方法及对抗策略。

WebRTC 指纹与隐私

overkazaf@gmail.com (+5) — Fri, 06 Jun 2025 00:00:00 +0000

WebRTC 指纹与隐私

概述

WebRTC (Web Real-Time Communication) 是一种支持网页浏览器进行实时语音、视频通信和数据共享的技术。然而，WebRTC 也可能泄露用户的真实 IP 地址和其他设备信息，成为指纹识别和隐私泄露的重要途径。

常见问题 (FAQ)

overkazaf@gmail.com (+5) — Tue, 27 May 2025 00:00:00 +0000

常见问题 (FAQ)

概述

本章汇总了 Web 逆向工程中的常见问题和解答，帮助你快速解决常见困惑。

网络和请求问题

overkazaf@gmail.com (+5) — Sat, 24 May 2025 00:00:00 +0000

网络和请求问题

常见的网络连接和 HTTP 请求问题及解决方案。

HTTP 头速查表

overkazaf@gmail.com (+5) — Wed, 14 May 2025 00:00:00 +0000

HTTP 头速查表

常见请求头 (Request Headers)

Header	说明	示例
User-Agent	客户端信息	`Mozilla/5.0 (Windows NT 10.0; Win64; x64)...`
Accept	可接受的内容类型	`application/json, text/plain, /`
Accept-Language	可接受的语言	`zh-CN,zh;q=0.9,en;q=0.8`
Accept-Encoding	可接受的编码	`gzip, deflate, br`
Content-Type	请求体内容类型	`application/json; charset=UTF-8`
Content-Length	请求体长度	`1234`
Authorization	认证信息	`Bearer eyJhbGciOiJIUzI1NiIs...`
Cookie	Cookie 数据	`session_id=abc123; user=admin`
Referer	来源页面	`https://example.com/page1`
Origin	请求来源	`https://example.com`
Host	目标主机	`api.example.com`
Connection	连接方式	`keep-alive`
Cache-Control	缓存控制	`no-cache, no-store`
Pragma	HTTP/1.0 缓存控制	`no-cache`
If-Modified-Since	条件请求	`Wed, 21 Oct 2025 07:28:00 GMT`
If-None-Match	ETag 条件请求	`"686897696a7c876b7e"`
Range	范围请求	`bytes=0-1024`
X-Requested-With	标识 AJAX 请求	`XMLHttpRequest`
X-CSRF-Token	CSRF 令牌	`abc123def456`

常见响应头 (Response Headers)

Header	说明	示例
Content-Type	响应内容类型	`application/json; charset=utf-8`
Content-Length	响应体长度	`1234`
Content-Encoding	响应编码	`gzip`
Set-Cookie	设置 Cookie	`session_id=abc123; Path=/; HttpOnly`
Cache-Control	缓存策略	`max-age=3600, must-revalidate`
Expires	过期时间	`Wed, 21 Oct 2025 07:28:00 GMT`
ETag	资源标识	`"686897696a7c876b7e"`
Last-Modified	最后修改时间	`Wed, 21 Oct 2025 07:28:00 GMT`
Location	重定向地址	`https://example.com/new-page`
Server	服务器信息	`nginx/1.18.0`
X-Powered-By	技术栈	`PHP/7.4.0`
Access-Control-Allow-Origin	CORS 允许来源	`*` 或 `https://example.com`
Access-Control-Allow-Methods	CORS 允许方法	`GET, POST, PUT, DELETE`
Access-Control-Allow-Headers	CORS 允许头	`Content-Type, Authorization`
Access-Control-Max-Age	CORS 预检缓存	`3600`
Strict-Transport-Security	HSTS	`max-age=31536000; includeSubDomains`
X-Frame-Options	防点击劫持	`DENY`
X-Content-Type-Options	防 MIME 嗅探	`nosniff`
X-XSS-Protection	XSS 过滤器	`1; mode=block`

安全相关头

请求安全头

# CSRF 防护
X-CSRF-Token: abc123def456
X-XSRF-TOKEN: abc123def456

# 自定义签名
X-Signature: md5_hash_value
X-Sign: sha256_hash_value
X-Timestamp: 1702887654321

# API密钥
X-API-Key: your_api_key_here
API-Key: your_api_key_here

响应安全头

# 内容安全策略
Content-Security-Policy: default-src 'self'; script-src 'self' 'unsafe-inline'

# XSS 防护
X-XSS-Protection: 1; mode=block

# 防点击劫持
X-Frame-Options: SAMEORIGIN

# MIME 类型嗅探防护
X-Content-Type-Options: nosniff

# Referer 策略
Referrer-Policy: no-referrer-when-downgrade

# 权限策略
Permissions-Policy: geolocation=(), camera=()

Content-Type 常见值

请求/响应通用

Content-Type	说明	用途
`application/json`	JSON 数据	API 请求/响应
`application/x-www-form-urlencoded`	表单数据	传统表单提交
`multipart/form-data`	文件上传	含文件的表单
`text/html`	HTML 文档	网页
`text/plain`	纯文本	文本文件
`text/css`	CSS 样式	样式表
`text/javascript`	JavaScript	JS 文件
`application/javascript`	JavaScript	JS 文件（新标准）
`application/xml`	XML 数据	XML 格式
`text/xml`	XML 文本	XML 文本
`application/octet-stream`	二进制流	文件下载
`image/jpeg`	JPEG 图片	图片
`image/png`	PNG 图片	图片
`image/gif`	GIF 图片	动图
`image/svg+xml`	SVG 图片	矢量图
`video/mp4`	MP4 视频	视频
`audio/mpeg`	MP3 音频	音频

自定义头示例

常见的自定义业务头

# 版本控制
X-API-Version: 1.0
X-Client-Version: 2.3.1

# 设备信息
X-Device-ID: 1234567890abcdef
X-Device-Type: mobile
X-Platform: ios
X-OS-Version: 14.5

# 追踪和调试
X-Request-ID: uuid-1234-5678
X-Trace-ID: trace_abc123
X-Debug: true

# 地理位置
X-Geo-Country: CN
X-Geo-City: Beijing
X-Client-IP: 1.2.3.4

# A/B测试
X-Experiment: variant_b
X-Feature-Flag: new_ui_enabled

User-Agent 示例

桌面浏览器

# Chrome (Windows)
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36

# Firefox (Windows)
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Gecko/20100101 Firefox/121.0

# Edge (Windows)
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Edg/120.0.0.0

# Safari (macOS)
Mozilla/5.0 (Macintosh; Intel Mac OS X 14_1) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15

移动浏览器

# iPhone Safari
Mozilla/5.0 (iPhone; CPU iPhone OS 17_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Mobile/15E148 Safari/604.1

# Android Chrome
Mozilla/5.0 (Linux; Android 13; SM-S908B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Mobile Safari/537.36

# iPad Safari
Mozilla/5.0 (iPad; CPU OS 17_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Mobile/15E148 Safari/604.1

爬虫/工具

# Python Requests
python-requests/2.31.0

# Postman
PostmanRuntime/7.36.0

# cURL
curl/7.68.0

Authorization 方式

Bearer Token

Authorization: Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9...

Basic Auth

Authorization: Basic dXNlcm5hbWU6cGFzc3dvcmQ=
# (username:password 的 Base64编码)

Digest Auth

Authorization: Digest username="user", realm="example.com", nonce="abc123", uri="/api", response="def456"

API Key

Authorization: ApiKey your_api_key_here
# 或
X-API-Key: your_api_key_here

Set-Cookie: session_id=abc123; Domain=example.com; Path=/; Expires=Wed, 21 Oct 2025 07:28:00 GMT; Max-Age=3600; Secure; HttpOnly; SameSite=Strict

属性说明:

反爬虫对抗框架

overkazaf@gmail.com (+5) — Wed, 07 May 2025 00:00:00 +0000

反爬虫对抗框架

概述

反爬虫对抗框架是一个综合性的系统，集成了多种对抗技术，用于突破各类反爬虫防护。本章介绍如何设计一个通用的反爬虫对抗框架。

基础爬虫项目模板

overkazaf@gmail.com (+5) — Mon, 28 Apr 2025 00:00:00 +0000

基础爬虫项目模板

一个简单但完整的 Python 爬虫项目模板，适合单机数据采集。

Android 沙箱技术与实现指南

overkazaf@gmail.com (+5) — Sun, 27 Apr 2025 00:00:00 +0000

Android 沙箱技术与实现指南

Android 沙箱技术，通常也被称为"虚拟化引擎"或"App 多开框架"，是一种在单个 Android 设备上创建隔离环境以运行其他应用程序的技术。它允许一个"宿主"应用程序在自己的进程空间内加载并运行一个"插件"应用程序，同时对插件应用的所有系统交互进行拦截和管理。

分布式爬虫架构

overkazaf@gmail.com (+5) — Sat, 26 Apr 2025 00:00:00 +0000

分布式爬虫架构

概述

随着数据规模的不断扩大，单机爬虫在性能、稳定性和效率上遇到了瓶颈。分布式爬虫架构通过将爬取任务分散到多台机器上并行执行，可以大幅提升爬取效率，实现千万级甚至亿级的数据采集。

消息队列 (Message Queue)

overkazaf@gmail.com (+5) — Fri, 25 Apr 2025 00:00:00 +0000

消息队列 (Message Queue)

消息队列（MQ）是大型分布式系统中用于服务间异步通信的核心组件。在规模化的逆向分析和数据采集中，它扮演着"缓冲池"和"解耦器"的关键角色，确保数据流的稳定、高效和可靠。

1. 核心概念与作用

a) 为什么需要消息队列？

想象一个场景：你有 100 台爬虫节点（生产者）在高速抓取数据，同时有 10 个数据处理节点（消费者）负责清洗和入库。如果让生产者直接调用消费者的 API，会产生几个问题：

JavaScript Obfuscator (OB 混淆) 分析

overkazaf@gmail.com (+5) — Sun, 20 Apr 2025 00:00:00 +0000

JavaScript Obfuscator (OB 混淆) 分析

工具快捷键速查表

overkazaf@gmail.com (+5) — Wed, 16 Apr 2025 00:00:00 +0000

工具快捷键速查表

Chrome DevTools

打开/切换面板

快捷键	功能
`F12`	打开/关闭 DevTools
`Ctrl+Shift+I` (Win) / `Cmd+Option+I` (Mac)	打开/关闭 DevTools
`Ctrl+Shift+J` (Win) / `Cmd+Option+J` (Mac)	直接打开 Console
`Ctrl+Shift+C` (Win) / `Cmd+Option+C` (Mac)	元素检查模式
`Ctrl+Shift+M` (Win) / `Cmd+Shift+M` (Mac)	设备模拟模式
`Ctrl+Shift+P` (Win) / `Cmd+Shift+P` (Mac)	命令面板
`Ctrl+[` / `Ctrl+]`	切换面板
`Esc`	显示/隐藏抽屉 (Console)

Sources 面板

快捷键	功能
`F8`	暂停/继续
`F9`	设置/取消断点
`F10`	单步跳过
`F11`	单步进入
`Shift+F11`	单步跳出
`Ctrl+F`	搜索文件
`Ctrl+Shift+F`	全局搜索
`Ctrl+G`	跳转到行
`Ctrl+O` / `Ctrl+P`	打开文件
`Ctrl+Shift+O`	跳转到函数

Console 面板

快捷键	功能
`Ctrl+L`	清空 Console
`↑` / `↓`	历史命令导航
`Tab`	自动补全
`Ctrl+U`	清除当前输入

Elements 面板

快捷键	功能
`↑` / `↓`	导航 DOM 树
`→`	展开节点
`←`	收起节点
`F2`	编辑 HTML
`Delete`	删除节点
`Ctrl+Z`	撤销
`H`	隐藏/显示元素

Network 面板

快捷键	功能
`Ctrl+R`	重新加载
`Ctrl+Shift+R`	强制重新加载
`Ctrl+E`	开始/停止录制
`Ctrl+F`	搜索请求

VS Code

通用

快捷键	功能
`Ctrl+P`	快速打开文件
`Ctrl+Shift+P`	命令面板
`Ctrl+B`	切换侧边栏
`Ctrl+\`	拆分编辑器
`Ctrl+W`	关闭编辑器
`Ctrl+Tab`	切换编辑器
`Ctrl+Shift+N`	新窗口

编辑

快捷键	功能
`Ctrl+X`	剪切行
`Ctrl+C`	复制行
`Ctrl+Shift+K`	删除行
`Alt+↑/↓`	移动行
`Shift+Alt+↑/↓`	复制行
`Ctrl+/`	切换注释
`Ctrl+Shift+[` / `]`	折叠/展开代码块
`Ctrl+D`	选择下一个相同内容
`Ctrl+Shift+L`	选择所有相同内容
`Alt+Click`	多光标

搜索/替换

快捷键	功能
`Ctrl+F`	查找
`Ctrl+H`	替换
`Ctrl+Shift+F`	全局查找
`Ctrl+Shift+H`	全局替换
`F3` / `Shift+F3`	查找下一个/上一个

调试

快捷键	功能
`F5`	开始/继续调试
`F9`	切换断点
`F10`	单步跳过
`F11`	单步进入
`Shift+F11`	单步跳出
`Shift+F5`	停止调试

Burp Suite

通用

快捷键	功能
`Ctrl+Shift+P`	前进到下一个标签页
`Ctrl+Shift+N`	后退到上一个标签页
`Ctrl+T`	转发请求到其他工具

Proxy 拦截

快捷键	功能
`Ctrl+F`	转发请求
`Ctrl+D`	丢弃请求
`Ctrl+I`	切换拦截开/关
`Ctrl+R`	发送到 Repeater
`Ctrl+S`	发送到 Scanner

Repeater

快捷键	功能
`Ctrl+Space`	发送请求
`Ctrl+R`	切换原始/美化视图

Intruder

快捷键	功能
`Ctrl+I`	开始攻击

Fiddler

快捷键	功能
`F12`	开始/停止捕获
`F5`	刷新会话列表
`F2`	为会话添加注释
`Ctrl+X`	删除所有会话
`Ctrl+F`	查找会话
`Shift+Del`	删除选中会话
`U`	解压缩响应
`D`	解码选中的文本
`B`	在 Brea 前 kpoint

Charles

快捷键	功能
`Cmd+R` (Mac) / `Ctrl+R` (Win)	开始/停止录制
`Cmd+K`	清空会话
`Cmd+F`	查找
`Cmd+E`	启用/禁用断点

Python IDE (PyCharm)

快捷键	功能
`Ctrl+N`	查找类
`Ctrl+Shift+N`	查找文件
`Ctrl+B`	跳转到定义
`Ctrl+Alt+←`	后退
`Ctrl+Alt+→`	前进

编辑

快捷键	功能
`Ctrl+D`	复制行
`Ctrl+Y`	删除行
`Ctrl+/`	注释/取消注释
`Ctrl+Alt+L`	格式化代码
`Ctrl+Space`	代码补全

调试

快捷键	功能
`Shift+F9`	调试
`F8`	单步跳过
`F7`	单步进入
`Shift+F8`	单步跳出
`F9`	继续执行
`Ctrl+F8`	切换断点

浏览器通用

快捷键	功能
`Ctrl+T`	新标签页
`Ctrl+W`	关闭标签页
`Ctrl+Shift+T`	重新打开关闭的标签页
`Ctrl+Tab`	下一个标签页
`Ctrl+Shift+Tab`	上一个标签页
`Ctrl+L`	地址栏
`Ctrl+D`	添加书签
`Ctrl+H`	历史记录
`Ctrl+J`	下载记录
`F5`	刷新
`Ctrl+F5`	强制刷新（清除缓存）
`Ctrl+U`	查看源代码
`Ctrl+Shift+Delete`	清除浏览数据

Wireshark

快捷键	功能
`Ctrl+E`	开始/停止捕获
`Ctrl+W`	关闭捕获
`Ctrl+R`	重新加载
`Ctrl+F`	查找数据包
`Ctrl+G`	跳转到数据包
`Ctrl+M`	标记数据包
`Ctrl+B`	查找下一个标记

Git GUI (SourceTree)

快捷键	功能
`Ctrl+1`	File Status
`Ctrl+2`	History
`Ctrl+3`	Search
`Ctrl+R`	Refresh
`Ctrl+P`	Push
`Ctrl+Shift+P`	Pull

自定义快捷键建议

为常用操作设置快捷键可以大幅提高效率：

Docker 部署配置模板

overkazaf@gmail.com (+5) — Sat, 12 Apr 2025 00:00:00 +0000

Docker 部署配置模板

容器化部署爬虫项目的完整配置，支持单机和分布式部署。

PWA 与 Service Worker 逆向

overkazaf@gmail.com (+5) — Sat, 05 Apr 2025 00:00:00 +0000

PWA 与 Service Worker 逆向

概述

渐进式 Web 应用 (Progressive Web Apps, PWA) 和 Service Worker 技术使得 Web 应用能够离线工作、接收推送通知并提供类似原生应用的体验。在逆向工程中，理解 Service Worker 的工作原理对于分析现代 Web 应用、绕过缓存策略和理解请求拦截机制至关重要。

常用命令速查表

overkazaf@gmail.com (+5) — Sat, 05 Apr 2025 00:00:00 +0000

常用命令速查表

Chrome DevTools Console 命令

选择元素

命令	说明	示例
`$()`	等同于 `document.querySelector()`	`$('#username')`
`$$()`	等同于 `document.querySelectorAll()`	`$$('.item')`
`$x()`	XPath 选择器	`$x('//div[@class="container"]')`
`$0`	当前选中的元素	`$0.innerHTML`
`$1`	上一个选中的元素	`$1.classList`

实用函数

命令	说明	示例
`copy()`	复制到剪贴板	`copy($0)`
`clear()`	清空 Console	`clear()`
`keys()`	获取对象所有键	`keys(window)`
`values()`	获取对象所有值	`values(localStorage)`
`monitor()`	监控函数调用	`monitor(fetch)`
`unmonitor()`	取消监控	`unmonitor(fetch)`
`table()`	表格显示数据	`table([{name:'a',age:20}])`
`debug()`	在函数第一行设断点	`debug(myFunction)`
`undebug()`	移除断点	`undebug(myFunction)`

网络相关

// 查看所有 Cookie
document.cookie;

// 清空所有 Cookie
document.cookie.split(";").forEach((c) => {
document.cookie = c
.replace(/^ +/, "")
.replace(/=.*/, "=;expires=" + new Date().toUTCString() + ";path=/");
});

// 查看 LocalStorage
Object.keys(localStorage);

// 清空 LocalStorage
localStorage.clear();

// 发送 GET 请求
fetch("https://api.example.com/data")
.then((r) => r.json())
.then(console.log);

// 发送 POST 请求
fetch("https://api.example.com/login", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ username: "admin", password: "123456" }),
})
.then((r) => r.json())
.then(console.log);

Python 常用库

Requests

import requests

# GET 请求
response = requests.get('https://example.com')
print(response.text)

# POST 请求
response = requests.post('https://example.com/api', json={
'username': 'admin',
'password': '123456'
})
print(response.json())

# 设置 Headers
headers = {
'User-Agent': 'Mozilla/5.0 ...',
'Authorization': 'Bearer token123'
}
response = requests.get('https://example.com', headers=headers)

# 使用代理
proxies = {
'http': 'http://127.0.0.1:8080',
'https': 'http://127.0.0.1:8080'
}
response = requests.get('https://example.com', proxies=proxies)

# Session 保持
session = requests.Session()
session.get('https://example.com/login')
session.post('https://example.com/api', json={'key': 'value'})

BeautifulSoup

from bs4 import BeautifulSoup

# 解析 HTML
soup = BeautifulSoup(html, 'html.parser')

# 查找元素
soup.find('div', class_='content') # 查找第一个
soup.find_all('a') # 查找所有
soup.select('.class #id tag') # CSS 选择器

# 获取属性
element = soup.find('a')
element.get('href') # 获取 href
element.text # 获取文本
element.get_text(strip=True) # 获取文本（去空格）

Regex (re)

import re

# 查找
match = re.search(r'pattern', text)
matches = re.findall(r'pattern', text)

# 替换
result = re.sub(r'old', 'new', text)

# 编译（提高性能）
pattern = re.compile(r'pattern')
matches = pattern.findall(text)

cURL 命令

基本用法

# GET 请求
curl https://example.com

# POST 请求
curl -X POST https://example.com/api \
-H "Content-Type: application/json" \
-d '{"username":"admin","password":"123456"}'

# 设置 User-Agent
curl -A "Mozilla/5.0 ..." https://example.com

# 保存 Cookie
curl -c cookies.txt https://example.com

# 使用 Cookie
curl -b cookies.txt https://example.com

# 跟随重定向
curl -L https://example.com

# 显示响应头
curl -i https://example.com

# 只显示响应头
curl -I https://example.com

# 使用代理
curl -x http://127.0.0.1:8080 https://example.com

# 忽略 SSL 证书
curl -k https://example.com

# 上传文件
curl -F "file=@/path/to/file" https://example.com/upload

调试用法

# 显示详细信息
curl -v https://example.com

# 显示时间统计
curl -w "@curl-format.txt" -o /dev/null -s https://example.com

# curl-format.txt 内容:
# time_namelookup: %{time_namelookup}\n
# time_connect: %{time_connect}\n
# time_appconnect: %{time_appconnect}\n
# time_redirect: %{time_redirect}\n
# time_pretransfer: %{time_pretransfer}\n
# time_starttransfer: %{time_starttransfer}\n
# ----------\n
# time_total: %{time_total}\n

Git 常用命令

基础操作

# 查看状态
git status

# 添加文件
git add .
git add file.txt

# 提交
git commit -m "message"

# 推送
git push origin master

# 拉取
git pull origin master

# 查看历史
git log
git log --oneline --graph

# 回退
git reset --hard HEAD^ # 回退一个版本
git reset --hard commit_id # 回退到指定版本

分支操作

# 创建分支
git branch feature-name

# 切换分支
git checkout feature-name

# 创建并切换
git checkout -b feature-name

# 合并分支
git merge feature-name

# 删除分支
git branch -d feature-name

查看差异

# 查看修改
git diff

# 查看已暂存的修改
git diff --staged

# 查看两个提交的差异
git diff commit1 commit2

Node.js / npm

包管理

# 安装包
npm install package-name
npm install -g package-name # 全局安装
npm install --save-dev package # 开发依赖

# 卸载包
npm uninstall package-name

# 更新包
npm update package-name

# 查看已安装的包
npm list
npm list -g

# 查看包信息
npm info package-name

常用脚本

# 运行脚本
npm run script-name

# 常见的预定义脚本
npm start
npm test
npm run build

Bash 文本处理

grep

# 搜索文本
grep "pattern" file.txt

# 忽略大小写
grep -i "pattern" file.txt

# 递归搜索
grep -r "pattern" directory/

# 显示行号
grep -n "pattern" file.txt

# 反向匹配（不包含）
grep -v "pattern" file.txt

# 正则表达式
grep -E "regex pattern" file.txt

sed

# 替换文本
sed 's/old/new/' file.txt # 替换每行第一个
sed 's/old/new/g' file.txt # 替换所有
sed -i 's/old/new/g' file.txt # 直接修改文件

# 删除行
sed '/pattern/d' file.txt # 删除匹配的行
sed '1d' file.txt # 删除第一行
sed '1,10d' file.txt # 删除1-10行

awk

# 打印列
awk '{print $1}' file.txt # 打印第一列
awk '{print $1,$3}' file.txt # 打印第1和第3列

# 条件过滤
awk '$3 > 100' file.txt # 第3列大于100的行

# 求和
awk '{sum+=$1} END {print sum}' file.txt

Docker 常用命令

镜像操作

# 拉取镜像
docker pull image-name

# 查看镜像
docker images

# 删除镜像
docker rmi image-name

# 构建镜像
docker build -t image-name .

容器操作

# 运行容器
docker run -d --name container-name image-name
docker run -it image-name /bin/bash # 交互式

# 查看容器
docker ps # 运行中的
docker ps -a # 所有的

# 停止容器
docker stop container-name

# 启动容器
docker start container-name

# 删除容器
docker rm container-name

# 查看日志
docker logs container-name

# 进入容器
docker exec -it container-name /bin/bash

快速参考

编码/解码

# Base64
import base64
encoded = base64.b64encode(b'text')
decoded = base64.b64decode(encoded)

# URL编码
from urllib.parse import quote, unquote
encoded = quote('text with spaces')
decoded = unquote(encoded)

# JSON
import json
json_str = json.dumps({'key': 'value'})
obj = json.loads(json_str)

时间戳

import time
import datetime

# 当前时间戳（秒）
timestamp = int(time.time())

# 当前时间戳（毫秒）
timestamp_ms = int(time.time() * 1000)

# 时间戳转日期
dt = datetime.datetime.fromtimestamp(timestamp)
print(dt.strftime('%Y-%m-%d %H:%M:%S'))

# 日期转时间戳
dt = datetime.datetime(2024, 1, 1, 12, 0, 0)
timestamp = int(dt.timestamp())

// JavaScript
const timestamp = Date.now(); // 毫秒
const timestampSec = Math.floor(Date.now() / 1000); // 秒

// 时间戳转日期
const date = new Date(timestamp);
console.log(date.toLocaleString());

JavaScript Hook 脚本

overkazaf@gmail.com (+5) — Mon, 31 Mar 2025 00:00:00 +0000

JavaScript Hook 脚本

概述

Hook（钩子）是逆向工程中最核心的动态分析技术之一。通过运行时劫持(Runtime Interception)原生 API 或自定义函数，可以实现对目标代码的无侵入式监控、参数篡改和行为修改。Hook 技术基于 JavaScript 的动态特性和原型链机制，能够在不修改源代码的情况下改变程序执行流程。

社交媒体逆向案例

overkazaf@gmail.com (+5) — Sun, 23 Mar 2025 00:00:00 +0000

社交媒体逆向案例

概述

社交媒体平台通常包含复杂的 API 调用、无限滚动加载、实时通信、内容推荐算法等。本文通过真实案例介绍社交媒体平台的逆向分析技巧。

脱壳分析加固的 Android 应用

overkazaf@gmail.com (+5) — Sat, 22 Mar 2025 00:00:00 +0000

脱壳分析加固的 Android 应用

浏览器指纹识别

overkazaf@gmail.com (+5) — Sat, 15 Mar 2025 00:00:00 +0000

浏览器指纹识别

概述

浏览器指纹（Browser Fingerprinting）是一种通过收集浏览器和设备的各种特征来唯一标识用户的技术。即使用户清除 Cookie 或使用隐身模式，仍然可以通过指纹追踪。

验证码 (CAPTCHA) 绕过

overkazaf@gmail.com (+5) — Wed, 12 Mar 2025 00:00:00 +0000

验证码 (CAPTCHA) 绕过

概述

CAPTCHA (Completely Automated Public Turing test to tell Computers and Humans Apart) 是区分人类和机器人的图灵测试。从最早的文字输入，到后来的滑块拼图，再到现在的点选、行为分析和无感验证，验证码技术在不断演进。

自动化脚本 (Automation Scripts)

overkazaf@gmail.com (+5) — Fri, 07 Mar 2025 00:00:00 +0000

自动化脚本 (Automation Scripts)

群控技术 vs API 逆向：技术路线选择指南

overkazaf@gmail.com (+5) — Sat, 01 Mar 2025 00:00:00 +0000

群控技术 vs API 逆向：技术路线选择指南

在移动端数据采集和自动化领域，群控技术和 API 逆向是两条主流的技术路线。本文将从多个维度对比分析两者的优劣，帮助你根据实际场景选择合适的方案。

Flutter 应用逆向案例

overkazaf@gmail.com (+5) — Thu, 27 Feb 2025 00:00:00 +0000

Flutter 应用逆向案例

逆向技术：动态住宅 IP 代理池

overkazaf@gmail.com (+5) — Thu, 27 Feb 2025 00:00:00 +0000

逆向技术：动态住宅 IP 代理池

浏览器自动化脚本

overkazaf@gmail.com (+5) — Wed, 26 Feb 2025 00:00:00 +0000

浏览器自动化脚本

概述

浏览器自动化是 Web 逆向的重要手段。通过模拟真实用户操作，可以绕过许多反爬虫检测。本章介绍 Puppeteer 和 Playwright 的实战脚本。

JA4+ TLS/QUIC 指纹识别技术详解

overkazaf@gmail.com (+5) — Tue, 18 Feb 2025 00:00:00 +0000

JA4+ TLS/QUIC 指纹识别技术详解

社交媒体 App 与风控案例

overkazaf@gmail.com (+5) — Thu, 13 Feb 2025 00:00:00 +0000

社交媒体 App 与风控案例

工程化：自动化与群控系统

overkazaf@gmail.com (+5) — Mon, 03 Feb 2025 00:00:00 +0000

工程化：自动化与群控系统

逆向分析项目模板

overkazaf@gmail.com (+5) — Fri, 31 Jan 2025 00:00:00 +0000

逆向分析项目模板

Web 逆向分析的标准项目模板，帮助你系统化地进行网站分析和文档记录。

主流应用加固厂商及其特征识别

overkazaf@gmail.com (+5) — Wed, 22 Jan 2025 00:00:00 +0000

主流应用加固厂商及其特征识别

Web 反爬虫技术

overkazaf@gmail.com (+5) — Fri, 03 Jan 2025 00:00:00 +0000

Web 反爬虫技术

逆向工程 GitHub 开源项目

overkazaf@gmail.com (+5) — Tue, 31 Dec 2024 00:00:00 +0000

逆向工程 GitHub 开源项目

本列表旨在收集和分类逆向工程领域的优秀开源项目，方便查阅和学习。

工程化：虚拟化与容器技术

overkazaf@gmail.com (+5) — Sat, 28 Dec 2024 00:00:00 +0000

工程化：虚拟化与容器技术

Hook (挂钩/劫持) 技术

overkazaf@gmail.com (+5) — Sat, 07 Dec 2024 00:00:00 +0000

Hook (挂钩/劫持) 技术

掌握 JavaScript Hook 技术，拦截和修改函数调用，无需破解即可获取关键数据。

抓包分析 Android 应用的网络流量

overkazaf@gmail.com (+5) — Sat, 07 Dec 2024 00:00:00 +0000

抓包分析 Android 应用的网络流量

反爬虫问题

overkazaf@gmail.com (+5) — Tue, 26 Nov 2024 00:00:00 +0000

反爬虫问题

应对各种反爬虫机制的常见问题和解决方案。

工具使用问题

overkazaf@gmail.com (+5) — Mon, 25 Nov 2024 00:00:00 +0000

工具使用问题

常见开发和逆向工具的问题及解决方案。

使用 Frida 脱壳加固 App 并修复 SO 文件

overkazaf@gmail.com (+5) — Sat, 09 Nov 2024 00:00:00 +0000

使用 Frida 脱壳加固 App 并修复 SO 文件

动态参数分析

overkazaf@gmail.com (+5) — Fri, 01 Nov 2024 00:00:00 +0000

动态参数分析

概述

当静态代码混淆得像一团乱麻时，动态分析是我们唯一的出路。通过观察参数在运行时的变化，我们可以推导出生成逻辑。

Native 层 Hook 技巧 (Native Hooking Patterns)

overkazaf@gmail.com (+5) — Thu, 03 Oct 2024 00:00:00 +0000

Native 层 Hook 技巧 (Native Hooking Patterns)

Wireshark 指南

overkazaf@gmail.com (+5) — Tue, 24 Sep 2024 00:00:00 +0000

Wireshark 指南

概述

Wireshark 是网络协议分析的“显微镜”。与 Burp/Charles 这种 HTTP 代理不同，Wireshark 捕获的是网卡层的原始数据包（TCP/IP）。

Scrapy 快速入门备忘录

overkazaf@gmail.com (+5) — Fri, 20 Sep 2024 00:00:00 +0000

Scrapy 快速入门备忘录

Charles Proxy 指南

overkazaf@gmail.com (+5) — Mon, 02 Sep 2024 00:00:00 +0000

Charles Proxy 指南

概述

Charles 是 Mac/Windows 上最流行的抓包工具之一，以其界面简洁、功能实用著称。在移动端（Android/iOS）逆向中，Charles 往往是首选的抓包工具。

API 逆向与重放攻击

overkazaf@gmail.com (+5) — Sun, 25 Aug 2024 00:00:00 +0000

API 逆向与重放攻击

掌握 API 签名逆向，实现脱离浏览器的自动化请求。

代理池设计与 Scrapy 集成

overkazaf@gmail.com (+5) — Sat, 17 Aug 2024 00:00:00 +0000

代理池设计与 Scrapy 集成

CORS 与同源策略

overkazaf@gmail.com (+5) — Mon, 29 Jul 2024 00:00:00 +0000

CORS 与同源策略

概述

同源策略 (Same-Origin Policy, SOP) 是浏览器最核心的安全机制，而 CORS (Cross-Origin Resource Sharing) 是 SOP 的各种 “例外” 之一。理解它们对于调试 API 请求失败、跨域注入攻击以及本地搭建测试环境至关重要。

WebSocket 逆向分析

overkazaf@gmail.com (+5) — Fri, 12 Jul 2024 00:00:00 +0000

WebSocket 逆向分析

概述

WebSocket (WS) 是一种全双工协议，常用于即时通讯、股票行情、在线游戏、实时推送等场景。与 HTTP 不同，WS 是一次握手后建立长连接，后续数据都是帧 (Frame) 的形式双向传输。

Android Binder 跨进程通信机制

overkazaf@gmail.com (+5) — Mon, 08 Jul 2024 00:00:00 +0000

Android Binder 跨进程通信机制

Binder 是 Android 系统中最核心、最独特的 IPC（Inter-Process Communication，跨进程通信）机制。可以说：无 Binder，不 Android。

Selenium 指南

overkazaf@gmail.com (+5) — Sun, 07 Jul 2024 00:00:00 +0000

Selenium 指南

概述

Selenium 是 Web 自动化领域的元老。虽然在轻量级和抗检测性上不如 Puppeteer/Playwright，但由于其生态成熟、多语言支持好（Python/Java），依然在一些大型爬虫项目中有应用。

DOM 与 BOM

overkazaf@gmail.com (+5) — Mon, 24 Jun 2024 00:00:00 +0000

DOM 与 BOM

概述

DOM (文档对象模型) 和 BOM (浏览器对象模型) 是 JavaScript 与网页内容及浏览器窗口交互的接口。在 Web 逆向中，理解它们对于定位页面元素、分析事件触发逻辑以及应对反调试至关重要。

Fiddler Classic 指南

overkazaf@gmail.com (+5) — Tue, 18 Jun 2024 00:00:00 +0000

Fiddler Classic 指南

概述

Fiddler (Classic) 是一款历史悠久、功能强大的抓包工具。虽然界面稍显复古，但其核心优势在于FiddlerScript——允许你用 C# 代码极其灵活地控制 HTTP 请求的每一个细节。

Unidbg 模拟执行框架指南

overkazaf@gmail.com (+5) — Sun, 09 Jun 2024 00:00:00 +0000

Unidbg 模拟执行框架指南

Unidbg 是一个基于 Java 开发的 Android/iOS 原生库 (.so/.dylib) 模拟执行框架。它能够在 PC 上模拟完整的 ARM 执行环境，使你可以像调用本地 Java 方法一样直接调用和调试原生库中的函数。

Burp Suite 指南

overkazaf@gmail.com (+5) — Tue, 14 May 2024 00:00:00 +0000

Burp Suite 指南

概述

Burp Suite 不仅仅是渗透测试神器，也是 Web 逆向中最強大的中间人攻击（MITM）工具。它不仅能抓包，还能修改重发、暴力破解签名、自动化解码等。本指南仅关注逆向工程中常用的功能。

代理池 - 标签 - 逆向工程 Cookbook

故障排除 - Troubleshooting

故障排除 - Troubleshooting

Magisk 与 LSPosed 技术原理

Magisk 与 LSPosed 技术原理

视频 App 与 DRM 案例

视频 App 与 DRM 案例

电商网站逆向案例

电商网站逆向案例

概述

代理池管理

代理池管理

概述

监控与告警系统

监控与告警系统

概述

Docker 容器化部署

Docker 容器化部署

概述

搜索引擎对抗

搜索引擎对抗

概述

HTTP/2 与 HTTP/3

HTTP/2 与 HTTP/3

概述

TLS 指纹识别 (JA3/JA4)

TLS 指纹识别 (JA3/JA4)

思考时刻

Canvas 指纹技术

Canvas 指纹技术

思考时刻

WebAssembly 逆向

WebAssembly 逆向

思考时刻

新闻聚合网站

新闻聚合网站

概述

分布式爬虫架构模板

分布式爬虫架构模板

反爬虫技术深度分析

反爬虫技术深度分析

概述

WebRTC 指纹与隐私

WebRTC 指纹与隐私

概述

常见问题 (FAQ)

常见问题 (FAQ)

概述

网络和请求问题

网络和请求问题

HTTP 头速查表

HTTP 头速查表

常见请求头 (Request Headers)

常见响应头 (Response Headers)

安全相关头

请求安全头

响应安全头

Content-Type 常见值

请求/响应通用

自定义头示例

常见的自定义业务头

User-Agent 示例

桌面浏览器

移动浏览器

爬虫/工具

Authorization 方式

Bearer Token

Basic Auth

Digest Auth

API Key

Cookie 属性

反爬虫对抗框架

反爬虫对抗框架

概述

基础爬虫项目模板

基础爬虫项目模板

Android 沙箱技术与实现指南

Android 沙箱技术与实现指南

分布式爬虫架构

分布式爬虫架构