可扩展的Cookies池,用无头浏览器登录并生成cookie供给爬虫使用
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

135 lines
3.1 KiB

7 years ago
# CookiesPool
8 years ago
7 years ago
可扩展的Cookies池,目前对接了新浪微博,[m.weibo.cn](https://m.weibo.cn),可自行扩展其他站点
8 years ago
8 years ago
## 安装
```
pip3 install -r requirements.txt
```
## 基础配置
7 years ago
### 接口基本配置
8 years ago
7 years ago
```python
7 years ago
# Redis数据库地址
REDIS_HOST = 'localhost'
# Redis端口
REDIS_PORT = 6379
8 years ago
7 years ago
# Redis密码,如无填None
REDIS_PASSWORD = 'foobared'
8 years ago
7 years ago
# 产生器使用的浏览器
BROWSER_TYPE = 'Chrome'
8 years ago
7 years ago
# 产生器类,如扩展其他站点,请在此配置
GENERATOR_MAP = {
'weibo': 'WeiboCookiesGenerator'
}
8 years ago
7 years ago
# 测试类,如扩展其他站点,请在此配置
TESTER_MAP = {
'weibo': 'WeiboValidTester'
}
8 years ago
7 years ago
# 检测器检测接口
7 years ago
TEST_URL_MAP = {
'weibo': 'https://m.weibo.cn/api/container/getIndex?uid=1804544030&type=uid&page=1&containerid=1076031804544030'
}
8 years ago
7 years ago
# 产生器和验证器循环周期
CYCLE = 120
8 years ago
7 years ago
# API地址和端口
API_HOST = '0.0.0.0'
API_PORT = 5000
8 years ago
7 years ago
```
8 years ago
### 进程开关
7 years ago
在config.py修改
8 years ago
7 years ago
```python
7 years ago
# 产生器开关,模拟登录添加Cookies
GENERATOR_PROCESS = True
# 验证器开关,循环检测数据库中Cookies是否可用,不可用删除
VALID_PROCESS = True
# API接口服务
API_PROCESS = True
8 years ago
```
7 years ago
## 账号购买
账号可在淘宝购买
7 years ago
8 years ago
## 批量导入
```
python3 importer.py
```
8 years ago
```
请输入账号密码组, 输入exit退出读入
18459748505----astvar3647
14760253606----gmidy8470
14760253607----uoyuic8427
18459749258----rktfye8937
账号 18459748505 密码 astvar3647
录入成功
账号 14760253606 密码 gmidy8470
录入成功
账号 14760253607 密码 uoyuic8427
录入成功
账号 18459749258 密码 rktfye8937
录入成功
exit
```
## 运行效果
7 years ago
三个进程全部开启:
```
API接口开始运行
* Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)
Cookies生成进程开始运行
Cookies检测进程开始运行
正在生成Cookies 账号 14747223314 密码 asdf1129
正在测试Cookies 用户名 14747219309
Cookies有效 14747219309
部分测试结果 {"cardlistInfo":{"containerid":"1076031804544030",
正在测试Cookies 用户名 14740626332
Cookies有效 14740626332
部分测试结果 {"cardlistInfo":{"containerid":"1076031804544030",
正在测试Cookies 用户名 14740691419
Cookies有效 14740691419
部分测试结果 {"cardlistInfo":{"containerid":"1076031804544030",
正在测试Cookies 用户名 14740618009
Cookies有效 14740618009
部分测试结果 {"cardlistInfo":{"containerid":"1076031804544030",
Cookies有效 14740636046
部分测试结果 {"cardlistInfo":{"containerid":"1076031804544030",
正在测试Cookies 用户名 14747222472
Cookies有效 14747222472
部分测试结果 {"cardlistInfo":{"containerid":"1076031804544030",
Cookies检测完成
验证码位置 420 580 384 544
成功匹配
拖动顺序 [1, 4, 2, 3]
成功获取到Cookies {'SUHB': '08J77UIj4w5n_T', 'SCF': 'AimcUCUVvHjswSBmTswKh0g4kNj4K7_U9k57YzxbqFt4SFBhXq3Lx4YSNO9VuBV841BMHFIaH4ipnfqZnK7W6Qs.', 'SSOLoginState': '1501439488', '_T_WM': '99b7d656220aeb9207b5db97743adc02', 'M_WEIBOCN_PARAMS': 'uicode%3D20000174', 'SUB': '_2A250elZQDeRhGeBM6VAR8ifEzTuIHXVXhXoYrDV6PUJbkdBeLXTxkW17ZoYhhJ92N_RGCjmHpfv9TB8OJQ..'}
成功保存Cookies
```
## 运行
8 years ago
```
7 years ago
python3 run.py
8 years ago
```