Merge branch 'master' into develop

Author: Boris-code

.github/workflows/workflow.yml

@@ -107,6 +107,15 @@ FirstSpider|2021-02-09 14:55:14,620|air_spider.py|run|line:80|INFO| 无任务，
 1. start_requests： 生产任务
 2. parse： 解析数据
 
+
+## 感谢Rapidproxy代理赞助
+
+<a href="https://www.rapidproxy.io/?ref=boris " target="_blank">
+
+<img src="https://markdown-media.oss-cn-beijing.aliyuncs.com/2026/04/03/github-2.png">
+
+</a>
+
 ## 参与贡献
 
 贡献之前请先阅读 [贡献指南](./CONTRIBUTING.md)
@@ -138,13 +147,13 @@ FirstSpider|2021-02-09 14:55:14,620|air_spider.py|run|line:80|INFO| 无任务，
     <tr> 
      <td> 知识星球：17321694 </td> 
      <td> 作者微信： boris_tm </td> 
-     <td> QQ群号：485067374 </td> 
+     <td> QQ群号：521494615</td>
     </tr> 
     <tr> 
     <td> <img src="http://markdown-media.oss-cn-beijing.aliyuncs.com/2020/02/16/zhi-shi-xing-qiu.jpeg" width=250px>
  </td> 
      <td> <img src="http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/07/12/er-wei-ma.jpeg?x-oss-process=style/markdown-media" width="250px" /> </td> 
-     <td> <img src="https://tva1.sinaimg.cn/large/008vxvgGly1h8byl060lnj30ku11c76h.jpg" width="250px" /> </td> 
+     <td> <img src="http://markdown-media.oss-cn-beijing.aliyuncs.com/2024/04/28/17142933285892.jpg" width="250px" /> </td> 
     </tr> 
   </table> 
 

README.md

@@ -86,7 +86,7 @@ class FirstSpider(feapder.AirSpider):
 
 if __name__ == "__main__":
     FirstSpider().start()
-        
+
 ```
 
 直接运行，打印如下：
@@ -115,30 +115,30 @@ FirstSpider|2021-02-09 14:55:14,620|air_spider.py|run|line:80|INFO| 无任务，
 3. 验证码识别库：https://github.com/sml2h3/ddddocr
 
 
-## 微信赞赏
+<!-- ## 微信赞赏
 
 如果您觉得这个项目帮助到了您，您可以帮作者买一杯咖啡表示鼓励 🍹
 
 也可和作者交个朋友，解决您在使用过程中遇到的问题
 
 
-![赞赏码](http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/03/16/zan-shang-ma.png)
+![赞赏码](http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/03/16/zan-shang-ma.png) -->
 
 ## 学习交流
 
-<table border="0"> 
-    <tr> 
-     <td> 知识星球：17321694 </td> 
-     <td> 作者微信： boris_tm </td> 
-     <td> QQ群号：485067374 </td> 
-    </tr> 
-    <tr> 
+<table border="0">
+    <tr>
+     <td> 知识星球：17321694 </td>
+     <td> 作者微信： boris_tm </td>
+     <td> QQ群号：521494615</td>
+    </tr>
+    <tr>
     <td> <img src="http://markdown-media.oss-cn-beijing.aliyuncs.com/2020/02/16/zhi-shi-xing-qiu.jpeg" width=250px>
- </td> 
-     <td> <img src="http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/07/12/er-wei-ma.jpeg?x-oss-process=style/markdown-media" width="250px" /> </td> 
-     <td> <img src="https://tva1.sinaimg.cn/large/008vxvgGly1h8byl060lnj30ku11c76h.jpg" width="250px" /> </td> 
-    </tr> 
-  </table> 
+ </td>
+     <td> <img src="http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/07/12/er-wei-ma.jpeg?x-oss-process=style/markdown-media" width="250px" /> </td>
+     <td> <img src="http://markdown-media.oss-cn-beijing.aliyuncs.com/2024/04/28/17142933285892.jpg" width="250px" /> </td>
+    </tr>
+  </table>
 
 
   加好友备注：feapder

docs/README.md

@@ -38,6 +38,7 @@
   * [海量数据去重-dedup](source_code/dedup.md)
   * [报警及监控](source_code/报警及监控.md)
   * [监控打点](source_code/监控打点.md)
+  * [自定义下载器](source_code/custom_downloader.md)
 
 * 爬虫管理系统
   * [简介及部署](feapder_platform/feaplat.md)

docs/_sidebar.md

@@ -26,6 +26,8 @@
 
 ## 功能概览
 
+暂时不支持 苹果电脑的Apple芯片
+
 ### 1. 项目管理
 
 添加/编辑项目
@@ -95,10 +97,12 @@ worker节点根据任务动态生成，一个worker只运行一个任务实例
 
 ## 部署
 
-> 下面部署以centos为例， 其他平台docker安装方式可参考docker官方文档：https://docs.docker.com/compose/install/
+> 安装方式参考docker官方文档：https://docs.docker.com/compose/install/
 
 ### 1. 安装docker
 
+#### 1.1 centos系统
+
 > docker --version
 > 作者的docker版本为 20.10.12，低于此版本的可能会存在问题
 
@@ -121,22 +125,82 @@ yum install -y yum-utils device-mapper-persistent-data lvm2 && python2 /usr/bin/
 curl -sSL https://get.daocloud.io/docker | sh
 ```
 
+启动docker服务
 
-
-启动
 ```shell
 systemctl enable docker
 systemctl start docker
 ```
 
+验证: 打开终端，输入
+
+```shell
+docker ps
+```
+
+#### 1.2 ubuntu系统
+
+```
+sudo apt update
+sudo apt install docker.io docker-compose
+```
+
+启动docker服务
+
+```shell
+sudo systemctl enable docker
+sudo systemctl start docker
+```
+
+验证: 打开终端，输入
+
+```shell
+sudo docker ps
+```
+
+#### 1.3 window系统
+
+访问下面的链接，下载Docker Desktop, 然后安装即可
+
+<a href="https://docs.docker.com/desktop/setup/install/windows-install/" target="_blank">https://docs.docker.com/desktop/setup/install/windows-install/ </a>
+
+
+运行安装好的Docker Desktop
+
+验证: 打开cmd终端，输入
+
+```shell
+docker ps
+```
+
+#### 1.4 mac系统
+
+访问下面的链接，下载Docker Desktop, 然后安装即可
+
+<a href="https://docs.docker.com/desktop/setup/install/mac-install/" target="_blank">https://docs.docker.com/desktop/setup/install/mac-install/</a>
+
+
+运行安装好的Docker Desktop
+
+验证: 打开终端，输入
+```shell
+docker ps
+```
+
+
 ### 2. 安装 docker swarm
 
     docker swarm init
 
     # 如果你的 Docker 主机有多个网卡，拥有多个 IP，必须使用 --advertise-addr 指定 IP
     docker swarm init --advertise-addr 192.168.99.100
 
-### 3. 安装docker-compose
+### 3. 安装docker-compose(非必须)
+一般安装完docker后，会自带 docker compose。可先输入下面的命令验证是否有改环境，若有则不需要安装
+``` shell
+docker compose
+```
+若无`docker compose`命令，则按照下面的安装
 
 ```shell
 sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
@@ -147,6 +211,9 @@ sudo chmod +x /usr/local/bin/docker-compose
 sudo curl -L "https://get.daocloud.io/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
 sudo chmod +x /usr/local/bin/docker-compose
 ```
+安装后输入`docker-compose`验证是否成功
+
+注：`docker-compose` 与 `docker compose` 两种命令用法一样，是一个东西，只不过不同版本的docker可能叫法不一
 
 ### 4. 部署feaplat爬虫管理系统
 #### 预备项
@@ -174,6 +241,8 @@ git clone -b develop https://gitee.com/Boris-code/feaplat.git
 
 ```shell
 cd feaplat
+docker compose up -d
+或者
 docker-compose up -d
 ```
 
@@ -248,28 +317,9 @@ docker node ls
 docker swarm leave
 ```
 
-## 拉取私有项目
-
-拉取私有项目需在git仓库里添加如下公钥
-
-```
-ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCd/k/tjbcMislEunjtYQNXxz5tgEDc/fSvuLHBNUX4PtfmMQ07TuUX2XJIIzLRPaqv3nsMn3+QZrV0xQd545FG1Cq83JJB98ATTW7k5Q0eaWXkvThdFeG5+n85KeVV2W4BpdHHNZ5h9RxBUmVZPpAZacdC6OUSBYTyCblPfX9DvjOk+KfwAZVwpJSkv4YduwoR3DNfXrmK5P+wrYW9z/VHUf0hcfWEnsrrHktCKgohZn9Fe8uS3B5wTNd9GgVrLGRk85ag+CChoqg80DjgFt/IhzMCArqwLyMn7rGG4Iu2Ie0TcdMc0TlRxoBhqrfKkN83cfQ3gDf41tZwp67uM9ZN feapder@qq.com
-```
-
-或在系统设置页面配置您的SSH私钥，然后在git仓库里添加您的公钥，例如：
-![](http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/10/19/16346353514967.jpg)
-
-注意，公私钥加密方式为RSA，其他的可能会有问题
+## 使用
 
-生成RSA公私钥方式如下：
-```shell
-ssh-keygen -t rsa -C "备注" -f 生成路径/文件名
-```
-如：
-`ssh-keygen -t rsa -C "feaplat" -f id_rsa`
-然后一路回车，不要输密码
-![](http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/11/17/16371210640228.jpg)
-最终生成 `id_rsa`、`id_rsa.pub` 文件，复制`id_rsa.pub`文件内容到git仓库，复制`id_rsa`文件内容到feaplat爬虫管理系统
+见 [FEAPLAT使用说明](feapder_platform/usage)
 
 ## 自定义爬虫镜像
 
@@ -361,18 +411,18 @@ SPIDER_IMAGE=my_feapder:1.0
 
 ## 学习交流
 
-<table border="0"> 
-    <tr> 
-     <td> 知识星球：17321694 </td> 
-     <td> 作者微信： boris_tm </td> 
-     <td> QQ群号：750614606 </td> 
-    </tr> 
-    <tr> 
+<table border="0">
+    <tr>
+     <td> 知识星球：17321694 </td>
+     <td> 作者微信： boris_tm </td>
+     <td> QQ群号：521494615</td>
+    </tr>
+    <tr>
     <td> <img src="http://markdown-media.oss-cn-beijing.aliyuncs.com/2020/02/16/zhi-shi-xing-qiu.jpeg" width=250px>
- </td> 
-     <td> <img src="http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/07/12/er-wei-ma.jpeg" width="250px" /> </td> 
-     <td> <img src="http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/07/12/16260897330897.jpg" width="250px" /> </td> 
-    </tr> 
-  </table> 
-  
-  加好友备注：feaplat
+ </td>
+     <td> <img src="http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/07/12/er-wei-ma.jpeg?x-oss-process=style/markdown-media" width="250px" /> </td>
+     <td> <img src="http://markdown-media.oss-cn-beijing.aliyuncs.com/2024/04/28/17142933285892.jpg" width="250px" /> </td>
+    </tr>
+  </table>
+
+  加好友备注：feapder

docs/feapder_platform/feaplat.md

@@ -94,8 +94,10 @@ INFLUXDB_PORT_UDP=8089
 rm -f /etc/localtime
 ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
 
-# 校对时间
+# 校对时间 方式1
 clock --hctosys
+# 校对时间 方式2
+ntpdate 0.asia.pool.ntp.org
 ```
 
 ## 我搭建了个集群，如何让主节点不跑任务
@@ -123,3 +125,31 @@ attaching to network failed, make sure your network options are correct and chec
     ```    
     
 原因是Drain节点，不能为其分配网络资源，需要先改成active，然后启动，之后在改回drain
+
+**若不是以上情况，可能是network内的可分配的ip满了（老版本feaplat会有这个问题），那么可继续往下看**
+
+1. 先检查feaplat目录下的docker-compost.yaml，翻到最后，看network相关配置是否为如下。若不是，则改成下面这样的。若下面指定的11 ip段和主机有冲突，可以写12、13等
+
+    ```
+    networks:
+      default:
+        name: feaplat
+        driver: overlay
+        attachable: true
+        ipam:
+          config:
+            - subnet: 11.0.0.0/8
+              gateway: 11.0.0.1
+    ```
+    
+    完整配置见：https://github.com/Boris-code/feaplat/blob/develop/docker-compose.yaml
+
+
+2. 改完后，需要删除之前的network，使其重新创建，命令如下：
+
+    ```
+    docker service ls -q | xargs docker service rm # 注意 这个会停止掉所有任务。
+    docker network rm feaplat # 删除网络
+    docker compose rm # 删除之前feaplat运行环境
+    docker compose up -d # 启动
+    ```

docs/feapder_platform/question.md

@@ -31,7 +31,7 @@
 
 1. 准备项目，项目结构如下：
     ![](http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/10/16/16343707944750.jpg)
-2. 压缩后上传：
+2. 压缩后上传：（推荐使用 `feapder zip` 命令压缩）
     ![](http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/10/16/16343709590040.jpg)
    - 工作路径：上传的项目会被放到docker里的根目录下（跟你本机项目路径没关系），然后解压运行。因`feapder_demo.zip`解压后为`feapder_demo`，所以工作路径配置`/feapder_demo`
    - 本项目没依赖，可以不配置`requirements.txt`
@@ -44,6 +44,30 @@
     ![](http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/10/16/16343720862217.jpg)
 
    可以看到已经运行完毕 
+   
+## git方式拉取私有项目
+
+拉取私有项目需在git仓库里添加如下公钥
+
+```
+ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCd/k/tjbcMislEunjtYQNXxz5tgEDc/fSvuLHBNUX4PtfmMQ07TuUX2XJIIzLRPaqv3nsMn3+QZrV0xQd545FG1Cq83JJB98ATTW7k5Q0eaWXkvThdFeG5+n85KeVV2W4BpdHHNZ5h9RxBUmVZPpAZacdC6OUSBYTyCblPfX9DvjOk+KfwAZVwpJSkv4YduwoR3DNfXrmK5P+wrYW9z/VHUf0hcfWEnsrrHktCKgohZn9Fe8uS3B5wTNd9GgVrLGRk85ag+CChoqg80DjgFt/IhzMCArqwLyMn7rGG4Iu2Ie0TcdMc0TlRxoBhqrfKkN83cfQ3gDf41tZwp67uM9ZN feapder@qq.com
+```
+
+或在系统设置页面配置您的SSH私钥，然后在git仓库里添加您的公钥，例如：
+![](http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/10/19/16346353514967.jpg)
+
+注意，公私钥加密方式为RSA，其他的可能会有问题
+
+生成RSA公私钥方式如下：
+```shell
+ssh-keygen -t rsa -C "备注" -f 生成路径/文件名
+```
+如：
+`ssh-keygen -t rsa -C "feaplat" -f id_rsa`
+然后一路回车，不要输密码
+![](http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/11/17/16371210640228.jpg)
+最终生成 `id_rsa`、`id_rsa.pub` 文件，复制`id_rsa.pub`文件内容到git仓库，复制`id_rsa`文件内容到feaplat爬虫管理系统
+
 
 
 ## 爬虫监控