CSDN

一款分布式爬虫管理平台，支持多种语言和框架

2024-06-27 10:25 由 Java陈序员 发表于 #后端开发

大家好，我是 Java陈序员。

今天，给大家介绍一个分布式的爬虫平台，支持多种编程语言、框架！

关注微信公众号：【Java陈序员】，获取开源项目分享、AI副业分享、超200本经典计算机电子书籍等。

项目介绍

Crawlab —— 一个基于 Golang 的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP 等多种编程语言以及多种爬虫框架。

主要功能：

项目截图

登录页

主页

节点

项目

爬虫

任务

插件

快速上手

最快安装 Crawlab 的方式是 Docker.推荐使用 Docker Compose.

1、创建配置文件并命名为 docker-compose.yml

version: '3.3'
services:
  master:
    image: crawlabteam/crawlab
    container_name: crawlab_master
    environment:
      CRAWLAB_NODE_MASTER: "Y"
      CRAWLAB_MONGO_HOST: "mongo"
    ports:
      - "8080:8080"
    depends_on:
      - mongo
  mongo:
    image: mongo:4.2

2、一键启动 Crawlab

docker-compose up -d

3、浏览器访问

http://IP:8080

这是最小化配置的 Crawlab,支持体验大多数功能，但是不建议在生产环境中配置，生产环境部署 Crawlab 可参考官方文档。

Crawlab 适用于网路爬虫工程师、运维工程师、数据分析师等，是一款功能强大的爬虫平台！更多的使用功能，可自行部署体验~

项目地址：https://github.com/crawlab-team/crawlab
在线体验：https://demo.crawlab.cn/#/home
在线文档：https://docs.crawlab.cn/zh/guide/

最后

推荐的开源项目已经收录到 GitHub 项目，欢迎 Star：

https://github.com/chenyl8848/great-open-source-project

或者访问网站，进行在线浏览：

https://chencoding.top:8090/#/

大家的点赞、收藏和评论都是对作者的支持，如文章对你有帮助还请点赞转发支持下，谢谢！

热门相关：小姐   神话版三国   婚婚欲醉：腹黑老公萌宠妻   原来你喜欢我呀   以权谋妻