最新公告
  • 欢迎您光临极客文库,登录获取更多编程学习资源及文章!立即加入我们
  • 分布式爬虫管理平台Crawlab开发搭建

     

    分布式爬虫管理平台Crawlab发现挺不错,但是官方文档中涉及二次开发的环境启动章节比较模糊。

    最先需要的是克隆代码 

    https://github.com/nickliqian/crawlab

    前端部署

    1、安装node(网上node下载即可)

    2、安装基本依赖

    cmd窗口使用administrator用户运行执行:

    npm install --global --production windows-build-tools

    npm install -g node-gyp

    npm install -g yarn  

    npm install node-sass

    3、编译代码

           这里的构建是指前端构建。在构建之前,我们需要配置一下前端的部署环境变量。

    打开 ./frontend/.env.production,内容如下。

    NODE_ENV='production'

        VUE_APP_BASE_URL=/api

        VUE_APP_CRAWLAB_BASE_URL=https://api.crawlab.cn

        VUE_APP_DOC_URL=http://docs.crawlab.cn

    cd C:\Users\2230\Desktop\crawlab-master\frontend

    yarn install

    启动:

    npm run serve #启动

    npm run build:dev #开发环境构建

    npm run build:prod #生产环境构建

    4、验证结果

    访问页面:http://localhost:8080/#/login

    附:编译遇到的一些问题

    • gyp verb `which` failed Error: not found: python2

    https://blog.csdn.net/qq_34527715/article/details/103376851

    这个问题可以忽略直接执行如下命令,可以自动安装python2软件。

    npm install -global -production windows-build-tools

    • C:\Windows\Microsoft.NET\Framework\v4.0.30319\msbuild.exe` failed with exit code: 1

    https://blog.csdn.net/xf1195718067/article/details/78598599

    管理员身份运行cmd

    npm install -global -production windows-build-tools

    后端编译

    1、基本软件安装

    • 下载go 1.12+ 版本( https://studygolang.com/dl )

              设置go到环境变量PATH中

    • 下载redis

    https://github.com/MicrosoftArchive/redis/releases

    https://pan.baidu.com/s/17NYqI-UTAsynmRpHklX4Ig  提取码:nh5p

    • 下载MongoDB 

    http://dl.mongodb.org/dl/win32/x86_64

    启动(可以在PATH中设置MongoDB的bin目录) 

    mongod.exe   

    --dbpath=C:\Users\2230\Desktop\crawlab\mongodb-win32-x86_64-2012plus-4.2.7\db  

    --logpath=C:\Users\2230\Desktop\crawlab\mongodb-win32-x86_64-2012plus-4.2.7\mongod.log 

    2、修改配置

    主要修改redis和MongoDB的服务器地址(根据具体情况修改):

    C:\Users\2230\Desktop\crawlab-master\conf\config.yaml

    3、编译代码

    设置一下 Go Module 的代理,将环境变量 GOPROXY 设置为 https://goproxy.cn。如果是 Linux 或 Mac,可以执行如下命令:

     export GOPROXY=https://goproxy.cn  

    windows系统启动cmd,执行如下:

    set GOPROXY=https://goproxy.cn 

    开始编译代码执行如下命令:

     cd  C:\Users\2230\Desktop\crawlab-master\backend

     go install

    在执行go install时会出现如下错误,可能window系统不支持这些类库,先直接注释

    注释后在执行 go install ;这时直接注释这个引入的模块即可编译成功

    执行如下命令构建exe

    go build 

    生产如图exe文件

    以上是构建项目。如果是启动项目,可以直接使用命令:

    cd  C:\Users\2230\Desktop\crawlab-master\backend

    go run main.go

    另外也可以执行go build生产的crawlab.exe文件;在cmd命令行执行:

    4、验证结果

    访问:http://localhost:8080/#/login

    输入账号密码:admin / admin

    看起来功能还是比较强大的,正在研究怎样使用。如果大家有兴趣的一起分享、学习。

    本站所有文章均由网友分享,仅用于参考学习用,请勿直接转载,如有侵权,请联系网站客服删除相关文章。若由于商用引起版权纠纷,一切责任均由使用者承担
    极客文库 » 分布式爬虫管理平台Crawlab开发搭建

    常见问题FAQ

    如果资源链接失效了怎么办?
    本站用户分享的所有资源都有自动备份机制,如果资源链接失效,请联系本站客服QQ:2580505920更新资源地址。
    如果用户分享的资源与描述不符怎么办?
    可以联系客服QQ:2580505920,如果要求合理可以安排退款或者退赞助积分。
    如何分享个人资源获取赞助积分或其他奖励?
    本站用户可以分享自己的资源,但是必须保证资源没有侵权行为。点击个人中心,根据操作填写并上传即可。资源所获收益完全归属上传者,每周可申请提现一次。
    如果您发现了本资源有侵权行为怎么办?
    及时联系客服QQ:2580505920,核实予以删除。

    参与讨论

    • 108会员总数(位)
    • 3700资源总数(个)
    • 5本周发布(个)
    • 2 今日发布(个)
    • 202稳定运行(天)

    欢迎加入「极客文库」,成为原创作者从这里开始!

    立即加入 了解更多
    成为赞助用户享有更多特权立即升级