从Scrapinghub下载项目源代码

4

我在Scrapinghub上部署了一个项目,但是我没有任何代码副本。

我该如何从Scrapinghub下载整个项目的代码到我的本地主机?

2个回答

6
我使用以下方式成功地下载了项目代码:
shub fetch-eggs project_id_here

在项目打开时,可以从浏览器URL中获取project_id_here

生成的文件将是一个*.egg文件,可以像使用WinRAR或其他工具一样解压它。

附加说明: -SHUB没有用户友好的错误提示,有一次我使用不同的帐户登录了shub,并尝试下载另一个不同帐户下的项目,所以请确保您登录的是与要下载的项目存在于同一scrapinghub帐户中。


-1
据我所知,目前在Scrapy Cloud上没有公共API可以检索您的项目源代码。(如果我错了,请纠正我。)
但是确实可以在不需要额外权限的情况下检索您的项目源代码。
当作业正在运行时,与项目相关的文件位于/app路径中:
job-<some-job-id>:/app$ ls -la /app                                                                                                                                                                                                                                                                                              
total 48                                                                                                                                                                                                                                                                                                                      
drwxr-xr-x  5 root   root     4096 Jul 27 17:13 .                                                                                                                                                                                                                                                                             
drwxr-xr-x 82 root   root     4096 Jul 28 04:09 ..                                                                                                                                                                                                                                                                            
-rw-r--r--  1 root   root    26695 Jul 27 17:13 __main__.egg                                                                                                                                                                                                                                                                  
drwxr-xr-x  2 nobody nogroup  4096 May 23 07:34 addons_eggs                                                                                                                                                                                                                                                                   
drwxr-xr-x  2 nobody nogroup  4096 Jul 24 14:27 python                                                                                                                                                                                                                                                                        
-rw-r--r--  1 root   root       14 Jul 24 14:27 requirements.txt

文件 __main__.egg 包含您的项目源代码。

因此,您可以:

  1. 选择一个正在运行的作业,访问其控制台:https://app.scrapinghub.com/p/[project_id]/[spider_id]/[job_id]/console
  2. .egg 文件发送到某个位置以备之后检索,例如:curl http://IP-address-of-your-own-server:8888/retrieve-file --data-binary @/app/__main__.egg(假设您已经准备好了接收数据的服务)。

或者,您也可以随时联系 Scrapinghub 支持寻求帮助。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接