博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Linux搭建Scrapy爬虫集成开发环境
阅读量:5447 次
发布时间:2019-06-15

本文共 1632 字,大约阅读时间需要 5 分钟。

  1. 安装Python

下载地址:http://www.python.org/, Python 有 Python 2 和 Python 3 两个版本, 语法有些区别,ubuntu上自带了python2.7.6,所以在 ubuntu上暂时不需额外安装。

 

  1. 安装JAVA JDK

下载地址:http://www.oracle.com/technetwork/java/javase/downloads,下载与具体机器 对应的版本,我这里由于是ubuntu64位,所以下载了jdk-8u77-linux-x64.tar.gz

解压:tar -zxvf jdk-8u77-linux-x64.tar.gz

进入到解压的目录,拷贝:cp -R jdk1.8.0_77/ /usr/local/

配置环境变量:vi .bashrc

添加:

export JAVA_HOME=/usr/local/jdk1.8.0_77

export JAVA_BIN=$JAVA_HOME/bin

export JAVA_LIB=$JAVA_HOME/lib

export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar

export PATH=$JAVA_BIN:$PATH

使环境变量生效:source .bashrc

 

  1. 安装Eclipse

 下载地址:http://www.eclipse.org/downloads/

 下载完后,解压就可以直接使用, Eclipse不需要安装。

  tar -zxvf eclipse-jee-mars-2-linux-gtk-x86_64.tar.gz

  cp -R eclipse /usr/local/

 

  1. 安装开发python程序的eclipse插件pydev4.5.5

下载地址:http://www.pydev.org/index.html

将压缩文件解压出来,得到features和plugins两个文件夹,然后将两个文件夹中的文件分别拷贝到Eclipse安装目录下的features和plugins目录中。

 

然后配置python解释器,启动Eclipse,打开window->Preferences,选择Interpreter-Python,然后选择New,在弹出的对话框的Interpreter Name写Python, 在Interpreter Executable写入python可执行解释器的地址。 

如果eclipse打开时没有菜单栏,通过以下方法解决:

其实就是缺一个环境变量UBUNTU_MENUPROXY. 在/etc/profile 里面新建这个变量并且把值写成0, 然后重启就行啦,export UBUNTU_MENUPROXY=0 

 

下面是Scrapy爬虫开发安装

1.先安装好python集成开发环境,参考前面步骤

2. 安装 Scrapy

     Scrapy依赖于Python开发库和pip。

      Python 最新的版本已经在Ubuntu上预装了,因此我们在安装 Scrapy之前只需安装pip和python开发库就可以了。

      pip是作为python包索引器easy_install的替代品,用于安装和管理Python包。

     安装pip:sudo apt-get install python-pip

     安装python-dev:sudo apt-get install python-dev

     安装Scrapy:pip install Scrapy

 

3. 安装pyquery包 :pip install pyquery  

     pyQuery 是 jQuery 的Python实现,如果对Web前端有了解,特别是有用过 jQuery 的,那么 pyQuery 将会是你处理HTML内容的最佳选择。

 

转载于:https://www.cnblogs.com/guoyuanwei/p/5433862.html

你可能感兴趣的文章
一级关联数组转化成多层子级数组
查看>>
百度Ueditor编辑器的Html模式自动替换样式的解决方法
查看>>
八:Razor(MVC框架视图引擎)
查看>>
java代码编辑器 pdf文件预览 主流SSM 代码生成器 shrio redis websocket即时通讯
查看>>
final
查看>>
Win8下更改Chrome缓存目录
查看>>
django框架小技巧
查看>>
(八)8-3多线程共享变量
查看>>
Parameter配置文件获取
查看>>
[Operating System] {ud923} P3L1: Scheduling
查看>>
(转载)悟透JavaScript
查看>>
java后端发送http请求使用RestTemplate
查看>>
PAT1002
查看>>
避免商品超卖的4种方案
查看>>
AtCoder - 1999 Candy Piles
查看>>
python中calendar模块的常用方法
查看>>
Checklist: 2019 05.01 ~ 06.30
查看>>
【最短路】Vijos P1022Victoria的舞会2
查看>>
(原创)大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 线性回归分析算法)...
查看>>
调整Tomcat的并发线程到5000+
查看>>