- 安装Python
下载地址:http://www.python.org/, Python 有 Python 2 和 Python 3 两个版本, 语法有些区别,ubuntu上自带了python2.7.6,所以在 ubuntu上暂时不需额外安装。
- 安装JAVA JDK
下载地址:http://www.oracle.com/technetwork/java/javase/downloads,下载与具体机器 对应的版本,我这里由于是ubuntu64位,所以下载了jdk-8u77-linux-x64.tar.gz
解压:tar -zxvf jdk-8u77-linux-x64.tar.gz
进入到解压的目录,拷贝:cp -R jdk1.8.0_77/ /usr/local/
配置环境变量:vi .bashrc
添加:
export JAVA_HOME=/usr/local/jdk1.8.0_77
export JAVA_BIN=$JAVA_HOME/bin
export JAVA_LIB=$JAVA_HOME/lib
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar
export PATH=$JAVA_BIN:$PATH
使环境变量生效:source .bashrc
- 安装Eclipse
下载地址:http://www.eclipse.org/downloads/
下载完后,解压就可以直接使用, Eclipse不需要安装。
tar -zxvf eclipse-jee-mars-2-linux-gtk-x86_64.tar.gz
cp -R eclipse /usr/local/
- 安装开发python程序的eclipse插件pydev4.5.5
下载地址:http://www.pydev.org/index.html
将压缩文件解压出来,得到features和plugins两个文件夹,然后将两个文件夹中的文件分别拷贝到Eclipse安装目录下的features和plugins目录中。
然后配置python解释器,启动Eclipse,打开window->Preferences,选择Interpreter-Python,然后选择New,在弹出的对话框的Interpreter Name写Python, 在Interpreter Executable写入python可执行解释器的地址。
如果eclipse打开时没有菜单栏,通过以下方法解决:
其实就是缺一个环境变量UBUNTU_MENUPROXY. 在/etc/profile 里面新建这个变量并且把值写成0, 然后重启就行啦,export UBUNTU_MENUPROXY=0
下面是Scrapy爬虫开发安装:
1.先安装好python集成开发环境,参考前面步骤
2. 安装 Scrapy
Scrapy依赖于Python开发库和pip。
Python 最新的版本已经在Ubuntu上预装了,因此我们在安装 Scrapy之前只需安装pip和python开发库就可以了。
pip是作为python包索引器easy_install的替代品,用于安装和管理Python包。
安装pip:sudo apt-get install python-pip
安装python-dev:sudo apt-get install python-dev
安装Scrapy:pip install Scrapy
3. 安装pyquery包 :pip install pyquery
pyQuery 是 jQuery 的Python实现,如果对Web前端有了解,特别是有用过 jQuery 的,那么 pyQuery 将会是你处理HTML内容的最佳选择。