読者です 読者をやめる 読者になる 読者になる

Mac でScrapy 環境(Ubuntu)

仮想環境の構築

docker
$ docker pull ubuntu:latest
$ docker run --name myscrapy -itp 127.0.0.1:8000:80 -v/Users/cuixz0001/apps/my_scrapy:/root/my-scrapy ubuntu:latest /bin/bash

 開発ツールの準備

コンテナ内に開発ツールを準備する。

開発ツールの準備

 コンテナ内に開発ツールを準備する。

apt-get
root# apt-get update
root# apt-get install vim less git python3 python3-pip
apt-get
root# apt-get install libxslt1-dev libssl-devpip で scrapy をインストール

 pip を更新後、scrapy をインストール。

pip
root# pip3 install --upgrade pip
root# pip install scrapy

Apache2 と MySQL のインストール

 練習用のサーバーとデータ保存用のDBをインストールして起動させておく。

apt-get
root# apt-get install apache2 mysql-server
root# service apache2 start
root# service mysql start

 Apache2 を起動したのでホストマシンのブラウザ上から localhost:8000 へアクセスして動作確認。

 

 

 

Python3 + Scrapy1 - スクレイピングの練習環境構築 - Qiita

binwangREPO/Dockerfile at master · biwa7636/binwangREPO · GitHub

複雑な構成のrailsアプリをdockerで動かしたい場合はどうするべきか - Qiita

 CentOS7にpython3系のインストール - Qiita

 

Pip のインストール

wget https://pypi.python.org/packages/e7/a8/7556133689add8d1a54c0b14aeff0acb03c64707ce100ecd53934da1aa13/pip-9.1.2.tar.gz tar -xzvf pip-8.1.2.tar.gz cd pip-8.1.2 sudo python setup.py install