こんにちは。ナミレリです。みなさん、MacでPythonは使っていますか？
M1やM2などのApple Siliconを搭載したMacでシンプルで使いやすいPython環境の構築方法を紹介する第4回目。今回はスクレイピングに必要なライブラリインストール編です。下の記事もぜひ合わせてご覧ください。
下記はM1/M2 MacでのPython環境構築の記事です。pyenv、miniforge、venvで構築しています。
M1、M2のMacをより便利に使うための初期設定についてはぜひ下記の記事を参考にしてください。
【特集】快適なデスクトップ環境を構築する
この記事はこんな人にオススメ
- M1/M2 MacでPythonによるスクレイピング環境を構築したい
- スクレイピングに必要なpythonライブラリをとりあえず知りたい
今回はpyenv + Miniforgeの環境にPythonによるスクレイピングに必要なライブラリをインストール方法をご紹介します。
この記事でわかること
- M1/M2 Macでスクレイピングに必要なpythonライブラリ
- pythonライブラリのバージョンやインストールしたディレクトリの確認方法
- oauth2clientは非奨励であり、代わりにgoogle-authを奨励していること
- M2 MacBook Air 13.6 インチ
- macOS Monterey 12.5.1
- pyenv 2.3.3
- Miniforge3-4.10.3-10
もありますので、ぜひダウンロードして試してみてください。M1/M2/M3のMac上で快適にMacやUbuntu、Windowsが動作します。
目次
この記事でインストールするパッケージ・モジュール・ライブラリ一覧
スクレイピング系
googleスプレッドシートをpythonから操作できるライブラリであるgspreadなども今回インストールしています。スクレイピング系ではないかもしれませんが一緒に使うことも多いのでスクレイピングにカテゴライズしています。
| 名称 | 内容 |
|---|---|
| gspread | Google SpreadsheetsのAPIやライブラリ |
| google-auth | Python用のGoogle認証ライブラリ |
| selenium | Webアプリケーションをテストするためのフレームワーク |
| requests | HTTP向けのPythonのライブラリ |
| beautifulsoup4 | HTMLおよびXMLドキュメントを解析するためのパッケージ |
gspreadのインストール
gspreadとは？
gspreadはGoogleスプレッドシート用のPython APIです。Googleスプレッドシートの最新API v4に対応しタイトル、キー、またはURLでスプレッドシートにアクセスすることができます。セル範囲の読み取り、書き込み、書式設定が可能なライブラリです。
gspreadのインストール
管理の効率化のためにvenvで構築した仮想環境にpipでインストールしていきます。
venvでの仮想環境構築方法はこちらをご覧ください。
有効化した仮想環境内でgspreadをpipでインストールします。
pip install gspread
condaでインストールする場合は下記のコマンドです。
conda install gspread
gspreadのインストール確認
gspreadのバージョンとインストールされたディレクトリを確認してみます。
import gspread
print(gspread.__version__)
5.5.0
print(gspread.__file__)
print(gspread.__file__)で仮想環境内にインストールされていることを確認します。
google-authのインストール
google-authとは？
google-authはPython用のGoogle認証ライブラリでGoogle APIに認証する機能を提供します。
google-authのインストール
管理の効率化のためにvenvで構築した仮想環境にpipでインストールしていきます。
venvでの仮想環境構築方法はこちらをご覧ください。
有効化した仮想環境内でgoogle-authをpipでインストールします。
pip install google-auth
condaでインストールする場合は下記のコマンドです。
conda install google-auth
google-authのインストール確認
google-authのバージョンとインストールされたディレクトリを確認してみます。
import google.auth
print(google.auth.__version__)
2.11.0
print(google.auth.__file__)
print(google.auth.__file__)で仮想環境内にインストールされていることを確認します。
seleniumのインストール
seleniumとは？
Seleniumは、Firefox、IE、Chrome、Remoteなどのドライバを経由してブラウザを操作することができます。
seleniumのインストール
管理の効率化のためにvenvで構築した仮想環境にpipでインストールしていきます。
venvでの仮想環境構築方法はこちらをご覧ください。
有効化した仮想環境内でseleniumをpipでインストールします。
pip install selenium
condaでインストールする場合は下記のコマンドです。
conda install selenium
WebDriverのインストール
Seleniumには、ブラウザとインターフェースするためのドライバが必要です。例えばGoogle ChromeとインタフェースするためにはChromeDriverが必要となります。
それではChromeDriverをインストールしてみましょう。
ChromeDriverをインストール
Macではbrewでインストールするのが簡単で管理しやすいです。
brew install chromedriver
brewの詳しい説明には下記の記事を参照ください。
seleniumのインストール確認
seleniumのバージョンとインストールされたディレクトリを確認してみます。
import selenium
print(selenium.__version__)
4.4.3
print(selenium.__file__)
print(selenium.__file__)で仮想環境内にインストールされていることを確認します。
requestsのインストール
requestsとは？
requestsは、HTTP/1.1リクエストを非常に簡単に送信できるシンプルなHTTPライブラリです。 beautifulsoup4と組み合わせてスクレイピングに使用されます。
requestsのインストール
管理の効率化のためにvenvで構築した仮想環境にpipでインストールしていきます。
venvでの仮想環境構築方法はこちらをご覧ください。
有効化した仮想環境内でrequestsをpipでインストールします。
pip install requests
condaでインストールする場合は下記のコマンドです。
conda install requests
requestsのインストール確認
requestsのバージョンとインストールされたディレクトリを確認してみます。
import requests
print(requests.__version__)
2.28.1
print(requests.__file__)
print(requests.__file__)で仮想環境内にインストールされていることを確認します。
beautifulsoup4のインストール
beautifulsoup4とは？
requestsは、HTTP/1.1リクエストを非常に簡単に送信できるシンプルなHTTPライブラリです。 beautifulsoup4と組み合わせてスクレイピングに使用されます。
beautifulsoup4のインストール
管理の効率化のためにvenvで構築した仮想環境にpipでインストールしていきます。
venvでの仮想環境構築方法はこちらをご覧ください。
有効化した仮想環境内でbeautifulsoup4をpipでインストールします。
pip install beautifulsoup4
condaでインストールする場合は下記のコマンドです。
conda install beautifulsoup4
beautifulsoup4のインストール確認
beautifulsoup4のバージョンとインストールされたディレクトリを確認してみます。
import bs4
print(bs4.__version__)
4.11.1
print(bs4.__file__)
print(bs4.__file__)で仮想環境内にインストールされていることを確認します。
最後に
最後まで読んでいただきありがとうございます。今回の【Python】M1/M2 MacでPython環境の構築（スクレイピング編）はいかがでしたでしょうか。M1やM2などのApple Siliconを搭載したMacで株価分析に必要なライブラリのインストールを紹介しました。みなさんのMacライフに少しでもお役に立てたら幸いです。
＼無料相談もできます／
・現役エンジニアから学べるオンラインに特化したプログラミングスクール。
・講師は全員、通過率10％の選考に合格した現役エンジニア。
・確かなスキルをもとにマンツーマンサポート。
・900社、30,000名を超える教育実績
※受講料最大70%支給
・Pythonを使ってデータ分析の手法を習得。
・1人では続かない方のためのパーソナルメンターがつく学習プログラム。
・統計学の基礎やPythonで実際に分析する方法まで習得することができます。
・統計学を基礎から学びたい方
・データサイエンティストとして活躍したい方
・Pythonのライブラリを使用して実装を行いたい方
・時間と場所にとらわれない働き方をしたい方
・区間推定、仮説検定による母集団の検証：乱数データを用いて古典的統計解析手法を習得
・住宅価格の予測：統計モデリングの基礎を習得
・サッカーの勝敗予測：ポアソン回帰により一般化線形モデルの基礎を習得
・オリジナルのデータ解析：公開されているデータセットを使ってデータ解析
・Python
・Numpy
・Pandas
・scikit-learn
＼無料相談もできます／
