こんにちは。ナミレリです。みなさん、MacでPythonは使っていますか？
M1やM2などのApple Siliconを搭載したMacでシンプルで使いやすいPython環境の構築方法を紹介する第4回目。今回はスクレイピングに必要なライブラリインストール編です。下の記事もぜひ合わせてご覧ください。
下記はM1/M2 MacでのPython環境構築の記事です。pyenv、miniforge、venvで構築しています。
M1、M2のMacをより便利に使うための初期設定についてはぜひ下記の記事を参考にしてください。
【特集】快適なデスクトップ環境を構築する
この記事はこんな人にオススメ
- M1/M2 MacでPythonによるスクレイピング環境を構築したい
- スクレイピングに必要なpythonライブラリをとりあえず知りたい
今回はpyenv + Miniforgeの環境にPythonによるスクレイピングに必要なライブラリをインストール方法をご紹介します。
この記事でわかること
- M1/M2 Macでスクレイピングに必要なpythonライブラリ
- pythonライブラリのバージョンやインストールしたディレクトリの確認方法
- oauth2clientは非奨励であり、代わりにgoogle-authを奨励していること
- M2 MacBook Air 13.6 インチ
- macOS Monterey 12.5.1
- pyenv 2.3.3
- Miniforge3-4.10.3-10
目次
この記事でインストールするパッケージ・モジュール・ライブラリ一覧
スクレイピング系
googleスプレッドシートをpythonから操作できるライブラリであるgspreadなども今回インストールしています。スクレイピング系ではないかもしれませんが一緒に使うことも多いのでスクレイピングにカテゴライズしています。
| 名称 | 内容 |
|---|---|
| gspread | Google SpreadsheetsのAPIやライブラリ |
| google-auth | Python用のGoogle認証ライブラリ |
| selenium | Webアプリケーションをテストするためのフレームワーク |
| requests | HTTP向けのPythonのライブラリ |
| beautifulsoup4 | HTMLおよびXMLドキュメントを解析するためのパッケージ |
Pythonのウェブスクレイピングを学びたい方におすすめ！
講座買い切り型で、視聴期限なし。自分のペースで学べる。
現場で活躍されているプロが教えるコースを選べます。
gspreadのインストール
gspreadとは？
gspreadはGoogleスプレッドシート用のPython APIです。Googleスプレッドシートの最新API v4に対応しタイトル、キー、またはURLでスプレッドシートにアクセスすることができます。セル範囲の読み取り、書き込み、書式設定が可能なライブラリです。
gspreadのインストール
管理の効率化のためにvenvで構築した仮想環境にpipでインストールしていきます。
venvでの仮想環境構築方法はこちらをご覧ください。
有効化した仮想環境内でgspreadをpipでインストールします。
pip install gspread
condaでインストールする場合は下記のコマンドです。
conda install gspread
gspreadのインストール確認
gspreadのバージョンとインストールされたディレクトリを確認してみます。
import gspread
print(gspread.__version__)
5.5.0
print(gspread.__file__)
print(gspread.__file__)で仮想環境内にインストールされていることを確認します。
google-authのインストール
google-authとは？
google-authはPython用のGoogle認証ライブラリでGoogle APIに認証する機能を提供します。
google-authのインストール
管理の効率化のためにvenvで構築した仮想環境にpipでインストールしていきます。
venvでの仮想環境構築方法はこちらをご覧ください。
有効化した仮想環境内でgoogle-authをpipでインストールします。
pip install google-auth
condaでインストールする場合は下記のコマンドです。
conda install google-auth
google-authのインストール確認
google-authのバージョンとインストールされたディレクトリを確認してみます。
import google.auth
print(google.auth.__version__)
2.11.0
print(google.auth.__file__)
print(google.auth.__file__)で仮想環境内にインストールされていることを確認します。
seleniumのインストール
seleniumとは？
Seleniumは、Firefox、IE、Chrome、Remoteなどのドライバを経由してブラウザを操作することができます。
seleniumのインストール
管理の効率化のためにvenvで構築した仮想環境にpipでインストールしていきます。
venvでの仮想環境構築方法はこちらをご覧ください。
有効化した仮想環境内でseleniumをpipでインストールします。
pip install selenium
condaでインストールする場合は下記のコマンドです。
conda install selenium
WebDriverのインストール
Seleniumには、ブラウザとインターフェースするためのドライバが必要です。例えばGoogle ChromeとインタフェースするためにはChromeDriverが必要となります。
それではChromeDriverをインストールしてみましょう。
ChromeDriverをインストール
Macではbrewでインストールするのが簡単で管理しやすいです。
brew install chromedriver
brewの詳しい説明には下記の記事を参照ください。
seleniumのインストール確認
seleniumのバージョンとインストールされたディレクトリを確認してみます。
import selenium
print(selenium.__version__)
4.4.3
print(selenium.__file__)
print(selenium.__file__)で仮想環境内にインストールされていることを確認します。
requestsのインストール
requestsとは？
requestsは、HTTP/1.1リクエストを非常に簡単に送信できるシンプルなHTTPライブラリです。 beautifulsoup4と組み合わせてスクレイピングに使用されます。
requestsのインストール
管理の効率化のためにvenvで構築した仮想環境にpipでインストールしていきます。
venvでの仮想環境構築方法はこちらをご覧ください。
有効化した仮想環境内でrequestsをpipでインストールします。
pip install requests
condaでインストールする場合は下記のコマンドです。
conda install requests
requestsのインストール確認
requestsのバージョンとインストールされたディレクトリを確認してみます。
import requests
print(requests.__version__)
2.28.1
print(requests.__file__)
print(requests.__file__)で仮想環境内にインストールされていることを確認します。
beautifulsoup4のインストール
beautifulsoup4とは？
requestsは、HTTP/1.1リクエストを非常に簡単に送信できるシンプルなHTTPライブラリです。 beautifulsoup4と組み合わせてスクレイピングに使用されます。
beautifulsoup4のインストール
管理の効率化のためにvenvで構築した仮想環境にpipでインストールしていきます。
venvでの仮想環境構築方法はこちらをご覧ください。
有効化した仮想環境内でbeautifulsoup4をpipでインストールします。
pip install beautifulsoup4
condaでインストールする場合は下記のコマンドです。
conda install beautifulsoup4
beautifulsoup4のインストール確認
beautifulsoup4のバージョンとインストールされたディレクトリを確認してみます。
import bs4
print(bs4.__version__)
4.11.1
print(bs4.__file__)
print(bs4.__file__)で仮想環境内にインストールされていることを確認します。
Python2年生 スクレイピングのしくみ 体験してわかる！会話でまなべる！ Kindle版
最後に
最後まで読んでいただきありがとうございます。今回の【Python】M1/M2 MacでPython環境の構築（スクレイピング編）はいかがでしたでしょうか。M1やM2などのApple Siliconを搭載したMacで株価分析に必要なライブラリのインストールを紹介しました。みなさんのMacライフに少しでもお役に立てたら幸いです。
Pythonのウェブスクレイピングを学びたい方におすすめ！
講座買い切り型で、視聴期限なし。自分のペースで学べる。
現場で活躍されているプロが教えるコースを選べます。
機械学習やデータ分析になくてはならない「データ」。このようなデータは、インターネット上に膨大にありますが、Pythonを使えば効率よくデータ収集できます。こうした手法を「スクレイピング」といいます。サイト自体もオープンデータ化が進んでおり、データを集めやすい環境が整ってきています。
「Python2年生」シリーズは、「Python1年生」を読み終えた方を対象とした入門書です。ある程度、技術的なことを盛り込み、本書で扱う技術について身に着けてもらいます。
ヤギ博士＆フタバちゃんと一緒に、インターネットからのファイルのダウンロード方法、HTML解析の方法、いろいろなデータの読み書き、APIの使い方といったデータ収集と便利なライブラリを利用した簡単な可視化手法を解説する書籍です。また最終的にデータ収集を自動化する方法も簡単に解説します。
Amazon
Python2年生 スクレイピングのしくみ 体験してわかる！
会話でまなべる！ Kindle版
最高の打鍵感。スコスコと静かに速く、そして気持ち良くタイピングができます。もうタイピングが楽しくてどうしようもなくなります。つや消しの高級感もたまりません。サラサラしていて触り心地も最高です。
PFU キーボード HHKB Professional HYBRID Type-S 日本語配列／雪（無刻印）
定番おすすめ記事
みんなのAI講座 ゼロからPythonで学ぶ人工知能と機械学習 【2023年最新版】
講座買い切り型で、視聴期限なし。自分のペースで学べる。
現場で活躍されているプロが教えるコースを選べます。
ディープラーニング : Pythonでゼロから構築し学ぶ人工知能（AI）と深層学習の原理
講座買い切り型で、視聴期限なし。自分のペースで学べる。
現場で活躍されているプロが教えるコースを選べます。