【Python】Python 3.11.0のベンチマークをいろいろとやってみる

こんにちは。ナミレリです。みなさん、MacでPythonは使っていますか？
最新のPython 3.11.0の高速化を試してみたく、M1 Max、M2 Air、Intel Core i7のMacbookでそれぞれベンチマークを試してみました。M1やM2、Corei7の比較はネット上であまり見かけないのでやってみました。また、Pythonのバージョンは3.11.0、3.10.6、3.9.15、miniforge3-4.10(Python 3.9.13)の4つのバージョンで比較してみます。

環境は以下の通りです。

この記事の計測環境

M1 Max

• MacBook Pro 14インチ M1Max（メモリ32GB）
• macOS Ventura 13.0.1
• pyenv 2.3.6
• Python 3.11.0、3.10.6、3.9.15、miniforge3-4.10(Python 3.9.13)

M2 Air

• M2 MacBook Air 13.6 インチ（メモリ16GB）
• macOS Ventura 13.0.1
• pyenv 2.3.6
• Python 3.11.0、3.10.6、3.9.15、miniforge3-4.10(Python 3.9.13)

Intel Core i7

• MacBook Pro 13インチ2019（メモリ16GB）
• macOS Big Sur 11.6.8
• pyenv 2.3.6
• Python 3.11.0、3.10.6、3.9.15、miniforge3-4.10(Python 3.9.13)

Parallels 19 for Macの無料トライアル もありますので、ぜひダウンロードして試してみてください。M1/M2/M3のMac上で快適にMacやUbuntu、Windowsが動作します。

NEW Parallels Desktop 19 for Mac

Parallels Desktop 19 for Macは、M1/M2/M3のMac上で快適にMacやUbuntu、Windowsが動作します。

14日間の無料トライアルもありますので、ぜひダウンロードして試してみてください。

Parallels Desktop 19 公式サイト

関連

【初心者向け】Parallels Desktop 19 for Macの特徴とエディションの比較

はじめに

下記にもあるとおり、Python 3.11の最大のニュースはなんといっても高速化されていることです。いよいよ本気モードってことですね。公式サイトにはpyperformanceによるベンチマーク結果が掲載されています。

Python 3.11で最大のニュースは、なんと言っても Faster CPython: CPython 高速化計画 が開始されたことでしょう。CPython 高速化計画は、Mark Shannon氏が提案したプランに基づいてPythonの高速化を行うもので、Pythonを毎年50%高速化し、互換性を保ちつつ 4年間で5倍高速化する ことを目標としています。この計画はMicrosoft社の出資を獲得し、Pythonの父であるGuido van Rossum氏も加わって開発が進められています。

https://www.python.jp/news/wnpython311/index.html

Python 3.11.0の高速化や新機能については下記サイトを参考にさせていただきました。

また、この記事で比較する処理については下記のサイトを参考にさせていただきました。

計測環境について

以下の3つのMacBookを使います。

M1 Max

sysctl -a | grep -e brand_string -e cpu.core_count
machdep.cpu.core_count: 10
machdep.cpu.brand_string: Apple M1 Max

M2 Air

sysctl -a | grep -e brand_string -e cpu.core_count
machdep.cpu.core_count: 8
machdep.cpu.brand_string: Apple M2

Intel Core i7

sysctl -a | grep -e brand_string -e cpu.core_count
machdep.cpu.brand_string: Intel(R) Core(TM) i7-8569U CPU @ 2.80GHz
machdep.cpu.core_count: 4

1. forループ処理

単純なforによるループ処理を計測してみます。0から100,000,000までの数字をforによりループさせ、それを10回繰り返す処理です。処理が終わったら平均を秒で出力します。

import timeit

def test():
    for i in range(n):
        pass

n = 100000000  # 10^8
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

2. 代入処理

上の単純なforによるループ処理に加えて、ans = iの代入を追加したプログラムです。

0から100,000,000までの数字をforによりループさせ、都度その数値をansに代入しています。それを10回繰り返し、処理が終わったら平均を秒で出力します。

import timeit

def test():
    ans = 0
    for i in range(n):
        ans = i

n = 100000000  # 10^8
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

3. 定数を使った四則演算

0から100,000,000までの数字をforによりループさせ、都度、決まった四則演算を行っています。10回繰り返し、処理が終わったら平均を秒で出力します。

import timeit

def test():
    for i in range(n):
        1 + 1
        1 - 1
        1 * 1
        1 // 1
        
n = 100000000  # 10^8
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

4. 変数を使った四則演算

2から100,000,000までの数字をforによりループさせ、繰り返し変数iを使って四則演算を行っています。10回繰り返し、処理が終わったら平均を秒で出力します。

import timeit

def test():
    for i in range(2, n):
        i * (i % (i - 1)) + i
        
n = 100000000  # 10^8
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

5. if文

0から100,000,000までの数字をforによりループさせ、if文の条件で繰り返し変数iが0だったら、という処理をしています。全体を10回繰り返し、処理が終わったら平均を秒で出力します。

import timeit

def test():
    for i in range(n):
        if i == 0:
            pass
    
n = 100000000  # 10^8
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

配列アクセス

6. シーケンシャル

0から100,000,000までのリストAを用意して、順番にリストの要素にアクセスします。全体を10回繰り返し、処理が終わったら平均を秒で出力します。

import timeit

def test():
    A = [i for i in range(n)]
    for a in A:
        pass

n = 100000000  # 10^8
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

7. ランダムアクセス(Read)

0から100,000,000までのリストAを用意して、indexを指定してリストの要素にアクセスします。全体を10回繰り返し、処理が終わったら平均を秒で出力します。

import timeit

def test():
    A = [i for i in range(n)]
    for i in range(n):
        A[i]

n = 100000000  # 10^8
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

8. ランダムアクセス(Write)

0から100,000,000までのリストAを用意して、indexを指定してリストの要素にアクセスします。その要素に0を代入します。全体を10回繰り返し、処理が終わったら平均を秒で出力します。

import timeit

def test():
    A = [i for i in range(n)]
    for i in range(n):
        A[i] = 0

n = 100000000  # 10^8
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

9. ソート

0から1,000,000までランダムな順番のリストAを用意し、その後リストAをソートします。全体を10回繰り返し、処理が終わったら平均を秒で出力します。

import timeit
from random import randint, seed
seed(0)

def test():
    A = [randint(1, n) for _ in range(n)]
    A.sort()

n = 1000000  # 10^6
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

文字列結合

10. +による結合

0から10,000,000までの数字をforによりループさせ、都度、文字列aを結合します。10回繰り返し、処理が終わったら平均を秒で出力します。

import timeit

def test():
    ans = ''
    for i in range(n):
        ans += 'a'

n = 10000000  # 10^7
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

11. joinによる結合

0から10,000,000までのリストA（文字列）を用意して、リストの各要素を区切り文字なしで結合します。10回繰り返し、処理が終わったら平均を秒で出力します。

import timeit

def test():
    A = [str(i) for i in range(n)]
    ans = ''.join(A)

n = 10000000  # 10^7
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

モジュール

12. deque

0から10,000,000までのdequeオブジェクトを用意し、0から10,000,000までの数字をforによりループさせ、dequeオブジェクトの先頭の要素を取り出し(que.popleft())、その要素を末尾に追加します(que.append())。10回繰り返し、処理が終わったら平均を秒で出力します。

import timeit
from collections import deque

def test():
    que = deque(range(n))
    for i in range(n):
        que.append(que.popleft())

n = 10000000  # 10^7
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

13. 優先度付きキュー

Python標準ライブラリのheapqを使い、リストqueに0から10,000,000までを優先度付きキューの要素に挿入します。その後、優先度付きキューから最小値を取り出します。この処理を10回繰り返し、処理が終わったら平均を秒で出力します。

import timeit
import heapq

def test():
    que = [0]
    for i in range(n):
        heapq.heappush(que, i)

    for i in range(n):
        heapq.heappop(que)

n = 10000000  # 10^7
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

14. 組み込み関数呼び出し

0から10,000,000までの数字をforによりループさせ、max関数により繰り返し変数iと0の2つの要素の内、最大値を持つ要素の値を取得します。この処理を10回繰り返し、処理が終わったら平均を秒で出力します。

import timeit

def test():
    for i in range(n):
        max(0, i)

n = 10000000  # 10^7
loop = 10

result = timeit.timeit('test()', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

15. 再帰関数

40番目のフィボナッチ数列を再帰処理で求めます。3回繰り返し、処理が終わったら平均を秒で出力します。

import timeit

def fibonacci(n):
    if n == 0 or n == 1:
        return n
    else:
        return fibonacci(n - 2) + fibonacci(n - 1)

n = 40
loop = 3

result = timeit.timeit('fibonacci(n)', globals=globals(), number=loop)
print(format(result / loop, '.3f'))

numpy

16. numpy（デフォルト）

使われるBLASによって計算速度が変わります。BLASについては下記サイトがわかりやすくまとめてくれています。

下記はnumpyをpip installしたデフォルトの状態で計測です。

import time
import numpy as np
np.random.seed(42)
a = np.random.uniform(size=(300, 300))
runtimes = 10

timecosts = []
for _ in range(runtimes):
    s_time = time.time()
    for i in range(100):
        a += 1
        np.linalg.svd(a)
    timecosts.append(time.time() - s_time)

print(f'mean of {runtimes} runs: {np.mean(timecosts):.5f}s')

Numpyの定番オススメ書籍：Pythonによるデータ分析入門 第2版

17. numpy（"libblas=*=*accelerate"）

次にlibblasを指定したnumpyでの計測です。condaでnumpyをインストールします。2倍程度に高速化しました。

Basic Linear Algebra Subprograms（BLAS）は数値線形代数の基礎的演算に必要な関数を定義するAPIである[1]。ベクトル・行列演算を含む38の関数からなるLevel 1 BLASが1979年に発表されたのち[2]、Level 2 および Level 3 まで拡張された。多数の実装が作成・整備され続けており、この分野におけるデファクトスタンダードとなっている。BLASの基礎演算を利用してLAPACKなどの上位パッケージが構築されており、科学技術計算・高性能計算で多用される。

BLASの関数を多用するソフトウェアにおいてBLAS実装（ライブラリ）の質は速度に直結する。高度な最適化は実装が動くハードウェアにも依存するため、特定CPUに特化したライブラリが提供される場合もある（インテルCPU向け: Intel Math Kernel Library）。オープンソースの最適化 BLAS 実装として OpenBLAS や ATLAS（英語版） がある。

LINPACK ベンチマークの性能は、BLAS のサブルーチンである DGEMM（倍精度汎用行列乗算）の性能に大きく影響される。

https://ja.wikipedia.org/wiki/Basic_Linear_Algebra_Subprograms

conda install numpy "libblas=*=*accelerate"

import time
import numpy as np
np.random.seed(42)
a = np.random.uniform(size=(300, 300))
runtimes = 10

timecosts = []
for _ in range(runtimes):
    s_time = time.time()
    for i in range(100):
        a += 1
        np.linalg.svd(a)
    timecosts.append(time.time() - s_time)

print(f'mean of {runtimes} runs: {np.mean(timecosts):.5f}s')

Numpyの定番オススメ書籍：Pythonによるデータ分析入門 第2版

numpyの設定状態は下記です。

>>> import numpy as np
>>> np.__config__.show()
blas_info:
    libraries = ['cblas', 'blas', 'cblas', 'blas']
    library_dirs = ['/Users/user/.pyenv/versions/miniforge3-4.10.3-10/lib']
    include_dirs = ['/Users/user/.pyenv/versions/miniforge3-4.10.3-10/include']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
blas_opt_info:
    define_macros = [('NO_ATLAS_INFO', 1), ('HAVE_CBLAS', None)]
    libraries = ['cblas', 'blas', 'cblas', 'blas']
    library_dirs = ['/Users/user/.pyenv/versions/miniforge3-4.10.3-10/lib']
    include_dirs = ['/Users/user/.pyenv/versions/miniforge3-4.10.3-10/include']
    language = c
lapack_info:
    libraries = ['lapack', 'blas', 'lapack', 'blas']
    library_dirs = ['/Users/user/.pyenv/versions/miniforge3-4.10.3-10/lib']
    language = f77
lapack_opt_info:
    libraries = ['lapack', 'blas', 'lapack', 'blas', 'cblas', 'blas', 'cblas', 'blas']
    library_dirs = ['/Users/user/.pyenv/versions/miniforge3-4.10.3-10/lib']
    language = c
    define_macros = [('NO_ATLAS_INFO', 1), ('HAVE_CBLAS', None)]
    include_dirs = ['/Users/user/.pyenv/versions/miniforge3-4.10.3-10/include']
Supported SIMD extensions in this NumPy install:
    baseline = NEON,NEON_FP16,NEON_VFPV4,ASIMD
    found = ASIMDHP,ASIMDDP
    not found = 

まとめ（M1におけるPython 3.11.0とPython 3.10.6の比較）

まとめ（M2におけるPython 3.11.0とPython 3.10.6の比較）

まとめ（Intel Core i7におけるPython 3.11.0とPython 3.10.6の比較）

まとめ（M1とM2の比較）

最後に

最後まで読んでいただきありがとうございます。今回のPython 3.11.0のベンチマークをいろいろとやってみるはいかがでしたでしょうか。Apple SiliconのM1やM2とPython3.11.0の組み合わせはIntelのそれと比べてもとても高速になっていることがわかります。M1とM2で比較してみてもM2のパフォーマンスが凄いです。

関連

【Python】Parallels上のUbuntu 22.10でPython 3.11.0のベンチマークをとってみる

kindle unlimited 読み放題

MacやLinux、Pythonなど技術系のkindle本も豊富にあります。詳しくはこちらから。

初めてkindle unlimited 読み放題をご利用の方は30日間の無料で体験できます。
期間終了後は月額980円で、いつでもキャンセルできます。
200万冊以上が読み放題。お好きな端末で利用可能です。

kindle unlimited 読み放題はこちら

良いコード／悪いコードで学ぶ設計入門―保守しやすい　成長し続けるコードの書き方

• Kindle本で探す
• Amazonで探す
• 楽天市場で探す
• Yahooショッピングで探す

Pythonライブラリの教科書

• Kindle本で探す
• Amazonで探す
• 楽天市場で探す
• Yahooショッピングで探す

すぐに使える！業務で実践できる！Pythonによる AI・機械学習・深層学習アプリのつくり方 TensorFlow2対応

• Kindle本で探す
• Amazonで探す
• 楽天市場で探す
• Yahooショッピングで探す

Pythonで学ぶあたらしい統計学の教科書 第2版

• Kindle本で探す
• Amazonで探す
• 楽天市場で探す
• Yahooショッピングで探す

現場で使える！Python深層強化学習入門 強化学習と深層学習による探索と制御

翔泳社

• Amazonで探す
• 楽天市場で探す
• Yahooショッピングで探す

定番おすすめ記事

関連

【Python】Parallels上のUbuntu 22.10でPython 3.11.0のベンチマークをとってみる

関連

【Python】macOS13.1でCore MLのStable Diffusionを試す（爆速なのか？！）

関連

【Python】M1/M2のCore MLに最適化されたStable Diffusionを試す

関連

【Python】M1/M2 MacでPython環境の構築（機械学習・データ分析編）

関連

【Python】M1/M2 MacでPython環境の構築（pyenvとvenvのインストールと設定、そして使い方）

関連

【Python】M1/M2 MacにAnacondaをインストールする（pyenv編）

関連

【Python】pyenvのよく使うコマンドの使い方

関連

【Linux】Ubuntu 22.10(Kinetic Kudu)にpyenvをインストールし環境構築する