ウィンドウズ版のPythonでメモリに困った場合の対処法

のんびりしているエンジニアの日記の「Pythonで少なくメモリを使用する方法」に触発されてわたしも書いてみます。

私自身、仕事でPythonで画像処理とかよくするのですが、そうするとMemoryErrorをくらっちゃうことが多々あります。

基本的には「のんびりしているエンジニアの日記」にあるような対処をして、ピークメモリが減るようにリファクターとかしてしのいでますが、どうしてもピークメモリすらウィンドウズでPythonのインスタンスに割り当てられる限界の２ＧＢを突破してしまい、OSが６４ビットだろうが、ＰＣに１６ＧＢのメモリをつんでいようが２ＧＢに達した時点でMemoryErrorを食らいます。

Windows 7は６４ビットだからといって安心してはいけません。ウィンドウズは32ビットのプログラムにメモリを出し渋る仕様なのです。がーーーん・・・。

これは64bitのPythonに移行するのがめんどいので、私の環境がいまだにpython.exeが32bitなためで、６４ビットのPythonを使えば別にそれでOKです。

ただ、色々な事情で３２ビットのPythonを使い続けている人もまだけっこういるとおもわれます。

そんな場合でも実はマイクロソフトから配布されているEDITBINというコマンドラインツールを使って、２GBの限界を突破して、おそらく32bitの限界の４GBまで?いけるようになります（Pythonのバグトラッカーをみると限界は3GBみたいですね）。

やり方

EDITBINは「Microsoft Visual C++ 2008 Express Edition」に付属するツールなのでまずこれをインストールします。

つぎに「C:\Program Files (x86)\Microsoft Visual Studio 9.0\VC\bin」にあるeditbin.exeを発見します。

つぎに以下のコマンドを実行します。普通のCMDでもいいですが、Microsoft Visual Studio Command Promptを使うとeditbin.exeにパスが通っているのでらくです。

editbin /LARGEADDRESSAWARE "C:\Python27\python.exe"

として、Pyhonのインタプリターの実行ファイルのフラグを書き換えます。

これだけで、ウィンドウズOSがPythonに割り当てるメモリが増えますので、２GBの壁を突破できるわけです。これはPythonに限らず一般的に使える方法ですので、Rubyとかゲームソフトとかにも応用できるとおもいます。

editbinのオプションはこちらのmsdnサイトを参考にしてください。

まあさっさと64bitに移行すればいいだけなんですけどねぇ。。サードパーティーライブラリーも十分対応済みなのでぜんぜん可能だと思うんですが、数年前からの遺産の蓄積があるので腰が重いです。

Linuxならこんなこと心配する必要ないですけどね。。