python

python †

オブジェクト指向のスクリプト言語．numpy など数値演算ライブラリがあって，数値計算にも使える．数値計算関連は numpy を参照のこと．

-- しましま

関連項目 †

• numpy
• Freeware
• 機械学習#Freeware
   
• 検索:python

リンク集 †

NumPy / SciPy 関連の資料は NumPyの項目 にあります．

python一般 †

• python.org：公式サイト
  • Wiki
  • Package Index
• iOS用Python環境
  • Computable
  • Python for iOS
  • Python Math
  • PyPad
  • Pythonista

英語資料

• Python Course：Python のいろいろなトピックについての講義を集めたサイト
• Python Quick Reference @ Richard Gruet (旧版 日本語訳)
• Google's Python Class
• OLamp.com -- Python Dev Center：O'Reillyのpython関連ニュース
• Python Miro Community：チュートリアル講演ビデオのポータル
• Wikipedia:Python_(programming_language)
• Python tools that everyone should know about @ Reddit

日本語資料

• Python Japan UG：日本のユーザグループ
• PythonMatrixJp
• 配列操作の比較表，文字列操作の比較表 @ bkブログ
• 魅力的な Python: mechanize と Beautiful Soup を使って Web データの収集を簡単に行う @ IBM developerWorks
• pythonで心理実験
• Wikipeida.jp:Python

開発環境 †

• IntegratedDevelopmentEnvironments@python.org
   
• PyDev：Eclipseプラグイン
• ERIC
• Ninja-IDE
• Spyder
• pyscripter
• pycharm：十分使える無料版もある

クラウド実行環境 †

• iMath Cloud
• IPython Notebook on Azure：MSのクラウドAzure上のipython notebook
• NotebookCloud：Amazon EC2上のipython notebook
• PythonAnywhere：Python重視のクラウド
• SageMathCloud：ワシントン大が運営
• StarCluster：AWS EC2上に環境を作るソフト
• Wakari.IO：iPython notebookをクラウド上で使える

機械学習系ライブラリ †

レポジトリ †

• mloss:Python：機械学習ソフトレポジトリ (pythonタグ)
• Mathematical and Scientific Processing in Python：数値計算や数学関連のpythonパッケージリンク集
• Python recipes @ ActiveState Code：python のレシピ集

数値計算 †

• NumPy / SciPy 関連ライブラリ
  • 数値計算用の numpy/scipy については numpy を参照のこと
  • bottleneck：NaN 扱うsumなど，いくつかのnumpy関連関数の高速版
  • numexpr：行列の要素ごとの演算をまとめて実行して高速化
• sympy：数式処理
• SAGE：数値計算統合環境
  • 気軽に使える数式処理システムSage 数式処理, vol.18, no.2 (2012)

• Blaze：Numpy を大規模データに適用できるよう拡張
• Divisi2：疎行列特異値分解
• GMPY：任意精度演算 libgmp 用API
• mpmath：任意精度演算
• PAIDA：科学分析
• petsc4py：数値計算ライブラリPETScのPythonラッパー
• pygsl：GNU Scientific Libraryのpythonラッパー
• Pysparse：疎行列演算用
• quaternionarray：四元数の配列
• slepc4py：大規模固有値問題ライブラリ SLEPc 用のラッパー

最適化・方程式ソルバー †

• Tensorflow：自動微分・最適化
• cvxopt：凸二次最適化など最適化一般

• APGL：グラフ系のアルゴリズム
• BayesOpt：ベイズ最適化，非線形最適化やバンディット
• Coopr：数理計画の Pyomo と確率的計画の PySP
• em-python：EMアルゴリズム
• FEniCS：偏微分方程式
• FiPy：偏微分方程式
• kmpfit：MPFITを用いた最小二乗法
• Maximum Entropy Modeling Toolkit for Python and C++：最大エントロピー，準Newton法
• minfx：非線形数値最適化
• nlpy：線形計画・非線形計画を含む最適化
• OpenOpt：線形計画などの最適化
• pulp：線形計画，整数計画
• PyClaw：偏微分方程式のソルバーClawpackのラッパー
• pycoast：SATソルバー
• pyFM：factorization machine
• PyMinuit2：数値計算ライブラリ ROOT を用いた非線形数値最適化
• pymanopt：多様体上の最適化
• pyomo：Python Optimization Modeling Objects
• pyOpt：非線形最適化
• PySAL：空間分析
• sfepy：偏微分方程式

機械学習・統計 (総合) †

• scikit-learn：基本的な機械学習・多変量解析
  • External Resources, Videos and Talks
  • Olivier Grisel @ Speaker Deck： Olivier Grisel さんのスライド
  • MLxtend：拡張ユーティリティ
  • Ramp：pandas/scikit-learn/rpy2 を用いた機械学習処理のプロトタイピング
  • statmodels：統計系の予測・検定手法，Rのような文字列による関数指定が使える
  • scikit-survival：生存分析
  • scikit-optimize：ベイズ最適化など最適化しにくい関数の最適化
  • ベンチマーク
• Orange：統合データマイニングツール．GUIで操作
• Shogun：SVMを中心とする機械学習環境

• augustus：PMMLで記述したモデルの作成
• Bob：信号処理・基本的なあてはめ-Elephant：カーネル系の方法中心
• mdp (Modular toolkit for Data Processing)：独立成分分析など
• Milk：libsvmのラッパ
• mlpy (machine learning py)
• Monte - machine learning in Python：勾配降下法で最適化するモデルの学習
• Oger：モジュール化した機械学習の実行環境．いくつかのアルゴリズムは実装済み．
• pigpy：Hadoop上のデータ分析プラットフォーム Apache Pig を制御する
• PyBrain：ニューラルネット系と強化学習に強い
• PyML：Python machine learning package (SVM, 再近傍法, リッジ回帰)
• PyMVPA：基本的な機械学習・多変量解析
• PyVowpal：オンライン最適化を使った高速学習ライブラリ Vowpal Wabbit のラッパー
• Statsmodels：統計系の予測モデル
• yaplf (Yet Another Python Learning Framework：パーセプトロン, 多層パーセプトロン, SVM

機械学習 (個別) †

深層学習

• Keras
  • Distributed Keras
• PyTroch

ベイズ推定

• pyMC：MCMCでベイズ推定
  • pyMC tutorial by Chris Fonnesbeck
  • Probabilistic Programming and Bayesian Methods for Hackers
• PyStan：MCMCによるベイズ推定

• Infer.py：変分ベイズによるベイズ推論
• OpenBayes：ベイジアンネット
• pebl：ベイジアンネットの構造推定
• pybayes：ベイジアンネット
• PyGPs：ガウス過程

機械学習の説明

• AIX360：機械学習の説明アルゴリズムのライブラリ
• ELI5：機械学習結果の可視化
• LIME：LIMEアルゴリズム
• MLxtend：機械学習結果の可視化
• yellowbrick：機械学習結果の可視化

• apricot：代表的な標本をサブモジュラ最適化で選択
• BayesPy：ベイズの変分推論
• Bolt：確率的勾配降下法を用いた回帰やSVM
• Causal Discovery Toolbox：因果推論
• Cornac：マルチモーダル推薦システム
• Crab：協調フィルタリング
• emcee：マルコフ連鎖モンテカルロ
• FATE：連合学習
• ffnet：多層パーセプトロン
• Gambit：ゲーム理論
• GluonTS：時系列ニューラルネット
• Kymatio：ウェーブレット散乱
• libcluster：ベイズ・ノンパラメトリックベイズ系のクラスタリング手法
• liblinear2scipy：高速SVM LIBLINEAR のラッパ
• liblinear：SVMなどの線形モデル，pythonブリッジが同梱されている
• libsvm：pythonブリッジが同梱されている
• lifelines：生存分析
• LogPy：論理プログラミング
• Mrec：推薦システム．Mendley謹製
• mvlearn：多視点学習
• NeuroTools：ニューラルネット
• Nimfa：行列分解
• nolearn：ニューラルネットワークのライブラリLasagneのラッパー
• ONLamp.com -- Building Decision Trees in Python：決定木
• Peach：ニューラルネット, ファジィ論理, 遺伝的アルゴリズム
• patsy：統計モデルの記述
• Prophet：時系列予測
• pyDML：距離学習
• pyevolve：遺伝的アルゴリズム
• PyFlux：自己回帰・状態空間モデルによる時系列分析
• PyGP：遺伝的プログラミング
• pyhtk：隠れMarkovモデルツールキット HTK のラッパ
• pymaBandits
• PyMF：行列分解
• PyMLNs：Markov論理ネット
• PyNN：ニューラルネット
• PyOD：はずれ値検出・異常値検出
• Python-ELM:Extreme Learning Machine
• python-recsys：特異値分解による推薦システム
• pyts：時系列分類
• PyWavelets：ウェーブレット
• Reverend：ベイズ識別
• River：データストリーム
• RLPy：強化学習
• sciket-network：ネットワーク分析
• Shapely：計算幾何
• sklvq：ベクトル量子化
• SnapPy：位相幾何と多様体の学習用
• surprise：推薦システム（近傍法，行列分解）
• SVM python：SVM lightのラッパ
• SOM Python：自己組織化マップ
• Tslearn：時系列

可視化 †

• Matplotlib：2次元プロット
  • チートシート
  • basemap：地図
  • Matplotlib Style Gallery
  • prettyplotlib：表示スタイルの改良
  • Seaborn：表示スタイルの改良
• Bokeh：HTML5 Canvasによる表示
• Plotly：SVG/d3jsによる表示

• Gruffy：Python用グラフ作成モジュール
• igraph：グラフの処理．python のラッパあり
• Mayavi：3次元可視化
• mpdd3：SVG/d3jsによる表示
• ParaView：3次元可視化
• pydot：Graphviz 用API
• pygraphviz：Graphviz 用API
• python-ggplot：R で著名な ggplot のpython版
• PyX (Python graphics package)：LaTeXのpicture環境風の記述でPS/PDFを生成
• VPython：3次元データ表示
• Visualization Toolkit (VTK) (Using VTK Through Python)：3次元可視化
• SVGMath：MathMLをSVGへ変換
• svgplotlib：Python用SVG出力ライブラリ
• Vincent：可視化言語Vegaを経由してd3jsで表示
• Vispy：OpenGLで対話的な可視化

応用系 †

• pandas：データフレーム操作
  • pandas-profiling：データフレームの要約統計量をまとめて表示
  • geopandas：地理空間情報表示
  • modin：高速化
  • qgrid：IPython内でデータフレームを対話的に操作
  • Statistical Data Analysis in Python by Chris Fonnesbeck

• ctypes-opencv：画像処理ライブラリOpenCVのラッパ
• Feature Forge：特徴量の管理
• GADMM：機械学習用の分散フレームワーク
• Gensim：情報検索のベクトル空間モデルの処理，トピックモデル
• IEPY：情報抽出
• Natural Language Toolkit (NLTK)：自然言語処理
• Nilearn：脳科学用のイメージング
• NetworkX：グラフやネットワーク
• Pattern：Webマイニング
• PIL (Python Imaging Library)：画像データ処理
• Polars：データフレーム操作
• PyCV：OpenCVへのラッパ．顔認識，ブーステイング
• pyeuclid：ゲーム・グラフィックス用 2次元-3次元変換
• pygame：ゲーム用演算・グラフィックス
• python-graph：グラフ
• PyLucene：オープンソース検索エンジン Lucene のpython API
• pynopticon：bag of featuresによる物体認識
• PyVision - Computer Vision Toolkit：OpenCV や SciPy の上位モジュール
• scikits.audiolab：音声データ処理
• scikit-image：画像処理
• SimpleCV：OpenCVのラッパだが，そのままAPIをpythonにしたのではなく，簡単に使えるようにした
• SpaCy：自然言語処理
• Vaex：データフレーム操作

その他機械学習・数値計算関連 †

• aima-python：Artificial Intelligence A Modern Approach のアルゴリズムをpythonで実装
• giotto-tda：トポロジカルデータ分析
• Machine Learning Samples：機械学習コードのサンプル
• oTree：社会科学用のプラットフォーム
• PyDataset：オープンのデータ集合
• pydee：matlab風開発環境
• Pyro (Python Robotics)：シミュレーション環境など
• pyspkrec：話者認識
• quepy：自然言語処理クエリをSQLに変換
• REP (Reproducible Experiment Platform)：実験環境の管理
• Reinforcement Learning Toolkit：強化学習をする仮想環境
• Sumatra：実験環境の履歴管理

その他のPython関連のライブラリ †

コンパイラ・実装 †

• Python Implementations

• Cython：PythonのC拡張をpython風に書ける
  • Cython for NumPy users
  • Cython tutorial @ SciPy2009
  • 日本語マニュアル
• Numba：NumPy用コンパイラ
• PyPy：高速なPython実行系だが使えるコマンドには制約があり RPython と区別して呼ばれる．numpy については numpypy が開発中．
  • rpythonic：RPythonの拡張で，Cなどの呼び出しが容易になり，standaloneのバイナリが生成できる．
• Pythran：C++への変換
• Shed Skin：C++への変換

ファイル処理・データ処理 †

• ARFF Package：Wekaの標準データフォーマットARFF形式．scipy.io.arff は読み込みだけだが，これは書き出しもできる．
• csvkit：csv や json のデータの変換や要約統計量の計算
• Fuel：MINIST などの代表的なデータ集合を扱う
• GDAL (Geospatial Data Abstraction Library)
• h5py (HDF5 for Python)：数値データ管理ライブラリ HDF5 用API
• IDLSave：数値演算ソフトIDLのsaveファイルの読み込み
• marisa-trie：データ構造 trie
• PDFMiner：PDF
• pyExcelerator：Excel
• PyKEEN：知識グラフの埋め込みベクトル変換
• Pykg2vec：知識グラフのベクトル表現
• Pyvot：Excelファイルの相互変換
• pyXML：XMLファイル
• ReportLab：PDF，XML
• skdata：機械学習用の実験データの取得
• xlutils：Excel (xlwtとxlrdが必要)

他のソフトとの連携 †

• Integrating Python with Other Languages @ python.org
• Using Python/OpenOpt with other languages @ Openopt
   
• Boost.python：C++のBoostライブラリのラッパー
• Brython：Javascript上のPython実行環境
• f2py：Fortran⇒pythonコンバータ
• java2python：java⇒pythonコンバータ
• JPype：javaライブラリをpythonで使う
• PyCall.jl：PythonからJuliaを呼び出し
• LiberMate：matlab⇒pythonコンバータ
• Lunatic Python：Luaとのデータ相互通信
• matpy：matlabからpythonの呼び出し
• mlabwrap：matlab用ラッパー
• ompc (An Open-Source MATLAB®-to-Python® Compiler)
• Pweave：Python を呼び出してその出力を，LaTeX 文書に埋め込む
• Pyjs：Python⇒Javascript
• pym：matlab⇒pythonコンバータ
• pythontex：PythonコードをTeXで表示
• python-weka-wrapper：Weka の学習アルゴリズムをpythonから呼び出す
• railgun：C言語との連携 (ナンクル力学系)
• Rpy：R用ラッパー
• RPython：R用ラッパー
• unPython：python⇒Cコンパイラ
• Skulpt：Javascript上のPython実行環境

分散・並列処理 †

• ParallelProcessing @ python.org

• disco：MapReduce の実装
• mpi4py：並列ライブラリ MPI 用API
• Parallel Python：並列化
• PyCUDA：GPGPUのCUDA
• python::OpenCL：OpenCLによるGPGPU
• PyTrilinos：線形代数の並列計算
• Writing An Hadoop MapReduce Program In Python：クラスタマシンで計算

その他 †

• Django：Webアプリケーションフレームワーク
  • django：国内ユーザグループ
• Epydoc：API文書生成
• ipython：対話的実行環境
• Kivy：クロスプラットフォームUI
• Luigi：複数の依存したジョブをパイプライン実行する
• pychecker：文法・書式チェッカ
• pydap：Network Data Access Protocolのpython実装
• Pydev：python用のEclipseプラグイン
• pylint：文法・書式チェッカ
• PyOpenGL：OpenGLのPython API
• PySide：Qt を使ったクロスプラットフォーム GUI
• pyspread：表計算ソフト
• PyTables：大規模なデータのメモリ上での管理
• Quantities：物理量の単位変換など
• Scrapy：Web spider
• Sphinx：文書作成
  • Sphinx-Users.jp：日本語マニュアル，チュートリアルなど
• wxPython：python用widget
  • wxPython Index：日本語の解説
• Zope：Webアプリケーションサーバ
  • 日本Zopeユーザ会

関連文献 †

Python全般の入門書 †

• みんなのPython
  • 簡潔にPythonの基本をまとめたよいチュートリアル
• はじめてのPython
  • 『みんなのPython』より踏み込んだ内容．翻訳のタイムギャップでやや古くなりつつある．
• Pythonポケットリファレンス
  • 一通り勉強したあとに参照するリファレンス本として便利

Numpy の基本 †

• Python Scripting for Computational Science
  • 数値演算用の numpy や図の描画など科学計算に必要なことに加え，C など他の言語との連携についても詳しい
  • サポートページ
• A Primer on Scientific Programming with Python
  • 『Python Scripting for Computational Science』と同じ著者の本．Pythonの基礎部分を強化して，Numpyなどの説明は縮小されている．
  • サポートページ
• Guide to NumPy
  • Numpy のリファレンスを書籍にしたもの．無料でダウンロードできるが，numpy プロジェクトへの寄付を募っている．
• SciPy and NumPy
  • Numpy などを使って何ができるかのサンプルを通じて紹介する本．ページ数が少なく体系的な本ではない
• NumPy 1.5 Beginner's Guide
  • Numpyについての初心者向けの本。Matplotlib, Scipyについての記述も少々。(HW a pythonista 記)
• NumPy Cookbook
  • Numpyと他のライブラリ（PIL, RPy2, Google app Engine, Pandasなど)との連携を浅く広く。一つの事項に対する記述の分量は少ない。(HW a pythonista 記)
• Matplotlib for Python Developers
  • Packt Publishing の入門書 (しましまは未読)
• Learning SciPy for Numerical and Scientific Computing NumPy/SciPy/Matplotlib の基本．特殊関数，信号処理，データマイニング，計算幾何 といった少し踏み込んだ内容の利用例を含む (blog より)
• Beginning Python Visualization — Crafting Visual Transformation Scripts matplotlibやPILによる可視化
• Python High Performance Programming
  • Cython, numexpr, ipython などを使った数値計算の高速化についてよくまとめている

Python を使った数値計算手法・アルゴリズム †

• Machine Learning: An Algorithmic Perspective
  • 機械学習の教科書だが，Pythonのサンプルコードが充実している
  • サポートページ：pythonによる基本アルゴリズムのコードを配布
• Numerical Methods in Engineering with Python
  • 最適化など基本的な数値計算の教科書で，サンプルをpythonで実装 (しましまは未読)
• Machine Learning in Action
  • 機械学習のアルゴリズムの実装をPythonで行う
• あたらしい数理最適化 -GurobiとPython言語で解く-：商用ソルバーGurobiをPythonから使う

Python の各種ライブラリを使った応用 †

• Python for Data Analysis
  • Rのデータフレームと同様の役割のPandasを中心にNumpy, matplotlib, ipython について述べた．データの前処理について詳しい．
• Natural Language Processing With Python
  • 自然言語処理用 nltk 解説．最新の手法で，大規模で実用的というより，手軽に使えるパッケージ
  • 翻訳：入門 自然言語処理
  • サポートページ
• Think Stats - Probability and Statistics for Programmers
  • numpy, scipy, matplotlib を用いた基本的な統計処理
  • 翻訳：Think Stats――プログラマのための統計入門
• Programming Computer Vision with Python - Tools and algorithms for analyzing images
  • PIL の使い方を中心に，基礎的な画像処理．フィルタとかのレベルの処理．オブジェクトの抽出とか認識レベルの処理は対象外．
  • サポートページ
• Mining the Social Web
  • NetworkX や NLTK を使ってソーシャルネットのデータを分析 (しましまは未読)
  • GitHub
• Practical Computer Vision with SimpleCV - The Simple Way to Make Technology See
  • OpenCVなどのラッパで画像処理を容易に利用できる SimpleCV パッケージのチュートリアル (しましまは未読)
• Building Machine Learning Systems with Python
  • scikit-learn, nltk, gensim などいろいろなパッケージを使って，いろいろな分析の例を試せる．
• Practical Data Analysis
  • NumPy, mlpy, PIL, twython, Pandas, NLTK, IPython, Wakari に加え D3.js も入ってるらしい．広く浅くという本っぽい (しましまは未読)