Polars 1.40.0リリース、グループ化AsOf結合のストリーミング対応やメモリ管理の強化が進む
Python版Polars 1.40.0が公開されました。目玉はグループ化AsOf join(asof結合)のストリーミング処理対応で、over()やcov/corrなど多数の集計処理もストリーミングエンジンに最適化されています。あわせてdataframe interchangeプロトコルの非推奨化や、ロックフリーなメモリ管理機構の導入など、内部実装の刷新も進んでいます。
まとめサイトの記事や機械翻訳ではなく、一次情報だけを追っています。興味のあるトピックだけ選んで読めます。
トピック: polars解除
Python版Polars 1.40.0が公開されました。目玉はグループ化AsOf join(asof結合)のストリーミング処理対応で、over()やcov/corrなど多数の集計処理もストリーミングエンジンに最適化されています。あわせてdataframe interchangeプロトコルの非推奨化や、ロックフリーなメモリ管理機構の導入など、内部実装の刷新も進んでいます。
データ処理ライブラリPolarsのPython版v1.41.0が公開されました。ストリーミングエンジンの安定化、LazyFrame.gatherの追加、ネストしたサブプランの共通化、Parquetメタデータ読み込みの高速化などが主な変更点です。あわせてStringCacheの非推奨化も予告されています。
Polarsの公式リリースノートによると、Rust版Polars 0.55.1が公開されました。PythonのDSLバージョン1.43.2に対応し、パフォーマンス改善・新機能・多数のバグ修正が含まれています。特にhiveパーティション処理の最適化やナイーブなOut-of-Coreスピリング機能の追加が目立ちます。
Rust版Polarsの新バージョン0.54.4がGitHubで公開されました。長らく実験的機能だったstreamingエンジンが安定版として扱われるようになったほか、LazyFrame.gatherの追加やparquetメタデータ読み込みの高速化など、多数の性能改善とバグ修正が含まれています。
Polarsの公式リポジトリからPython Polars 1.42.0がリリースされました。メモリ不足時に自動でディスクへスピルする機能や実験的なstrictモード、SQLの暗黙的JOIN構文サポートが追加され、あわせて多数の性能改善とバグ修正が行われています。一方で文字列から日時型への暗黙的キャストは非推奨となりました。