マイクロソフトがクラウド用データ圧縮アルゴリズムとハードウェアをオープンソース化

現在、大手のクラウドコンピューティングのプロバイダが保管しているデータ量は驚愕すべきレベルに達している。そのため、ほとんどの場合、情報はなんらかの方法によって圧縮された状態で保存されているはずだ。それはフロッピーやCD-ROM、低速通信の時代に、ユーザー自身がファイルをzip圧縮していたのと同じようなもの。通常、そのようなシステムは、厳重に秘密のベールで守られている。しかし米国時間3月14日、Microsoft（マイクロソフト）はAzureクラウドで実際に使われている圧縮アルゴリズム、ハードウェア仕様、そしてその回路図を記述するVerilogのソースコードをオープンソース化した。それらすべてをOpen Compute Project（OCP）に寄託したのだ。
Project ZiplineとMicrosoftが呼ぶこのプロジェクトでは、標準的なZlib-L4 64KBモデルと比較して、２倍もの高圧縮率を達成することができる。それを実現するため、Microsoftが実際にクラウド内で扱っている大きなデータセットの性質に合わせて、アルゴリズムと、そのハードウェア実装を念入りにチューンしてある。この仕組みは、システムレベルで動作するため、実質的なオーバーヘッドはない。Microsoftによれば、現在利用可能な他のアルゴリズムと比べても、実際に高いスループットと低いレイテンシを実現できて

リンク元