Spotifyの「2019年まとめ」提供、Google Dataflow史上最大のジョブの舞台裏

2019年12月前半に、Spotifyはその年にユーザーが最も多くストリーミング再生した曲を集めた「Wrapped（まとめ）」プレイリストをパーソナライズして提供した。これ自体は以前から提供されているもので特に新しいものではないが、2019年は過去10年間を振り返るプレイリストも提供された。これはかなり大規模のジョブだ。増え続ける無料ユーザーと有料サブスクリプション利用者に向けてどのようにこのプレイリストを生成したのか、Spotifyは舞台裏の一部を明かした。
画像：Frazer Harrison/Getty Images for Spotify / Getty Images
SpotifyがGoogle Cloud Platformの大口利用者であることは、秘密ではない。2016年にSpotifyはGoogle Cloudへの移行を発表し、2018年にはその後の3年間でGoogle Cloudのインフラストラクチャに4億5000万ドル（約500億円）以上を支出する見込みであることを明らかにしている。
同じく2018年、この年のWrappedでSpotifyはGoogle Cloud Platform上で史上最大のGoogle Cloud Dataflowのジョブを実行した。Dataflowは数年前にGoogleが実験を開始したサービスだ。Spotifyのエンジニアリング担当バイス

リンク元