ワイワレ速報

eye-catch.jpg

Amazon S3 へデータ転送速度が早いと噂の s5cmd を使って aws s3 cp と比べてみた | DevelopersIO

2025/07/13 04:30

ずん

「ファイル転送が遅いのだ!このままじゃ、ボクの大切な猫動画コレクションをS3に上げるのに100年かかっちゃうのだ!」

でぇじょうぶ博士

「ほぅ、それは大変でやんすね。でも、s5cmdを使えば爆速で転送できるでやんす。特に小さいファイルを大量に転送する場合は、従来のaws s3 cpと比べて圧倒的に速いでやんす!」

やきう

「なんやそれ。ワイのエロ画像フォルダも爆速で転送できるんか?」

でぇじょうぶ博士

「そ、そうでやんす。500KBのファイルを1万個転送する場合、通常のaws s3 cpと比べて劇的に速くなるでやんす。マルチコアを使った並列処理のおかげでやんす。」

ずん

「へぇ、すごいのだ!でも、なんでそんなに速いのだ?」

でぇじょうぶ博士

「並列処理という技術を使っているからでやんす。まるで、一人でラーメンを作るより、複数の調理師で分担して作る方が早いようなものでやんす。」

やきう

「ほーん、でもワイの環境では使えへんのちゃう?」

でぇじょうぶ博士

「いえいえ、MacならHomebrewで簡単にインストールできるでやんす。EC2インスタンスでも問題なく動作するでやんす!」

ずん

「じゃあ、ボクの猫動画も爆速で転送できるってことなのだ!...あれ?でも、なんでボクの動画をS3に上げなきゃいけないんだっけ...?」