*

GCE-S3のベンチマークを計測してみた

公開日: : 最終更新日:2015/11/05 投稿者: GCE ,

GCE(アジアリージョン)⇔S3(東京)で速度検証してみました。
やってみたのは、以下の2パターン

  1. 単純なddコマンドで作成した空ファイルのaws 3s sync コマンドでのコピー
  2. Cosbenchと言うツールによるもの

環境はn1-standard1 の10Gディスクasia-east1-aリージョンのノーマル作成Ubuntu14.1です。

1.単純ファイルコピー

まずは10M×10個のファイルを作成して試してみる。

mkdir cptest
for i in {1..10} ; do dd if=/dev/zero of=cptest/tempfile$i bs=1M count=10; done
time aws s3 sync ./cptest s3://yoshidumi/cptest

gce-s3-01
sync 結果画面

結果:10M×10の100Mコピー(S3へのUp)に5.4秒程度、スループットで約18.5MB/Secなのでまぁまぁ十分と言える感じでしょうか。

次は逆にDLの方をやってみます。

time aws s3 sync s3://yoshidumi/cptest ./cptestout

gce-s3-02
結果:10M×10の100Mコピー(S3からのDown)に2.7秒程度、スループットで37MB/Secなのでこちらもまぁまぁ上りの倍ありますので、十分と言える感じでしょうか。

2.Cosbenchと言うツールによるもの

cosbench については、こちらの記事をまるっきり参考にさせて頂きました。ありがとうございます。
バージョン等は最新のものを使いましたが、概ね同じです。

  1. AIMでユーザ・権限追加
    cosbenchと言う名前でユーザ追加し、権限に「Amazon S3 Full Access」の権限を付ける。
    ここで、バケットに誰でもフルアクセスにすりゃ認証無しで良いのでは?と思い、色々試しましたが、結果うまくいかなかったため、おとなしく権限を割り当てた方が無難です。
  2. Ubuntuを起動してcosbenchのインストール
    14.1でも動きました。
    これも上述の記事にあるようにAWS荒木さんの記事の通りですが。
    GCEの場合はFWで18088と19088ポートを開ける必要がありますので、ご注意ください。
  3. 設定ファイルの修正
    こちらも記事通りですが、accesskeyとsecretkeyを1で作成したものにして、endpointを以下のように東京リージョンに向けてやります。

    <storage type=”s3″ config=”accesskey=XDFADFSDFSDF;secretkey=dafdsafadsfasdfasdfasdfasd;endpoint=s3-ap-northeast-1.amazonaws.com” />

    各configのcprefixは特にどうやら後ろに数字を付けて使われてないバケットを探してくれるようなので、特にデフォルトのままでも動きそうです。

  4. Workloadの投入
    以下のようなURL(当然IP部分はcosbenchをインストールしたGCEのインスタンス)にアクセスし、
    http://107.167.XXX.XXX:19088/controller/index.html
    「submit new workloads」から先ほど作成したコンフィグをUpすればOKです。
  5. 結果
    以下のような結果が得られます。

gce-s3-03
最初に上げた稲葉氏のAWS間での結果と比べると概ね倍位は遅くなってる感じでしょうか。まぁ仕方ないですね。
残念ながらcosbenchはGCSには未だ対応してないので、GCE-GCS間では検証が出来ませんが、毎秒65回の読みであればまぁ悪く無いように思います。
ボトルネックがどこにあるのか、サーバのCPU等は全く問題なかったので、次回はコンフィグを弄り、もっと並列負荷を掛けてみてどの程度のスループットが出せるのか、確認してみたい所です。

この記事を書いた人

ayatoshi
ayatoshi
徳島県出身、吉積情報株式会社最高技術責任者
愛光高校、東京大学卒業後、アクセンチュアにて5年間システム開発を経験。
CP300のアジア初取得者。
Google基盤上でのシステム開発の普及を目標として日々活動中。

関連記事

2016/2/24 GCE vs AWS vs Azure ベンチマーク

2016/02/24 GCE vs EC2 vs Azureベンチマーク 本シリ

記事を読む

2016/04/19 GCE vs AWS vs Azure ベンチマーク

2016/04/19 GCE vs EC2 vs Azureベンチマーク 本シリー

記事を読む

2015/07/03 GCE vs AWS ベンチマーク

2015/07/03 GCE vs AWS ベンチマーク 本シリーズでは定期的にGCEとEC2のベ

記事を読む

2016/12/27 GCE vs AWS vs Azure ベンチマーク

2016/12/27 GCE vs EC2 vs Azureベンチマーク 本シリー

記事を読む

2016/05/09 GCE vs AWS vs Azure ベンチマーク

2016/05/09 GCE vs EC2 vs Azureベンチマーク 本シリ

記事を読む

2015/11/18 GCE vs AWS ベンチマーク

2015/11/18 GCE vs AWS ベンチマーク 本シリーズでは定期的に

記事を読む

無料で使えるLet’s EncryptをGCEに設定しよう

無料で使えるSSL証明書発行サービス Let’s Encrypt とは? 2015年12月3日、無

記事を読む

2016/11/07 GCE vs AWS vs Azure ベンチマーク

2016/11/07 GCE vs EC2 vs Azureベンチマーク 本シリー

記事を読む

[GoogleAPI千本ノック] Google Cloud Deployment Managerを試してみた

GoogleのAPIを隔週で片っ端から紹介する、GoogleAPI千本ノックという特集を開始致します

記事を読む

GCEの超絶性能!100秒で1000コア起動!

ちょっとふとしたことがあり、GCEで1000コア立ち上げるのにどのくらい時間がかかるだろうと思って、

記事を読む

PAGE TOP ↑