Salesforceの実に30世代目となるバージョンアップ「Winter '10」で、新たに「Bulk API」が追加されました。
EAIの製品強化（DCSpider）や、APIを利用した開発を多く手掛けるため、新たなAPIの登場はとっても気になりますね。
ということで、遅ればせながら調べてみました。
クラウド上でシステム開発を行った場合、しばしば大量データの初期移行や、大量データを伴う
システム連携（バッチ処理）のパフォーマンスが問題になります。
パフォーマンス問題の多くの理由に、その処理時間の多くを
データ通信時間が占めているケースがあります。
これは、クラウド・サービスがインターネット上にあり、インターネットを介して
データを流通させる以上、避けては通れない課題であります。
Salesforce（Force.com）の場合、APIを介したデータの読取りや更新はSOAPにより行い、
例えば、レコードを追加したい場合には、最大200件のレコードを
1回のSOAPメッセージにまとめて送信できるよう工夫されています。
さらに、gzipやdeflateをサポートしているので、httpリクエスト自体を圧縮し、
データ通信量を減らすことも可能です。
※データ読取りの場合ですと、例えば6000件のデータが読取り対象となった時、
一度に2000件ずつ、3回のSOAPメッセージの交換で読取ることができます。
この工夫により、データ更新時におけるデータ通信量やSOAPメッセージの
交換回数を減らすことが可能となりますが、レコードの追加対象が
数十万や数百万件のレベルに達すると、SOAPメッセージの冗長さや、
SOAPメッセージ交換にかかる通信時間は、見過ごせないレベルに達します。
このような問題を解決するのが、「Bulk API」です。
Bulk APIでは、例えばレコードを更新したい場合、
SOAPメッセージにレコード情報を含めるのではなく、SOAPメッセージに
CSV、あるいはXML形式のファイルを添付し、
サーバサイドでファイルをローディングし、非同期にデータ更新を実施します。
この方式により、従来と比較して大幅な処理時間短縮を実現しているわけです。
この処理方式を単純に説明すると、SalesforceにはインポートウィザードというCSVファイルを
会話形式にロードする機能が提供されており、ロードされたデータはインポートキューに
蓄えられてモニタ可能であり、そのインポート処理は非同期に実施されます。
これと似たようなことが、APIを介して実現できるようになったと考えると判り易いでしょう。
実際に、Bulk APIを利用した場合、「一括データ読み込みジョブの監視」としてSalesforceの
管理画面でジョブの実行状況をモニタすることが可能です。
尚、Bulk API は、 Salesforceが無償提供する
ApexDataLoader 17.0 が既に対応済みです。
また、Bulk API を使用するサンプルコードも提供されています。
興味ある人、早速 Bulk API 評価・検証してみましょう！
コメントする