HOW TO TD(User Engagement)Treasure Data User Engagement

Workflow/Custom Scriptsの利用状況を把握したい時には – Utilization(3) –

ホーム » Workflow/Custom Scriptsの利用状況を把握したい時には – Utilization(3) –

はじめに

カスタマーレプレゼンタティブチームの関川 誠です。

Utilization機能の第3回は、第1回のインポート件数第2回の総件数に続き、今回はTreasure WorkflowとCustom Scriptsの利用状況を確認できるWorkflow Utilizationをご紹介します。

こちらの記事はご契約企業様のみに公開しておりますので自社ドメインのメールアドレスでログインください。当社サービスに関するお問い合わせはこちらからお願いいたします。

ログイン

Treasure Workflowは、トレジャーデータの創業メンバーの古橋が開発、オープンソースとして公開しているワークフローエンジンdigdagをTreasure Data CDP上でホスティングし提供しているものです。JOBを柔軟に制御できるので多くのお客様に活用いただいていますが、トレジャーデータでもCDP機能の処理の制御に利用しています。

一方、Custom Scriptsは、Treasure WorkflowからPythonスクリプトを実行できる機能です。他システムのAPIをコールしてデータを取得・送信したり、Pythonベースの機械学習を実行したりと広く利用いただける機能です。

これらの利用状況を把握できるダッシュボードが今回紹介する「Workflow Utilization」です。他のUtilization画面と同様、管理者権限でTDコンソールにログイン、スパナマークのControl Panelからアクセスできます。


Workflow Utilizationで提供している情報

Document内で詳しくご説明していますので、詳細は割愛しますが、以下のような情報を確認できます。

  • 過去2週間、日次でのWorkflow単位の処理時間推移(User Defined Workflow Attempts – Last 14 Days)
  • 日単位、月単位でのCustom Script実行時間(This Month’s Custom Script Run Duration / Monthly Custom Script Hours – Last 12 Months)
  • Project/Workflow名ごとの当月・前月の処理数・実行時間詳細(User Defined Workflow Summary – Last 2 Months)



こちらが画面イメージですが、マウスオーバーでWorkflow名が表示されるため、処理時間の見直しをされる際の参考として便利にお使いいただけるかと思います。

Custom Scriptの実行時間について

Workflow UtilizationではCustom Scriptに今月の残時間(Remaining custom script hours this month)や上限(Allocated Hours)の記載がありますが、これらは契約内容をベースとしており、標準では以下の仕様となっています。

  • 月間利用時間 100時間
  • 仮想1CPU、メモリ8GB、ディスク10GB

こちらで処理時間や処理能力が不足する場合には、追加する有償オプションを用意しているので、担当のカスタマーサクセスまでお声がけください。

Workflow活用での留意事項

一方、Workflowでは、同時実行数や最大の実行時間などに制限があります。複雑なWorkflowや処理時間の管理が必要なものについては、分散させる、処理の整理が必要となるケースがあります。制限の詳細は、こちらのドキュメントを参照ください。

関川 誠

Customer Representativeチーム

1992年に日米合弁のコンピュータメーカに入社、その後、複数のIT企業で広報、マーケティングを担当。前職ではOSSに特化したSIベンチャーで、システム提案から開発、保守・運用までの管理を経験。この間にオンプレミスからクラウド・SaaSへの流れを体感。2015年、トレジャーデータに参画し、直販営業、パートナ営業を経て、2018年よりカスタマーサクセスを担当。現在は、金融、エレクトロニクス、流通、アドテク、メディアといった複数領域のお客様支援をパートナー様とも連携しながら推進。

得意領域 : データアライアンス、リソース管理

Back to top button