データ総件数が超過しそうな時には – Utilization (2) –
カスタマーレプレゼンタティブチームの関川誠です。
Utilization機能の第2回、前回のインポート件数に続き、今回は総件数超過への対応についてご紹介します。Utilization機能の概要やアクセス方法は、前回のはじめにをご参照ください。
総件数は、ご契約のTreasure Data CDPアカウント上に存在するデータの総件数で、全てのデータベース、テーブルの総行数です。契約値としては日次の合計をその月の日数で割った月間平均を採用しています。
対象となるデータは、外部からインポートしたものに加えて、TD内部の処理から作られた作業用テーブルなど含め、お客様のTreasure Data CDPアカウント配下の全てが対象です。（Premium Audit Logをご契約のお客さまの場合、Audit Logも件数にカウントされます。）
この上限値はお客様により異なり、Order Form上の「CDP Storage」、「Infrastructure Capacity – Total Rows」、「Total Row Capacity」といった項目（項目名はご契約時期により異なります）で定義されています。
総件数確認のポイント
本来意図したデータ量か、不要なものが残っているか確認が必要です。以下のような理由が考えられます。
- 新たなデータソースを追加したのでインポートに加えて総件数も増加した
- 処理方式を見直し、中間テーブルが生成されるようになった
- プロジェクト初期に使ったテストデータが残っている
- 開発中にテンポラリで作成したデータが残っている
長期の傾向はAverage Records Stored – Last 18 Months
Utilization画面の２列目右端にあるグラフが、過去18ヶ月の月間平均値の推移をあらわします。こちらで長期傾向を把握します。また特定月からの傾向が変わっている場合、過去3ヶ月以内であれば後述の「Actual Records Stored – Last 3 Month」で日次単位の詳細が確認できます。
また、任意の月のグラフ上でマウスをクリックするとドリルダウンメニューが表示され、DB単位の件数が表示されます。こちらを利用し、簡易的に過去と見比べるこで、原因となっているDBの推測も可能です。
日々の変化と件数の多いデータベースを確認「Actual Records Stored – Last 3 Month」
Utilization画面の最上段右にあるグラフが日々の総件数の推移をプロットとした「Actual Records Stored – Last 3 Month」です。こちらは月間平均ではなく日次の集計値のため、徐々に増えているのか、ある特定の日に増えたのか、確認が可能です。また、グラフ上をマウスオーバーし、任意の日付でクリックすることでDB単位のその日の件数が表示されるので、簡易的に過去と見比べるこで、原因となっているDBの推測も可能です。
また、不要データを削除した後も前述の「Average Records Stored – Last 18 Months」は、月間平均のため効果の確認が難しいですが、こちらでは作業の2日後から確認できます。
任意のタイミングで全テーブルのレコード数を記録できるworkflow
ご紹介した方法では、テーブル単位の情報確認ができず、対象DBから調査をしていくことになり、テーブル数が多い場合など、詳細の把握が困難なケースもあろうかと思います。
その際は、Treasure Data CDP環境で便利に利用できるツールやコードをまとめて紹介している「Treasure Boxes」で公開されているワークフロー「Record Row Count of Tables」のご利用をお勧めします。こちらを利用し、毎月末のデータ件数を記録しておけば、いつでもテーブル単位での差分調査が行えます。
確認後の対応について
不要なデータがあった場合には、テーブル単位や、行単位での削除をいただく流れとなりますが、過去の生データあっての分析もございますので、短期的な対応が難しい場合は、カスターサクセス担当までご相談ください。
その他、定期的に不要データを削除することが可能な場合は、対象テーブルにExpire設定をすることで自動的にデータを削除できます。この際、誤って必要なデータを削除してしまっても、タイミングによっては復元できるケースもございます。その際はサポートまで急ぎ連絡してください。
今後も増加が見込まれる場合は、インポート件数と同様にカスタマーサクセス担当と協議いただき、契約値の見直しを進めます。この際、データ量の増加に伴う処理能力不足になっているケースもあるため、計算リソースの見直しも同時に進めることも同様におすすめします。
尚、お客様側の調査で原因特定が難しい場合などは、調査のサポートをいたしますので、カスタマーサクセス担当までご相談ください。
次回は、Presto Utilizationをご紹介します。
