Professional-Data-Engineer日本語問題集と練習テスト（373問題） [Q160-Q184]

（2024)Professional-Data-Engineer日本語問題集と練習テスト（373問題)

ガイド（2024年最新)リアルなGoogle Professional-Data-Engineer日本語試験問題

質問 # 160
BigQueryによって処理される行数を減らすために使用できる方法はどれですか？

• A. テーブルを複数のテーブルに分割します。パーティションにデータを配置する。 LIMIT句を使用する
• B. テーブルを複数のテーブルに分割します。 LIMIT句を使用する
• C. データをパーティションに配置します。 LIMIT句を使用する
• D. テーブルを複数のテーブルに分割します。パーティションにデータを配置する

正解：D

解説：
If you split a table into multiple tables (such as one table for each day), then you can limit your query to the data in specific tables (such as for particular days). A better method is to use a partitioned table, as long as your data can be separated by the day.
If you use the LIMIT clause, BigQuery will still process the entire table.
Reference: https://cloud.google.com/bigquery/docs/partitioned-tables

質問 # 161
あなたは、オープンソースベースのツールと Google Kubernetes Engine (GKE) を使用してワークフロー パイプライン スケジューリングを実装しています。Google マネージド サービスを使用してタスクを簡素化し、自動化したいと考えています。共有 VPC ネットワークの考慮事項にも対応したいと考えています。あなたは何をするべきか？

• A. ワークフロー パイプラインに Dataflow を使用します。スケジュールには Cloud Run トリガーを使用します。
• B. 共有 VPC 構成で Cloud Composer を使用します。Cloud Composer リソースをホスト プロジェクトに配置します。
• C. ワークフロー パイプラインに Dataflow を使用します。シェル スクリプトを使用してワークフローをスケジュールします。
• D. 共有 VPC 構成で Cloud Composer を使用します。Cloud Composer リソースをサービス プロジェクトに配置します。

正解：D

解説：
Shared VPC requires that you designate a host project to which networks and subnetworks belong and a service project, which is attached to the host project. When Cloud Composer participates in a Shared VPC, the Cloud Composer environment is in the service project. Reference: https://cloud.google.com/composer/docs/how-to/managing/configuring-shared-vpc

質問 # 162
Alモデルを配信するには広告データが必要であり、分析のロングテールと外れ値のデータポイントを特定する必要があります。Alモデルを実行する前に、リールに近い時間でデータをクレンジングする必要があります。

• A. Cloud Composerを使用してロングテールと外れ値のデータポイントを特定し、使用可能なデータセットをBigQueryに出力します
• B. Dataflowを使用して、BigQueryをシンクとしてプログラムでロングテールとアウトバーのデータポイントを識別します
• C. Cloud Storageをデータウェアハウスシェルスクリプトとして使用して処理し、BigQueryを使用して目的のデータセットに対してビューを作成します
• D. BigQueryを使用してデータを取り込み、データを分析してから、クエリを実行してビューを作成します

正解：D

質問 # 163
Flowlogisticの経営陣は、現在のApacheKafkaサーバーがリアルタイムの在庫追跡システムのデータ量を処理できないと判断しました。 Google Cloud Platform（GCP）上に、独自の追跡ソフトウェアを提供する新しいシステムを構築する必要があります。システムは、さまざまなグローバルソースからデータを取り込み、リアルタイムで処理およびクエリを実行し、データを確実に保存できる必要があります。 GCP製品のどの組み合わせを選択する必要がありますか？

• A. Cloud Pub / Sub、Cloud Dataflow、およびLocal SSD
• B. クラウド負荷分散、クラウドデータフロー、クラウドストレージ
• C. Cloud Pub / Sub、Cloud Dataflow、Cloud Storage
• D. Cloud Pub / Sub、Cloud SQL、およびCloud Storage

正解：D

質問 # 164
次のうち、データフローパイプラインについて正しくないものはどれですか？

• A. パイプラインはデータ処理ジョブを表します
• B. パイプラインはインスタンス間でデータを共有できます
• C. パイプラインは一連の操作です
• D. パイプラインはステップの有向グラフを表します

正解：B

解説：
Explanation
The data and transforms in a pipeline are unique to, and owned by, that pipeline. While your program can create multiple pipelines, pipelines cannot share data or transforms Reference: https://cloud.google.com/dataflow/model/pipelines

質問 # 165
MJTelcoは、データを共有するためのカスタムインターフェイスを構築しています。これらには次の要件があります。
*ペタバイト規模のデータセットに対して集計を行う必要があります。
*非常に速い応答時間（ミリ秒）で特定の時間範囲の行をスキャンする必要があります。
Google Cloud Platform製品のどの組み合わせをお勧めしますか？

• A. BigQueryとCloud Bigtable
• B. BigQueryとクラウドストレージ
• C. CloudDatastoreとCloudBigtable
• D. CloudBigtableとCloudSQL

正解：A

質問 # 166
あなたのチームは Google Cloud 上にデータレイク プラットフォームを構築しています。データ基盤設計の一環として、すべての生データを Cloud Storage に保存することを計画しています。1 日あたり約 25 GB のデータを取り込むことが予想されており、請求部門は古いデータを保存するコストの増加を懸念しています。現在のビジネス要件は次のとおりです。
※古いデータはいつでも削除可能
* 現在および過去のレポートに視覚化レイヤーを使用する予定である
* 古いデータにアクセスするとすぐに利用できるようにする必要があります
※データ取得に料金はかかりません。
コストを最適化するには何をすべきでしょうか?

• A. オブジェクト ライフサイクル管理ポリシーを作成して、30 日より古いデータのストレージ クラスをコールドラインに、90 日より古いデータのストレージ クラスをニアラインに変更します。ストレージ クラスのアーカイブ期間は 365 日です。必要に応じて古いデータを削除します。
• B. Autoclass ストレージ クラス機能を使用してバケットを作成します。
• C. オブジェクト ライフサイクル管理ポリシーを作成して、30 日より古いデータのストレージ クラスをニアラインに、90 日より古いデータのストレージ クラスをコールドラインに変更します。ストレージ クラスのアーカイブには 365 日かかります。必要に応じて古いデータを削除します。
• D. オブジェクト ライフサイクル管理ポリシーを作成して、30 日より古いデータのストレージ クラスをほぼ近い値に変更します。コールドラインまであと45日。ストレージ クラスのアーカイブには 60 日かかります。必要に応じて古いデータを削除します。

正解：B

解説：
- Autoclass automatically moves objects between storage classes without impacting performance or availability, nor incurring retrieval costs. - It continuously optimizes storage costs based on access patterns without the need to set specific lifecycle management policies.

質問 # 167
あなたの会社は、30ノードのApacheHadoopクラスターをクラウドに移行しています。彼らは、すでに作成したHadoopジョブを再利用し、クラスターの管理を可能な限り最小限に抑えたいと考えています。また、クラスターの存続期間を超えてデータを永続化できることも望んでいます。あなたは何をするべきか？

• A. Google CloudStorageコネクタを使用するCloudDataprocクラスターを作成します。
• B. データを処理するためのGoogle CloudDataflowジョブを作成します。
• C. HDFSに永続ディスクを使用するGoogle CloudDataprocクラスターを作成します。
• D. 永続ディスクを使用するHadoopクラスターをGoogle ComputeEngineで作成します。
• E. ローカルSSDディスクを使用するHadoopクラスターをGoogle ComputeEngineで作成します。

正解：A

質問 # 168
本番環境で Pub/Sub からデータを取り込むストリーミング パイプラインがあります。改善されたビジネス ロジックでこのストリーミング パイプラインを更新する必要があります。更新されたパイプラインが配信された Pub/Sub メッセージの過去 2 日間を再処理するようにする必要があります。あなたは何をするべきか？
2 つの答えを選択してください

• A. デプロイの 2 日前に Pub/Sub スナップショット キャプチャを使用します。
• B. Pub/Sub サブスクリプションの clear-retry-policy フラグを使用します。
• C. デプロイの 2 日前に新しい Pub/Sub サブスクリプションを作成します。
• D. タイムスタンプを使用して Pub/Sub Seek を使用します。
• E. Pub/Sub サブスクリプションの保持要求メッセージ フラグを使用します。

正解：A、D

解説：
To update a streaming pipeline with improved business logic and reprocess the previous two days of delivered Pub/Sub messages, you should use Pub/Sub Seek with a timestamp and Pub/Sub Snapshot capture two days before the deployment. Pub/Sub Seek allows you to replay or purge messages in a subscription based on a time or a snapshot. Pub/Sub Snapshot allows you to capture the state of a subscription at a given point in time and replay messages from that point. By using these features, you can ensure that the updated pipeline can process the messages that were delivered in the past two days without losing any data. References:
* Pub/Sub Seek
* Pub/Sub Snapshot

質問 # 169
大規模なチーム向けの重要なレポートをGoogleData Studio 360で作成します。レポートでは、データソースとしてGoogleBigQueryを使用します。ビジュアライゼーションに1時間未満のデータが表示されていないことがわかります。
あなたは何をするべきか？

• A. レポート設定を編集してキャッシュを無効にします。
• B. 過去1時間のブラウザの履歴をクリアしてから、仮想化を表示しているタブを再読み込みします。
• C. テーブルの詳細を編集してBigQueryのキャッシュを無効にします。
• D. ビジュアライゼーションを表示しているブラウザタブを更新します。

正解：A

解説：
Explanation
Reference https://support.google.com/datastudio/answer/7020039?hl=en

質問 # 170
フローロジスティックケーススタディ
会社概要
Flowlogisticは、主要なロジスティクスおよびサプライチェーンプロバイダーです。これらは、世界中の企業がリソースを管理し、最終目的地に輸送するのに役立ちます。同社は急速に成長し、鉄道、トラック、航空機、海上輸送などの製品を拡大しています。
会社背景
同社は地域のトラック運送会社としてスタートし、その後他のロジスティクス市場に拡大しました。彼らはインフラストラクチャを更新していないため、注文と出荷の管理と追跡がボトルネックになっています。 Flowlogisticは、運用を改善するために、小包レベルでリアルタイムに出荷を追跡する独自のテクノロジーを開発しました。ただし、Apache Kafkaに基づくテクノロジースタックが処理ボリュームをサポートできないため、デプロイできません。さらに、Flowlogisticは、注文と出荷をさらに分析して、リソースを最適に展開する方法を決定したいと考えています。
ソリューションコンセプト
Flowlogisticは、クラウドを使用して2つの概念を実装したいと考えています。
*荷物の場所を示すリアルタイムの在庫追跡システムで独自のテクノロジーを使用する
*構造化データと非構造化データの両方を含むすべての注文と出荷ログに対して分析を実行し、リソースを展開する最善の方法、情報を拡張する市場を決定します。また、予測分析を使用して、出荷が遅れる時期を早期に把握したいと考えています。
既存の技術環境
フローロジスティックアーキテクチャは、単一のデータセンターに存在します。
*データベース
* 2つのクラスターに8つの物理サーバー
* SQL Server-ユーザーデータ、インベントリ、静的データ
* 3台の物理サーバー
* Cassandra-メタデータ、追跡メッセージ
10台のKafkaサーバー-メッセージ集約とバッチ挿入の追跡
*アプリケーションサーバー-顧客フロントエンド、注文/税関用ミドルウェア
* 20台の物理サーバーにまたがる60台の仮想マシン
* Tomcat-Javaサービス
* Nginx-静的コンテンツ
*バッチサーバー
ストレージアプライアンス
*仮想マシン（VM）ホスト用のiSCSI
*ファイバーチャネルストレージエリアネットワーク（FC SAN）-SQLサーバーストレージ
*ネットワーク接続ストレージ（NAS）イメージストレージ、ログ、バックアップ
* 10個のApacheHadoop / Sparkサーバー
*コアデータレイク
*データ分析ワークロード
* 20のその他のサーバー
* Jenkins、監視、要塞ホスト、
ビジネス要件
*生産のスケーリングされたパンティーを使用して、信頼性と再現性のある環境を構築します。
*分析のために一元化されたデータレイクにデータを集約する
*履歴データを使用して、将来の出荷の予測分析を実行します
*独自の技術を使用して、世界中のすべての出荷を正確に追跡します
*新しいリソースの迅速なプロビジョニングを通じて、ビジネスの俊敏性とイノベーションの速度を向上させます
*クラウドでのパフォーマンスのためにアーキテクチャを分析および最適化する
*他のすべての要件が満たされている場合は、クラウドに完全に移行します
技術要件
*ストリーミングデータとバッチデータの両方を処理します
*既存のHadoopワークロードを移行する
*アーキテクチャがスケーラブルで弾力性があり、企業の変化する要求に対応できるようにします。
*可能な限りマネージドサービスを使用する
*データの飛行と静止を暗号化する
*本番データセンターとクラウド環境の間にVPNを接続するSEOステートメント私たちは急速に成長したため、インフラストラクチャをアップグレードできないことが、さらなる成長と効率を実際に妨げています。私たちは世界中の貨物を移動するのは効率的ですが、データを移動するのは非効率的です。
顧客がどこにいて、何を出荷しているのかをより簡単に理解できるように、情報を整理する必要があります。
CTOステートメント
ITは私たちにとって優先事項ではありませんでした。そのため、データが増大するにつれて、テクノロジーに十分な投資をしていません。私にはITを管理する優れたスタッフがいますが、彼らはインフラストラクチャの管理に忙しく、データの整理、分析の構築、CFOの実装方法の理解などの本当に重要なことを彼らに行わせることができません。追跡技術。
CFOステートメント
私たちの競争上の優位性の一部は、出荷と配達が遅れた場合にペナルティを課すことです。出荷が常にどこにあるかを知ることは、当社の純利益と収益性に直接的な相関関係があります。さらに、サーバー環境の構築に資本を投入したくありません。
Flowlogisticは、主要な分析システムとしてGoogle BigQueryを使用したいと考えていますが、BigQueryに移行できないApacheHadoopおよびSparkワークロードがまだあります。 Flowlogisticは、両方のワークロードに共通のデータを保存する方法を知りません。彼らは何をすべきですか？

• A. Avroとしてエンコードされた一般的なデータをGoogle CloudStorageに保存します。
• B. Google CloudDataprocクラスターのHDFSストレージに共通データを保存します。
• C. 共通データをBigQueryに保存し、承認されたビューを公開します。
• D. 共通データをパーティションテーブルとしてBigQueryに保存します。

正解：C

質問 # 171
Cloud Storage には、データ サイエンス チームがモデルで使用したいさまざまなファイルがあります。現時点では、ユーザーには Cloud Storage 内のデータを探索、クレンジング、検証する方法がありません。あなたは、データ サイエンス チームが Cloud Storage 内のデータを迅速にクレンジングして探索するために使用できるローコード ソリューションを探しています。あなたは何をするべきか？

• A. Cloud Storage 内のデータを準備、検証、探索するために、データ サイエンス チームに Dataprep へのアクセスを提供します。
• B. BigQuery で外部テーブルを作成し、必要に応じて SQL を使用してデータを変換します。データ サイエンス チームが生データを調査するために外部テーブルにアクセスできるようにします。
• C. データを BigQuery に読み込み、SQL を使用して必要に応じてデータを変換します。データ サイエンス チームが生データを探索するためのステージング テーブルにアクセスできるようにします。
• D. データ サイエンス チームに Dataflow へのアクセスを提供し、生データを準備して検証し、データ探索のために BigQuery にデータを読み込むためのパイプラインを作成します。

正解：A

解説：
Dataprep is a low code, serverless, and fully managed service that allows users to visually explore, cleanse, and validate data in Cloud Storage. It also provides features such as data profiling, data quality, data transformation, and data lineage. Dataprep is integrated with BigQuery, so users can easily export the prepared data to BigQuery for further analysis or modeling. Dataprep is a suitable solution for the data science team to quickly and easily work with the data in Cloud Storage, without having to write code or manage infrastructure. The other options are not as suitable as Dataprep for this use case, because they either require more coding, more infrastructure management, or more data movement. Loading the data into BigQuery, either directly or through Dataflow, would incur additional costs and latency, and may not provide the same level of data exploration and validation as Dataprep. Creating an external table in BigQuery would allow users to query the data in Cloud Storage, but would not provide the same level of data cleansing and transformation as Dataprep. Reference:
Dataprep overview
Dataprep features
Dataprep and BigQuery integration

質問 # 172
Cloud Pub / Subトピックからメッセージを受信し、その結果をEUのBigQueryデータセットに書き込むCloudDataflowでパイプラインを実行しています。現在、パイプラインはeurope-west4にあり、最大3つのワーカー、インスタンスタイプn1-standard-1があります。ピーク時には、3つのワーカーすべてが最大CPU使用率になっているときに、パイプラインがレコードをタイムリーに処理するのに苦労していることに気付きました。パイプラインのパフォーマンスを向上させるために実行できる2つのアクションはどれですか？ （2つ選択してください。）

• A. CloudDataflowワーカーに大きなインスタンスタイプを使用する
• B. 新しいデータのバッファーとして機能する一時テーブルをCloudBigtableに作成します。パイプラインに新しいステップを作成して最初にこのテーブルに書き込み、次にCloudBigtableからBigQueryに書き込むための新しいパイプラインを作成します
• C. 最大ワーカー数を増やす
• D. CloudDataflowパイプラインのゾーンを変更してus-central1で実行する
• E. 新しいデータのバッファーとして機能する一時テーブルをCloudSpannerに作成します。パイプラインに新しいステップを作成して最初にこのテーブルに書き込み、次にCloudSpannerからBigQueryに書き込む新しいパイプラインを作成します

正解：A、E

質問 # 173
オンプレミスのデータ ウェアハウスを BigQuery に移行しています。アップストリーム データ ソースの 1 つは、パブリック IP アドレスのないオンプレミス データセンターで実行される MySQL データベースにあります。BigQuery へのデータ取り込みが安全に行われ、パブリック インターネットを経由しないようにする必要があります。どうすればよいでしょうか。

• A. Datastream を使用して、オンプレミスの MySQL データベースから BigQuery にデータを複製します。接続方法として Forward-SSH トンネルを使用し、オンプレミス データセンターのトンネル サーバーを介して Datastream とオンプレミスの MySQL データベースの間に安全なトンネルを確立します。Datastream で接続プロファイルを設定するときは、暗号化タイプとして [なし] を使用します。
• B. Datastream を使用して、オンプレミスの MySQL データベースから BigQuery にデータを複製します。オンプレミスのデータセンターと Google Cloud の間に Cloud Interconnect を設定します。接続方法としてプライベート接続を使用し、VPC ネットワーク内の IP アドレス範囲を Datastream 接続構成に割り当てます。Datastream で接続プロファイルを設定するときは、暗号化タイプとしてサーバーのみを使用します。
• C. Datastream を使用して、オンプレミスの MySQL データベースから BigQuery にデータを複製します。ストリームの設定に使用する Google Cloud リージョンの Datastream パブリック IP アドレスを収集します。これらの IP アドレスをオンプレミス データセンターのファイアウォール許可リストに追加します。
  Datastream で接続プロファイルを設定するときは、接続方法として IP Allovlisting を使用し、暗号化タイプとしてサーバーのみを使用します。
• D. 既存のオンプレミス ETL ツールを更新し、BigQuery Open Database Connectivity (ODBC) ドライバーを使用して BigQuery に書き込みます。Simba.googlebigqueryodbc.ini タイルでプロキシ パラメータを設定して、データセンターの NAT ゲートウェイを指定します。

正解：B

解説：
To securely ingest data from an on-premises MySQL database into BigQuery without routing through the public internet, using Datastream with Private connectivity over Cloud Interconnect is the best approach. Here's why:
Datastream for Data Replication:
Datastream provides a managed service for data replication from various sources, including on-premises databases, to Google Cloud services like BigQuery.
Cloud Interconnect:
Cloud Interconnect establishes a private connection between your on-premises data center and Google Cloud, ensuring that data transfer occurs over a secure, private network rather than the public internet.
Private Connectivity:
Using Private connectivity with Datastream leverages the established Cloud Interconnect to securely connect your on-premises MySQL database with Google Cloud. This method ensures that the data does not traverse the public internet.
Encryption:
Using Server-only encryption ensures that data is encrypted in transit between Datastream and BigQuery, adding an extra layer of security.
Steps to Implement:
Set Up Cloud Interconnect:
Establish a Cloud Interconnect between your on-premises data center and Google Cloud to create a private connection.
Configure Datastream:
Set up Datastream to use Private connectivity as the connection method and allocate an IP address range within your VPC network.
Use Server-only encryption to ensure secure data transfer.
Create Connection Profile:
Create a connection profile in Datastream to define the connection parameters, including the use of Cloud Interconnect and Private connectivity.
Reference:
Datastream Documentation
Cloud Interconnect Documentation
Setting Up Private Connectivity in Datastream

質問 # 174
以下に示すような顧客データを分析するために、GoogleのDataflowSDKを使用することを計画しています。プロジェクトの要件は、データソースから顧客名のみを抽出してから、出力PCollectionに書き込むことです。
トム、555Xストリート
ティム、553Yストリート
サム、111Zストリート
上記のデータ処理要件に最適な操作はどれですか？

• A. シンクAPI
• B. ソースAPI
• C. データ抽出
• D. ParDo

正解：D

解説：
In Google Cloud dataflow SDK, you can use the ParDo to extract only a customer name of each element in your PCollection.
Reference: https://cloud.google.com/dataflow/model/par-do

質問 # 175
MySQLを使用してCloudSQLをデプロイすることを計画しています。ゾーンに障害が発生した場合に高可用性を確保する必要があります。あなたは何をするべきか？

• A. 1つのゾーンにCloud SQLインスタンスを作成し、同じリージョン内の別のゾーンにリードレプリカを作成します。
• B. 1つのゾーンでCloud SQLインスタンスを作成し、別のリージョンのゾーンで外部リードレプリカを構成します。
• C. 1つのゾーンにCloud SQLインスタンスを作成し、同じリージョン内の別のゾーンにフェールオーバーレプリカを作成します。
• D. リージョンにCloud SQLインスタンスを作成し、同じリージョンのCloudStorageバケットへの自動バックアップを構成します。

正解：B

質問 # 176
projects.regions.clusters.create操作を使用して新しいCloudDataprocクラスターを作成する場合、プロジェクト、リージョン、名前、および____の4つの値が必要です。

• A. ノード
• B. タイプ
• C. ラベル
• D. ゾーン

正解：D

解説：
At a minimum, you must specify four values when creating a new cluster with the projects.regions.clusters.create operation:
The project in which the cluster will be created
The region to use
The name of the cluster
The zone in which the cluster will be created
You can specify many more details beyond these minimum requirements. For example, you can also specify the number of workers, whether preemptible compute should be used, and the network settings.

質問 # 177
BigQueryテーブルをデータシンクとして使用したいとします。 BigQueryをシンクとして使用できる書き込みモードはどれですか。

• A. BigQueryをシンクとして使用することはできません
• B. バッチとストリーミングの両方
• C. バッチのみ
• D. ストリーミングのみ

正解：B

解説：
Explanation
When you apply a BigQueryIO.Write transform in batch mode to write to a single table, Dataflow invokes a BigQuery load job. When you apply a BigQueryIO.Write transform in streaming mode or in batch mode using a function to specify the destination table, Dataflow uses BigQuery's streaming inserts Reference: https://cloud.google.com/dataflow/model/bigquery-io

質問 # 178
ACID 準拠のデータベースを必要とするシステムを設計しています。障害が発生した場合に、システムが人的介入を最小限に抑える必要があります。あなたは何をするべきか？

• A. ポイントインタイム リカバリを有効にして Cloud SQL for MySQL インスタンスを構成します。
• B. マルチリージョン構成で BJgQuery テーブルを構成します。
• C. 複数のクラスターを含む Bigtable インスタンスを構成します。
• D. 高可用性を有効にして Cloud SQL for PostgreSQL インスタンスを構成します。

正解：D

解説：
The best option to meet the ACID compliance and minimal human intervention requirements is to configure a Cloud SQL for PostgreSQL instance with high availability enabled. Key reasons: Cloud SQL for PostgreSQL provides full ACID compliance, unlike Bigtable which provides only atomicity and consistency guarantees. Enabling high availability removes the need for manual failover as Cloud SQL will automatically failover to a standby replica if the leader instance goes down. Point-in-time recovery in MySQL requires manual intervention to restore data if needed. BigQuery does not provide transactional guarantees required for an ACID database. Therefore, a Cloud SQL for PostgreSQL instance with high availability meets the ACID and minimal intervention requirements best. The automatic failover will ensure availability and uptime without administrative effort.

質問 # 179
あなたの会社は、多数のニューロンとレイヤーを備えたTensorFlowニュートラルネットワークモデルを構築しました。モデルはトレーニングデータによく適合します。ただし、新しいデータに対してテストすると、パフォーマンスが低下します。これに対処するためにどのような方法を採用できますか？

• A. 次元削減
• B. スレッド
• C. ドロップアウトメソッド
• D. シリアル化

正解：C

質問 # 180
大量のファイルをパブリック HTTPS エンドポイントから Cloud Storage に移行しています。ファイルは、署名付き URL を使用して不正アクセスから保護されます。オブジェクト URL のリストを含む TSV ファイルを作成し、Storage Transfer Service を使用して転送ジョブを開始しました。ジョブが長時間実行され、最終的に失敗したことに気づきました。 転送ジョブのログを確認すると、ジョブはある時点までは正常に実行されていましたが、その後、残りのファイルで HTTP 403 エラーが発生したため失敗したことがわかります。ソース システムに変更はありません。移行プロセスを再開するには、問題を解決する必要があります。あなたは何をするべきか？

• A. HTTPS エンドポイントの TLS 証明書を更新します。完成したファイルを TSV ファイルから削除し、Storage Transfer Service ジョブを再実行します。
• B. Cloud Storage FUSE を設定し、Compute Engine インスタンスに Cloud Storage バケットをマウントします。完成したファイルを TSV ファイルから削除します。シェル スクリプトを使用して TSV ファイルを反復処理し、残りの URL を FUSE マウントにダウンロードします。ポイント。
• C. TSV ファイル内のファイル チェックサムを MD5 の使用から SHA256 に更新します。完了したファイルを TSV ファイルから削除し、Storage Transfer Service ジョブを再実行します。
• D. 有効期間が長い署名付き URL を生成して、残りのファイル用に新しい TSV ファイルを作成します。TSV ファイルを複数の小さなファイルに分割し、それらを個別の Storage Transfer Service ジョブとして並行して送信します。

正解：D

解説：
A signed URL is a URL that provides limited permission and time to access a resource on a web server. It is often used to grant temporary access to protected files without requiring authentication. Storage Transfer Service is a service that allows you to transfer data from external sources, such as HTTPS endpoints, to Cloud Storage buckets. You can use a TSV file to specify the list of URLs to transfer. In this scenario, the most likely cause of the HTTP 403 errors is that the signed URLs have expired before the transfer job could complete. This could happen if the signed URLs have a short validity period or the transfer job takes a long time due to the large number of files or network latency. To fix the problem, you need to create a new TSV file for the remaining files by generating new signed URLs with a longer validity period. This will ensure that the URLs do not expire before the transfer job finishes. You can use the Cloud Storage tools or your own program to generate signed URLs. Additionally, you can split the TSV file into multiple smaller files and submit them as separate Storage Transfer Service jobs in parallel. This will speed up the transfer process and reduce the risk of errors. Reference:
Signed URLs | Cloud Storage Documentation
V4 signing process with Cloud Storage tools
V4 signing process with your own program
Using a URL list file
What Is a 403 Forbidden Error (and How Can I Fix It)?

質問 # 181
あなたは大手の e コマース会社で働いています。顧客の注文データを Bigtable に保存します。30 日後にデータを削除するようにガベージ コレクション ポリシーが設定されており、バージョン数が 1 に設定されています。データ アナリストが顧客の合計支出を報告するクエリを実行すると、30 日より古い顧客データが表示されることがあります。コストとオーバーヘッドを最小限に抑えながら、アナリストが 30 日より古い顧客データを参照できないようにする必要があります。あなたは何をするべきか？

• A. クエリでタイムスタンプ範囲フィルターを使用して、特定の範囲の顧客データを取得します。
• B. 列ファミリーの有効期限値を 30 日に設定し、バージョン数を 2 に設定します。
• C. 列ファミリーの有効期限値を 29 日に設定し、バージョン数を 1 に保ちます。
• D. ジョブを毎日スケジュールして、テーブル内のデータをスキャンし、30 日より古いデータを削除します。

正解：A

解説：
By using a timestamp range filter in the query, you can ensure that the analysts only see the customer data that is within the desired time range, regardless of the garbage collection policy1. This option is the most cost-effective and simple way to avoid fetching data that is marked for deletion by garbage collection, as it does not require changing the existing policy or creating additional jobs. You can use the Bigtable client libraries or the cbt CLI to apply a timestamp range filter to your read requests2.
Option A is not effective, as it increases the number of versions to 2, which may cause more data to be retained and increase the storage costs. Option C is not reliable, as it reduces the expiring values to 29 days, which may not match the actual data arrival and usage patterns. Option D is not efficient, as it requires scheduling a job daily to scan and delete the data, which may incur additional overhead and complexity. Moreover, none of these options guarantee that the data older than 30 days will be immediately deleted, as garbage collection is an asynchronous process that can take up to a week to remove the data3. References:
* 1: Filters | Cloud Bigtable Documentation | Google Cloud
* 2: Read data | Cloud Bigtable Documentation | Google Cloud
* 3: Garbage collection overview | Cloud Bigtable Documentation | Google Cloud

質問 # 182
Cloud Bigtableに依存するパフォーマンステストを実行している場合は、以下の1つを除くすべての選択肢が推奨される手順です。従うべき推奨されないステップはどれですか？

• A. 少なくとも300GBのデータを使用します。
• B. テストする前に、重い事前テストを数分間実行します。
• C. テストを少なくとも10分間実行します。
• D. 本番インスタンスを使用しないでください。

正解：D

解説：
If you're running a performance test that depends upon Cloud Bigtable, be sure to follow these steps as you plan and execute your test:
Use a production instance. A development instance will not give you an accurate sense of how a production instance performs under load.
Use at least 300 GB of data. Cloud Bigtable performs best with 1 TB or more of data. However, 300 GB of data is enough to provide reasonable results in a performance test on a 3-node cluster. On larger clusters, use 100 GB of data per node.
Before you test, run a heavy pre-test for several minutes. This step gives Cloud Bigtable a chance to balance data across your nodes based on the access patterns it observes.
Run your test for at least 10 minutes. This step lets Cloud Bigtable further optimize your data, and it helps ensure that you will test reads from disk as well as cached reads from memory.

質問 # 183
BigQueryテーブルをデータシンクとして使用したいとします。 BigQueryをシンクとして使用できる書き込みモードはどれですか。

• A. BigQueryをシンクとして使用することはできません
• B. バッチとストリーミングの両方
• C. バッチのみ
• D. ストリーミングのみ

正解：B

解説：
When you apply a BigQueryIO.Write transform in batch mode to write to a single table, Dataflow invokes a BigQuery load job. When you apply a BigQueryIO.Write transform in streaming mode or in batch mode using a function to specify the destination table, Dataflow uses BigQuery's streaming inserts Reference: https://cloud.google.com/dataflow/model/bigquery-io

質問 # 184
......

Professional-Data-Engineer日本語試験問題集パスできる2024年最新の認証された試験問題：https://jp.fast2test.com/Professional-Data-Engineer-JPN-premium-file.html