本日更新の2024年11月試験エンジンとPDF Professional-Data-Engineer日本語テスト無料！
究極のガイド準備Professional-Data-Engineer日本語正確なPDF解答
質問 # 196
次のうち、Dataflowがサポートする3つの主要なタイプのトリガーの1つではないものはどれですか？
- A. 時間に基づいてトリガー
- B. 他のトリガーの組み合わせであるトリガー
- C. バイト単位の要素サイズに基づいてトリガーします
- D. 要素数に基づいてトリガー
正解：C
解説：
There are three major kinds of triggers that Dataflow supports: 1. Time-based triggers 2. Data-driven triggers.
You can set a trigger to emit results from a window when that window has received a certain number of data elements. 3. Composite triggers. These triggers combine multiple time-based or data-driven triggers in some logical way Reference: https://cloud.google.com/dataflow/model/triggers
質問 # 197
ニューラルネットワークを取得して、カテゴリ機能のカテゴリ間の関係について学習するにはどうすればよいですか？
- A. ワンホットカラムを作成します
- B. マルチホットカラムを作成する
- C. 埋め込み列を作成します
- D. ハッシュバケットを作成する
正解：C
解説：
There are two problems with one-hot encoding. First, it has high dimensionality, meaning that instead of having just one value, like a continuous feature, it has many values, or dimensions. This makes computation more time-consuming, especially if a feature has a very large number of categories. The second problem is that it doesn't encode any relationships between the categories. They are completely independent from each other, so the network has no way of knowing which ones are similar to each other.
Both of these problems can be solved by representing a categorical feature with an embedding
column. The idea is that each category has a smaller vector with, let's say, 5 values in it. But unlike a one-hot vector, the values are not usually 0. The values are weights, similar to the weights that are used for basic features in a neural network. The difference is that each category has a set of weights (5 of them in this case).
You can think of each value in the embedding vector as a feature of the category. So, if two categories are very similar to each other, then their embedding vectors should be very similar too.
質問 # 198
BigQueryテーブルをデータシンクとして使用したいとします。 BigQueryをシンクとして使用できる書き込みモードはどれですか。
- A. バッチとストリーミングの両方
- B. ストリーミングのみ
- C. バッチのみ
- D. BigQueryをシンクとして使用することはできません
正解：A
解説：
Explanation
When you apply a BigQueryIO.Write transform in batch mode to write to a single table, Dataflow invokes a BigQuery load job. When you apply a BigQueryIO.Write transform in streaming mode or in batch mode using a function to specify the destination table, Dataflow uses BigQuery's streaming inserts Reference: https://cloud.google.com/dataflow/model/bigquery-io
質問 # 199
その列に可能なすべての値がわからない場合、どのTensorFlow関数を使用してカテゴリ列を構成できますか？
- A. categorical_column_with_unknown_values
- B. categorical_column_with_vocabulary_list
- C. categorical_column_with_hash_bucket
- D. sparse_column_with_keys
正解：C
解説：
Explanation
If you know the set of all possible feature values of a column and there are only a few of them, you can use categorical_column_with_vocabulary_list. Each key in the list will get assigned an auto-incremental ID starting from 0.
What if we don't know the set of possible values in advance? Not a problem. We can use categorical_column_with_hash_bucket instead. What will happen is that each possible value in the feature column occupation will be hashed to an integer ID as we encounter them in training.
Reference: https://www.tensorflow.org/tutorials/wide
質問 # 200
Dataflow SDKは最近、どのApacheサービスに移行されましたか？
- A. Apache Kafka
- B. Apache Hadoop
- C. Apache Beam
- D. Apache Spark
正解：C
解説：
Dataflow SDKs are being transitioned to Apache Beam, as per the latest Google directive
質問 # 201
バッチ予測ではなくオンライン予測を使用することの特徴の2つは何ですか？
- A. 予測を提供する待ち時間を最小限に抑えるように最適化されています。
- B. ジョブ内の大量のデータインスタンスを処理し、より複雑なモデルを実行するように最適化されています。
- C. 予測が応答メッセージで返されます。
- D. 予測は、指定したCloudStorageの場所にある出力ファイルに書き込まれます。
正解：A、C
解説：
Online prediction
.Optimized to minimize the latency of serving predictions.
.Predictions returned in the response message.
Batch prediction
.Optimized to handle a high volume of instances in a job and to run more complex models.
.Predictions written to output files in a Cloud Storage location that you specify.
質問 # 202
あなたの会社は、WILDCARDテーブルを使用して、類似した名前を持つ複数のテーブル間でデータをクエリしています。 SQLステートメントは現在、次のエラーで失敗しています。
# Syntax error : Expected end of statement but got "-" at [4:11]
SELECT age
FROM
bigquery-public-data.noaa_gsod.gsod
WHERE
age != 99
AND_TABLE_SUFFIX = '1929'
ORDER BY
age DESC
どのテーブル名がSQLステートメントを正しく機能させますか？
- A. 'bigquery-public-data.noaa_gsod.gsod'
- B. bigquery-public-data.noaa_gsod.gsod *
- C. 'bigquery-public-data.noaa_gsod.gsod * `
- D. 'bigquery-public-data.noaa_gsod.gsod' *
正解：C
質問 # 203
世界中に分散されたオークション アプリケーションにより、ユーザーはアイテムに入札できるようになります。場合によっては、ユーザーがほぼ同時に同じ入札を行い、異なるアプリケーション サーバーがそれらの入札を処理することがあります。各入札イベントには、品目、金額、ユーザー、タイムスタンプが含まれます。これらの入札イベントをリアルタイムで単一の場所に照合して、最初に入札したユーザーを決定したいと考えています。あなたは何をするべきか？
- A. 各アプリケーション サーバーに、入札イベントが発生したときにその入札イベントを Google Cloud Pub/Sub に書き込むようにします。Google Cloud Dataflow を使用して入札イベントをプルするには、プル サブスクリプションを使用します。最初に処理される入札イベントでユーザーに各アイテムの入札を与えます。
- B. 入札イベントを書き込む各アプリケーション サーバーの MySQL データベースをセットアップします。これらの分散 MySQL データベースのそれぞれに定期的にクエリを実行し、マスター MySQL データベースを入札イベント情報で更新します。
- C. 各アプリケーション サーバーに入札イベントが発生したときに Cloud Pub/Sub に書き込むようにします。イベントを Cloud Pub/Sub からカスタム エンドポイントにプッシュし、入札イベント情報を Cloud SQL に書き込みます。
- D. 共有ファイル上にファイルを作成し、アプリケーション サーバーにすべての入札イベントをそのファイルに書き込むようにします。Apache Hadoop でファイルを処理して、最初に入札したユーザーを特定します。
正解：B
質問 # 204
Cloud Datastoreを使用して、車両のテレメトリデータをリアルタイムで取り込むことにしました。コストを低く抑えながら、長期的なデータの増加を考慮したストレージシステムを構築したいと考えています。また、データのスナップショットを定期的に作成して、POS（Point-in-Time）リカバリを作成したり、別の環境でCloudDatastoreのデータのコピーを複製したりすることもできます。これらのスナップショットを長期間アーカイブする必要があります。
これを達成できる2つの方法はどれですか？ 2つの答えを選択してください。
- A. マネージドexportmを使用してから、そのエクスポート用に予約された一意の名前空間の下にある別のプロジェクトのCloudDatastoreにインポートします。
- B. CloudDatastoreクライアントライブラリを使用してすべてのエンティティを読み取るアプリケーションを作成します。エクスポートされたデータをJSONファイルにフォーマットします。クラウドソースリポジトリにデータを保存する前に、圧縮を適用します。
- C. CloudDatastoreクライアントライブラリを使用してすべてのエンティティを読み取るアプリケーションを作成します。 BigQueryストリーミング挿入を介して、各エンティティをBigQueryテーブル行として扱います。エクスポートごとにエクスポートタイムスタンプを割り当て、それを各行の追加の列として添付します。 BigQueryテーブルがエクスポートタイムスタンプ列を使用してパーティション化されていることを確認してください。
- D. マネージドエクスポートを使用してから、そのエクスポート専用に作成されたBigQueryテーブルにデータをインポートし、一時的なエクスポートファイルを削除します。
- E. マネージドエクスポートを使用し、NearlineまたはColdlineクラスを使用してデータをCloudStorageバケットに保存します。
正解：B、D
質問 # 205
CloudStorageにデータをアーカイブしたい。一部のデータは非常に機密性が高いため、「Trust No One」（TNO）アプローチを使用してデータを暗号化し、クラウドプロバイダーのスタッフがデータを復号化できないようにします。
あなたは何をするべきか？
- A. gcloud kms keys createを使用して、対称鍵を作成します。次に、gcloud kms Encryptionを使用して、各アーカイブファイルをキーで暗号化します。 gsutil cpを使用して、暗号化された各ファイルをCloudStorageバケットにアップロードします。
以前に暗号化に使用したキーを手動で破棄し、キーを1回ローテーションします。
<C> ：. boto構成ファイルで顧客提供の暗号化キー（CSEK）を指定します。 gsutil cpを使用して、各アーカイブファイルをCloudStorageバケットにアップロードします。シークレットの永続ストレージとしてCSEKをクラウドメモリストアに保存します。
<D> ：. boto構成ファイルで顧客提供の暗号化キー（CSEK）を指定します。 gsutil cpを使用して、各アーカイブファイルをCloudStorageバケットにアップロードします。セキュリティチームだけがアクセスできる別のプロジェクトにCSEKを保存します。 - B. gcloud kms keys createを使用して、対称鍵を作成します。次に、gcloud kms Encryptionを使用して、キーと一意の追加認証データ（AAD）を使用して各アーカイブファイルを暗号化します。 gsutilcpを使用して暗号化された各ファイルをCloudStorageバケットにアップロードし、AADをGoogleCloudの外部に保持します。
正解：A
質問 # 206
あなたは、配車の需要が高い地域を特定し、需要を満たすために利用可能なドライバーを効果的に再配置する、配車アプリ用のリアルタイム システムを設計しています。システムは複数のソースから Pub/Sub にデータを取り込みます。データを処理し、リアルタイム ダッシュボードでの視覚化と分析のために結果を保存します。データ ソースには、5 秒ごとのドライバーの位置情報の更新と、乗客からのアプリベースの予約イベントが含まれます。データ処理には、過去 30 秒間の需要と供給のデータが 2 秒ごとにリアルタイムに集約され、その結果が可視化のために低遅延システムに保存されます。あなたは何をするべきか？
- A. Dataflow パイプラインのタンブリング ウィンドウを使用してデータをグループ化し、集約されたデータを Memorystore に書き込みます。
- B. Dataflow パイプラインのセッション ウィンドウを使用してデータをグループ化し、集約されたデータを BigQuery に書き込みます。
- C. Dataflow パイプラインのホッピング ウィンドウを使用してデータをグループ化し、集約されたデータを BigQuery に書き込みます。
- D. Dataflow パイプラインのホッピング ウィンドウを使用してデータをグループ化し、集約されたデータを Memorystore に書き込みます。
正解：D
解説：
A hopping window is a type of sliding window that advances by a fixed period of time, producing overlapping windows. This is suitable for the scenario where the system needs to aggregate data for the last 30 seconds, every 2 seconds, and provide real-time updates. A Dataflow pipeline can implement the hopping window logic using Apache Beam, and process both streaming and batch data sources. Memorystore is a low-latency, in-memory data store that can serve the aggregated data to the visualization layer. BigQuery is not a good choice for this scenario, as it is not optimized for low-latency queries and frequent updates.
質問 # 207
Google Cloud Bigtableスキーマを設計するときは、_________することをお勧めします。
- A. NoSQLの概念に基づくスキーマ設計は避けてください
- B. 行全体でアトミック性を必要とするスキーマ設計は避けてください
- C. 行全体でアトミック性を必要とするスキーマ設計を作成する
- D. リレーショナルデータベース設計に基づくスキーマ設計を作成する
正解：B
解説：
All operations are atomic at the row level. For example, if you update two rows in a table, it's possible that one row will be updated successfully and the other update will fail. Avoid schema designs that require atomicity across rows.
質問 # 208
フローロジスティックケーススタディ
会社概要
Flowlogisticは、主要なロジスティクスおよびサプライチェーンプロバイダーです。これらは、世界中の企業がリソースを管理し、最終目的地に輸送するのに役立ちます。同社は急速に成長し、鉄道、トラック、航空機、海上輸送などの製品を拡大しています。
会社背景
同社は地域のトラック運送会社としてスタートし、その後他のロジスティクス市場に拡大しました。彼らはインフラストラクチャを更新していないため、注文と出荷の管理と追跡がボトルネックになっています。 Flowlogisticは、運用を改善するために、小包レベルでリアルタイムに出荷を追跡する独自のテクノロジーを開発しました。ただし、Apache Kafkaに基づくテクノロジースタックが処理ボリュームをサポートできないため、デプロイできません。さらに、Flowlogisticは、注文と出荷をさらに分析して、リソースを最適に展開する方法を決定したいと考えています。
ソリューションコンセプト
Flowlogisticは、クラウドを使用して2つの概念を実装したいと考えています。
*荷物の場所を示すリアルタイムの在庫追跡システムで独自のテクノロジーを使用する
*構造化データと非構造化データの両方を含むすべての注文と出荷ログに対して分析を実行し、リソースを展開する最善の方法、情報を拡張する市場を決定します。また、予測分析を使用して、出荷が遅れる時期を早期に把握したいと考えています。
既存の技術環境
フローロジスティックアーキテクチャは、単一のデータセンターに存在します。
*データベース
* 2つのクラスターに8つの物理サーバー
* SQL Server-ユーザーデータ、インベントリ、静的データ
* 3台の物理サーバー
* Cassandra-メタデータ、追跡メッセージ
10台のKafkaサーバー-メッセージ集約とバッチ挿入の追跡
*アプリケーションサーバー-顧客フロントエンド、注文/税関用ミドルウェア
* 20台の物理サーバーにまたがる60台の仮想マシン
* Tomcat-Javaサービス
* Nginx-静的コンテンツ
*バッチサーバー
ストレージアプライアンス
*仮想マシン（VM）ホスト用のiSCSI
*ファイバーチャネルストレージエリアネットワーク（FC SAN）-SQLサーバーストレージ
*ネットワーク接続ストレージ（NAS）イメージストレージ、ログ、バックアップ
* 10個のApacheHadoop / Sparkサーバー
*コアデータレイク
*データ分析ワークロード
* 20のその他のサーバー
* Jenkins、監視、要塞ホスト、
ビジネス要件
*生産のスケーリングされたパンティーを使用して、信頼性と再現性のある環境を構築します。
*分析のために一元化されたデータレイクにデータを集約する
*履歴データを使用して、将来の出荷の予測分析を実行します
*独自の技術を使用して、世界中のすべての出荷を正確に追跡します
*新しいリソースの迅速なプロビジョニングを通じて、ビジネスの俊敏性とイノベーションの速度を向上させます
*クラウドでのパフォーマンスのためにアーキテクチャを分析および最適化する
*他のすべての要件が満たされている場合は、クラウドに完全に移行します
技術要件
*ストリーミングデータとバッチデータの両方を処理します
*既存のHadoopワークロードを移行する
*アーキテクチャがスケーラブルで弾力性があり、企業の変化する要求に対応できるようにします。
*可能な限りマネージドサービスを使用する
*データの飛行と静止を暗号化する
*本番データセンターとクラウド環境の間にVPNを接続するSEOステートメント私たちは急速に成長したため、インフラストラクチャをアップグレードできないことが、さらなる成長と効率を実際に妨げています。私たちは世界中の貨物を移動するのは効率的ですが、データを移動するのは非効率的です。
顧客がどこにいて、何を出荷しているのかをより簡単に理解できるように、情報を整理する必要があります。
CTOステートメント
ITは私たちにとって優先事項ではありませんでした。そのため、データが増大するにつれて、テクノロジーに十分な投資をしていません。私にはITを管理する優れたスタッフがいますが、彼らはインフラストラクチャの管理に忙しく、データの整理、分析の構築、CFOの実装方法の理解などの本当に重要なことを彼らに行わせることができません。追跡技術。
CFOステートメント
私たちの競争上の優位性の一部は、出荷と配達が遅れた場合にペナルティを課すことです。出荷が常にどこにあるかを知ることは、当社の純利益と収益性に直接的な相関関係があります。さらに、サーバー環境の構築に資本を投入したくありません。
Flowlogisticは、主要な分析システムとしてGoogle BigQueryを使用したいと考えていますが、BigQueryに移行できないApacheHadoopおよびSparkワークロードがまだあります。 Flowlogisticは、両方のワークロードに共通のデータを保存する方法を知りません。彼らは何をすべきですか？
- A. Avroとしてエンコードされた一般的なデータをGoogle CloudStorageに保存します。
- B. 共通データをパーティションテーブルとしてBigQueryに保存します。
- C. 共通データをBigQueryに保存し、承認されたビューを公開します。
- D. Google CloudDataprocクラスターのHDFSストレージに共通データを保存します。
正解：C
質問 # 209
BigQuery プロジェクトをオンデマンド課金モデルで実行しており、データを取り込む変更データ キャプチャ (CDC) プロセスを実行しています。CDC プロセスは、10 分ごとに 1 GB のデータを一時テーブルに読み込み、10 TB のターゲット テーブルにマージします。このプロセスはスキャンを集中的に行うため、予測可能なコスト モデルを有効にするオプションを検討する必要があります。BigQuery モニタリングから収集された使用率情報に基づいて BigQuery 予約を作成し、その予約を CDC プロセスに適用する必要があります。どうすればよいですか。
- A. ジョブの BigQuery 予約を作成します。
- B. ジョブを実行しているサービス アカウントの BigQuery 予約を作成します。
- C. データセットの BigQuery 予約を作成します。
- D. プロジェクトの BigQuery 予約を作成します。
正解：D
解説：
https://cloud.google.com/blog/products/data-analytics/manage-bigquery-costs-with-custom-quotas.
Here's why creating a BigQuery reservation for the project is the most suitable solution:
Project-Level Reservation: BigQuery reservations are applied at the project level. This means that the reserved slots (processing capacity) are shared across all jobs and queries running within that project. Since your CDC process is a significant contributor to your BigQuery usage, reserving slots for the entire project ensures that your CDC process always has access to the necessary resources, regardless of other activities in the project.
Predictable Cost Model: Reservations provide a fixed, predictable cost model. Instead of paying the on-demand price for each query, you pay a fixed monthly fee for the reserved slots. This eliminates the variability of costs associated with on-demand billing, making it easier to budget and forecast your BigQuery expenses.
BigQuery Monitoring: You can use BigQuery Monitoring to analyze the historical usage patterns of your CDC process and other queries within your project. This information helps you determine the appropriate amount of slots to reserve, ensuring that you have enough capacity to handle your workload while optimizing costs.
Why other options are not suitable:
A . Create a BigQuery reservation for the job: BigQuery does not support reservations at the individual job level. Reservations are applied at the project or assignment level.
B . Create a BigQuery reservation for the service account running the job: While you can create reservations for assignments (groups of users or service accounts), it's less efficient than a project-level reservation in this scenario. A project-level reservation covers all jobs within the project, regardless of the service account used.
C . Create a BigQuery reservation for the dataset: BigQuery does not support reservations at the dataset level.
By creating a BigQuery reservation for your project based on your utilization analysis, you can achieve a predictable cost model while ensuring that your CDC process and other queries have the necessary resources to run smoothly.
質問 # 210
Bigtableの時系列データのホットスポットを回避するために使用する推奨される方法はどれですか？
- A. フィールドプロモーション
- B. ランダム化
- C. ハッシュ
- D. Salting
正解：A
解説：
By default, prefer field promotion. Field promotion avoids hotspotting in almost all cases, and it tends to make it easier to design a row key that facilitates queries.
Reference:
https://cloud.google.com/bigtable/docs/schema-design-time-series#ensure_that_your_row_key_avoids_hotspotti
質問 # 211
仮想プライベート クラウド (VPC) ネットワークの一部として VM に Oracle データベースをデプロイしています。50 個のテーブルを BigQuery に複製し、継続的に同期したいと考えています。インフラストラクチャを管理する必要性を最小限に抑えたいと考えています。どうすればよいでしょうか。
- A. Oracle から BigQuery へのデータストリーム サービスを作成し、同じ VPC ネットワークへのプライベート接続構成と BigQuery への接続プロファイルを使用します。
- B. BigQuery に直接書き込むための Pub/Sub サブスクリプションを作成します。Debezium Oracle コネクタをデプロイして Oracle データベースの変更をキャプチャし、Pub/Sub トピックにシンクします。
- C. 同じ VPC ネットワークに Apache Kafka をデプロイし、Kafka Connect Oracle Change Data Capture (CDC) と Dataflow を使用して Kafka トピックを BigQuery にストリーミングします。
- D. 同じ VPC ネットワークに Apache Kafka をデプロイし、Kafka Connect Oracle 変更データ キャプチャ (CDC) と Kafka Connect Google BigQuery Sink Connector を使用します。
正解：A
解説：
Datastream is a serverless, scalable, and reliable service that enables you to stream data changes from Oracle and MySQL databases to Google Cloud services such as BigQuery, Cloud SQL, Google Cloud Storage, and Cloud Pub/Sub. Datastream captures and streams database changes using change data capture (CDC) technology. Datastream supports private connectivity to the source and destination systems using VPC networks. Datastream also provides a connection profile to BigQuery, which simplifies the configuration and management of the data replication. Reference:
Datastream overview
Creating a Datastream stream
Using Datastream with BigQuery
質問 # 212
Bigtableの時系列データのホットスポットを回避するために使用する推奨される方法はどれですか？
- A. フィールドプロモーション
- B. ランダム化
- C. ハッシュ
- D. Salting
正解：A
解説：
By default, prefer field promotion. Field promotion avoids hotspotting in almost all cases, and it tends to make it easier to design a row key that facilitates queries.
質問 # 213
......
合格させるGoogleはFast2test試験問題集：https://jp.fast2test.com/Professional-Data-Engineer-JPN-premium-file.html