
Professional-Data-Engineer日本語練習試験テスト最新問題2026年03月
Professional-Data-Engineer日本語試験を一発合格保証問題集!
質問 # 88
Cloud Dataproc Viewerはどのアクションを実行できますか?
- A. ジョブを送信します。
- B. ジョブを一覧表示します。
- C. クラスターを削除します。
- D. クラスターを作成します。
正解:B
解説:
A Cloud Dataproc Viewer is limited in its actions based on its role. A viewer can only list clusters, get cluster details, list jobs, get job details, list operations, and get operation details.
Reference:
https://cloud.google.com/dataproc/docs/concepts/iam#iam_roles_and_cloud_dataproc_operations_summary
質問 # 89
動的なパブリック IP アドレスを持つ複数のアプリケーションを Cloud SQL インスタンスに接続する必要があります。強力なパスワードを使用してユーザーを構成し、Cloud SOL インスタンスへの SSL 接続を強制しました。Cloud SQL パブリック IP を使用して、安全な接続を確保したいと考えています。どうすればよいでしょうか。
- A. 承認済みネットワークは空のままにします。すべてのアプリケーションで Cloud SQL Auth Proxy を使用します。
- B. CIDR 0.0.0.0/0 ネットワークを承認済みネットワークに追加します。Identity and Access Management (1AM) を使用してユーザーを追加します。
- C. すべてのアプリケーション ネットワークを承認済みネットワークに追加し、定期的に更新します。
- D. CIDR 0.0.0.0/0 ネットワークを承認済みネットワークに追加します。すべてのアプリケーションで Cloud SOL Auth プロキシを使用します。
正解:A
解説:
To securely connect multiple applications with dynamic public IP addresses to a Cloud SQL instance using public IP, the Cloud SQL Auth proxy is the best solution. This proxy provides secure, authorized connections to Cloud SQL instances without the need to configure authorized networks or deal with IP whitelisting complexities.
* Cloud SQL Auth Proxy:
* The Cloud SQL Auth proxy provides secure, encrypted connections to Cloud SQL.
* It uses IAM permissions and SSL to authenticate and encrypt the connection, ensuring data security in transit.
* By using the proxy, you avoid the need to constantly update authorized networks as the proxy handles dynamic IP addresses seamlessly.
* Authorized Network Configuration:
* Leaving the authorized network empty means no IP addresses are explicitly whitelisted, relying solely on the Auth proxy for secure connections.
* This approach simplifies network management and enhances security by not exposing the Cloud SQL instance to public IP ranges.
* Dynamic IP Handling:
* Applications with dynamic IP addresses can securely connect through the proxy without the need to modify authorized networks.
* The proxy authenticates connections using IAM, making it ideal for environments where application IPs change frequently.
Google Data Engineer References:
* Using Cloud SQL Auth Proxy
* Cloud SQL Security Overview
* Setting up the Cloud SQL Auth Proxy
By using the Cloud SQL Auth proxy, you ensure secure, authorized connections for applications with dynamic public IPs without the need for complex network configurations.
質問 # 90
インフラストラクチャ チームは、Google Cloud とオンプレミス ネットワーク間の相互接続リンクを設定しました。オンプレミスでホストされている Apache Kafka クラスタからストリーミングでデータを取り込むための高スループット ストリーミング パイプラインを設計しています。レイテンシを可能な限り最小限にして、データを BigQuery に保存したいと考えています。どうすればよいでしょうか。
- A. Kafka と Pub/Sub の間に Kafka Connect ブリッジを設定します。Google 提供の Dataflow テンプレートを使用して Pub/Sub からデータを読み取り、BigQuery にデータを書き込みます。
- B. Dataflow を使用して、Kafka からデータを読み取り、BigQuery にデータを書き込むパイプラインを作成します。
- C. Kafka と Pub/Sub の間に Kafka Connect ブリッジを設定します。Dataflow パイプラインを記述し、Pub/Sub からデータを読み取り、そのデータを BigQuery に書き込みます。
- D. Google Cloud の VPC でプロキシ ホストを使用して Kafka に接続します。Dataflow パイプラインを記述し、プロキシ ホストからデータを読み取り、そのデータを BigQuery に書き込みます。
正解:C
解説:
Here's a detailed breakdown of why this solution is optimal and why others fall short:
Why Option C is the Best Solution:
Kafka Connect Bridge: This bridge acts as a reliable and scalable conduit between your on-premises Kafka cluster and Google Cloud's Pub/Sub messaging service. It handles the complexities of securely transferring data over the interconnect link.
Pub/Sub as a Buffer: Pub/Sub serves as a highly scalable buffer, decoupling the Kafka producer from the Dataflow consumer. This is crucial for handling fluctuations in message volume and ensuring smooth data flow even during spikes.
Custom Dataflow Pipeline: Writing a custom Dataflow pipeline gives you the flexibility to implement any necessary transformations or enrichments to the data before it's written to BigQuery. This is often required in real-world streaming scenarios.
Minimal Latency: By using Pub/Sub as a buffer and Dataflow for efficient processing, you minimize the latency between the data being produced in Kafka and being available for querying in BigQuery.
Why Other Options Are Not Ideal:
Option A: Using a proxy host introduces an additional point of failure and can create a bottleneck, especially with high-throughput streaming.
Option B: While Google-provided Dataflow templates can be helpful, they might lack the customization needed for specific transformations or handling complex data structures.
Option D: Dataflow doesn't natively connect to on-premises Kafka clusters. Directly reading from Kafka would require complex networking configurations and could lead to performance issues.
Additional Considerations:
Schema Management: Ensure that the schema of the data being produced in Kafka is compatible with the schema expected in BigQuery. Consider using tools like Schema Registry for schema evolution management.
Monitoring: Set up robust monitoring and alerting to detect any issues in the pipeline, such as message backlogs or processing errors.
By following Option C, you leverage the strengths of Kafka Connect, Pub/Sub, and Dataflow to create a high-throughput, low-latency streaming pipeline that seamlessly integrates your on-premises Kafka data with BigQuery.
質問 # 91
数百万のモノのインターネット (IoT) デバイスから送信されるテレメトリ データを処理するために、NoSQL データベースを選択しています。データ量は年間 100 TB 増加しており、各データ エントリには約 100 個の属性があります。データ処理パイプラインには、原子性、一貫性、独立性、耐久性 (ACID) は必要ありません。ただし、高可用性と低レイテンシが必要です。
個々のフィールドに対してクエリを実行してデータを分析する必要があります。要件を満たすデータベースはどれですか? (3 つ選択してください。)
- A. モンゴDB
- B. レディス
- C. カサンドラ
- D. Hive を使用した HDFS
- E. HBase
- F. MySQL
正解:A、D、E
解説:
Explanation:
質問 # 92
ストリーミングAPIを介してデータがBigQueryにストリーミングされるレポートのみのデータウェアハウスを構築しています。Googleのベストプラクティスに従って、データのステージングテーブルと本番テーブルの両方があります。取り込みまたはレポート部分のパフォーマンスに影響を与えずに1つのマスターデータセット?
- A. ステージングされたデータを本番テーブルに移動し、30分ごとにステージングテーブルの内容を削除するステージングテーブルを用意します
- B. ステージングされたデータを本番テーブルに移動し、3時間ごとにステージングテーブルの内容を削除するステージングテーブルを用意します
- C. 追加専用モデルであるステージングテーブルを用意し、ステージングに書き込まれた変更で3時間ごとに本番テーブルを更新します
- D. 追加専用モデルであるステージングテーブルを用意し、ステージングに書き込まれた変更で90分ごとに本番テーブルを更新します
正解:A
質問 # 93
Dataflow SDKは最近、どのApacheサービスに移行されましたか?
- A. Apache Kafka
- B. Apache Spark
- C. Apache Hadoop
- D. Apache Beam
正解:D
解説:
Explanation
Dataflow SDKs are being transitioned to Apache Beam, as per the latest Google directive Reference: https://cloud.google.com/dataflow/docs/
質問 # 94
大量のファイルをパブリック HTTPS エンドポイントから Cloud Storage に移行しています。ファイルは、署名付き URL を使用して不正アクセスから保護されます。オブジェクト URL のリストを含む TSV ファイルを作成し、Storage Transfer Service を使用して転送ジョブを開始しました。ジョブが長時間実行され、最終的に失敗したことに気づきました。 転送ジョブのログを確認すると、ジョブはある時点までは正常に実行されていましたが、その後、残りのファイルで HTTP 403 エラーが発生したため失敗したことがわかります。ソース システムに変更はありません。移行プロセスを再開するには、問題を解決する必要があります。あなたは何をするべきか?
- A. TSV ファイル内のファイル チェックサムを MD5 の使用から SHA256 に更新します。完了したファイルを TSV ファイルから削除し、Storage Transfer Service ジョブを再実行します。
- B. Cloud Storage FUSE を設定し、Compute Engine インスタンスに Cloud Storage バケットをマウントします。完成したファイルを TSV ファイルから削除します。シェル スクリプトを使用して TSV ファイルを反復処理し、残りの URL を FUSE マウントにダウンロードします。ポイント。
- C. HTTPS エンドポイントの TLS 証明書を更新します。完成したファイルを TSV ファイルから削除し、Storage Transfer Service ジョブを再実行します。
- D. 有効期間が長い署名付き URL を生成して、残りのファイル用に新しい TSV ファイルを作成します。TSV ファイルを複数の小さなファイルに分割し、それらを個別の Storage Transfer Service ジョブとして並行して送信します。
正解:D
解説:
A signed URL is a URL that provides limited permission and time to access a resource on a web server. It is often used to grant temporary access to protected files without requiring authentication. Storage Transfer Service is a service that allows you to transfer data from external sources, such as HTTPS endpoints, to Cloud Storage buckets. You can use a TSV file to specify the list of URLs to transfer. In this scenario, the most likely cause of the HTTP 403 errors is that the signed URLs have expired before the transfer job could complete. This could happen if the signed URLs have a short validity period or the transfer job takes a long time due to the large number of files or network latency. To fix the problem, you need to create a new TSV file for the remaining files by generating new signed URLs with a longer validity period. This will ensure that the URLs do not expire before the transfer job finishes. You can use the Cloud Storage tools or your own program to generate signed URLs. Additionally, you can split the TSV file into multiple smaller files and submit them as separate Storage Transfer Service jobs in parallel. This will speed up the transfer process and reduce the risk of errors. Reference:
Signed URLs | Cloud Storage Documentation
V4 signing process with Cloud Storage tools
V4 signing process with your own program
Using a URL list file
What Is a 403 Forbidden Error (and How Can I Fix It)?
質問 # 95
Google Dataprocで使用されるサービスアカウントに必要な最小権限は何ですか?
- A. Google CloudStorageに対して実行します。 Google CloudLoggingに書き込む
- B. Google CloudStorageに対して実行します。 Google CloudLoggingを実行する
- C. Google CloudStorageに書き込みます。 Google CloudLoggingを読む
- D. Google CloudStorageの読み取りと書き込み。 Google CloudLoggingに書き込む
正解:D
解説:
Service accounts authenticate applications running on your virtual machine instances to other Google Cloud Platform services. For example, if you write an application that reads and writes files on Google Cloud Storage, it must first authenticate to the Google Cloud Storage API. At a minimum, service accounts used with Cloud Dataproc need permissions to read and write to Google Cloud Storage, and to write to Google Cloud Logging.
Reference: https://cloud.google.com/dataproc/docs/concepts/service-accounts#important_notes
質問 # 96
SQL パイプラインを作成する必要があります。パイプラインは、2 時間ごとに BigQuery テーブルで集計 SOL 変換を実行し、その結果を別の既存の BigQuery テーブルに追加します。エラーが発生した場合に再試行するようにパイプラインを構成する必要があります。パイプラインが 3 回連続して失敗した場合に電子メール通知を送信するようにします。どうすればよいでしょうか。
- A. Cloud Composer で BigQueryUpsertTableOperator を使用し、再試行パラメータを 3 に設定し、email_on_failure パラメータを true に設定します。
- B. 2 時間ごとに繰り返すスケジュール オプションを使用して SOL 変換を実行する BigQuery スケジュール クエリを作成し、電子メール通知を有効にします。
- C. Cloud Composer で BigQuerylnsertJobOperator を使用し、再試行パラメータを 3 に設定し、email_on_failure パラメータを true に設定します。
- D. 2 時間ごとに繰り返すスケジュール オプションを使用して SQL 変換を実行する BigQuery スケジュール クエリを作成し、Pub/Sub トピックへの通知を有効にします。Pub/Sub と Cloud Functions を使用して、3 回の末尾実行後にメールを送信します。
正解:D
解説:
To create a robust and resilient SQL pipeline in BigQuery that handles retries and failure notifications, consider the following:
BigQuery Scheduled Queries: This feature allows you to schedule recurring queries in BigQuery. It is a straightforward way to run SQL transformations on a regular basis without requiring extensive setup.
Error Handling and Retries: While BigQuery Scheduled Queries can run at specified intervals, they don't natively support complex retry logic or failure notifications directly. This is where additional Google Cloud services like Pub/Sub and Cloud Functions come into play.
Pub/Sub for Notifications: By configuring a BigQuery scheduled query to publish messages to a Pub/Sub topic upon failure, you can create a decoupled and scalable notification system.
Cloud Functions: Cloud Functions can subscribe to the Pub/Sub topic and implement logic to count consecutive failures. After detecting three consecutive failures, the Cloud Function can then send an email notification using a service like SendGrid or Gmail API.
Implementation Steps:
Set up a BigQuery Scheduled Query:
Create a scheduled query in BigQuery to run your SQL transformation every two hours.
Configure the scheduled query to publish a notification to a Pub/Sub topic in case of a failure.
Create a Pub/Sub Topic:
Create a Pub/Sub topic that will receive messages from the scheduled query.
Develop a Cloud Function:
Write a Cloud Function that subscribes to the Pub/Sub topic.
Implement logic in the Cloud Function to track failure messages. If three consecutive failure messages are detected, the function sends an email notification.
Reference Links:
BigQuery Scheduled Queries
Pub/Sub Documentation
Cloud Functions Documentation
SendGrid Email API
Gmail API
質問 # 97
社内のデータアナリストには、プロジェクトでCloud IAMオーナーの役割が割り当てられており、プロジェクトで複数のGCP製品を操作できるようになっています。組織では、すべてのBigQueryデータアクセスログを6か月間保持する必要があります。社内の監査担当者のみがすべてのプロジェクトのデータアクセスログにアクセスできるようにする必要があります。あなたは何をするべきか?
- A. 集約されたエクスポートシンクを介して、監査ログ用に新しく作成されたプロジェクトのCloudStorageバケットにデータアクセスログをエクスポートします。エクスポートされたログを含むプロジェクトへのアクセスを制限します。
- B. 各データアナリストのプロジェクトでデータアクセスログを有効にします。 CloudIAMロールを介したStackdriverLoggingへのアクセスを制限します。
- C. プロジェクトレベルのエクスポートシンクを介して、監査ログ用に新しく作成されたプロジェクトのCloudStorageバケットにデータアクセスログをエクスポートします。エクスポートされたログを使用して、プロジェクトへのアクセスを制限します。
- D. プロジェクトレベルのエクスポートシンクを介して、データアナリストのプロジェクトのクラウドストレージバケットにデータアクセスログをエクスポートします。 CloudStorageバケットへのアクセスを制限します。
正解:A
質問 # 98
組織内の複数のチームが使用するビューを含む共有 BigQuery データセットを管理しています。マーケティング チームは、オンデマンド課金モデルを使用した場合の毎月の BigQuery 分析費用の変動を懸念しています。マーケティング チームが毎月一貫した BigQuery 分析費用を確立できるように支援する必要があります。何をすべきでしょうか。
- A. マーケティング チーム向けに、ベースラインを 0 スロット、自動スケーリングを 500 に設定した BigQuery Standard 従量課金制予約を作成し、それに応じて請求します。
- B. マーケティング チーム向けに、自動スケーリングなしでベースライン 500 スロットの BigQuery 予約を作成し、それに応じて請求します。
- C. マーケティング チーム用に、ベースラインを 250 スロットに設定し、自動スケーリングを 500 に設定した BigQuery Enterprise 予約を作成し、それに応じて請求します。
- D. マーケティング チームに BigQuery 割り当てを設定し、1 日にスキャンされる最大バイト数を制限します。
正解:B
解説:
To help the marketing team establish a consistent BigQuery analytics spend each month, you can use BigQuery reservations to allocate dedicated slots for their queries. This provides predictable costs by reserving a fixed amount of compute resources.
BigQuery Reservations:
BigQuery Reservations allow you to purchase dedicated query processing capacity in the form of slots.
By reserving slots, you can control costs and ensure that the marketing team has the necessary resources for their queries without unexpected increases in spending.
Baseline Slots:
Setting a baseline of 500 slots without autoscaling ensures a consistent allocation of resources.
This provides a predictable monthly cost, as the marketing team will be billed for the reserved slots regardless of actual usage.
Billing Back:
The marketing team's usage can be billed back based on the fixed reservation cost, ensuring budget predictability.
This approach avoids the variability associated with on-demand billing, where costs can fluctuate based on query volume and complexity.
No Autoscaling:
By not enabling autoscaling, you prevent additional costs from being incurred due to temporary increases in query demand.
This fixed reservation ensures that the marketing team only uses the allocated 500 slots, maintaining a consistent monthly spend.
Google Data Engineer Reference:
BigQuery Reservations Documentation
BigQuery Slot Reservations
Managing BigQuery Costs
Using a fixed reservation of 500 slots provides the marketing team with predictable costs and the necessary resources for their queries without unexpected billing variability.
質問 # 99
トレーニングデータセットから学習するときにニューラルネットワークによって調整される数値はどれですか(2つの回答を選択してください)。
- A. バイアス
- B. 重み
- C. 入力値
- D. 継続的な機能
正解:A、B
解説:
A neural network is a simple mechanism that's implemented with basic math. The only difference between the traditional programming model and a neural network is that you let the computer determine the parameters (weights and bias) by learning from training datasets.
質問 # 100
あなたは物流会社を経営しており、車両ベースのセンサーのイベント配信の信頼性を向上したいと考えています。これらのイベントをキャプチャするために世界中で小規模なデータ センターを運営していますが、イベント収集インフラストラクチャからイベント処理インフラストラクチャへの接続を提供する専用回線は信頼性が低く、遅延が予測できません。この問題を最もコスト効率の良い方法で解決したいと考えています。どうすればよいでしょうか。
- A. データセンターに小さな Kafka クラスターをデプロイして、イベントをバッファリングします。
- B. セッション ウィンドウ内のすべてのデータを集約する Cloud Dataflow パイプラインを記述します。
- C. すべてのリモート データセンターと Google の間に Cloud Interconnect を確立します。
- D. データ収集デバイスでデータを Cloud Pub/Sub に公開します。
正解:D
質問 # 101
あなたは服の推奨をするためのモデルを構築しています。ユーザーのファッションの好みは時間の経過とともに変化する可能性が高いことがわかっているため、データパイプラインを構築して、新しいデータが利用可能になったときにモデルにストリーミングします。
このデータをどのように使用してモデルをトレーニングする必要がありますか?
- A. 新しいデータのみでモデルを継続的に再トレーニングします。
- B. 新しいデータをテストセットとして使用しながら、既存のデータをトレーニングします。
- C. 既存のデータをテストセットとして使用しながら、新しいデータをトレーニングします。
- D. 既存のデータと新しいデータの組み合わせでモデルを継続的に再トレーニングします。
正解:B
解説:
https://cloud.google.com/automl-tables/docs/prepare
Topic 1, Flowlogistic Case Study
Company Overview
Flowlogistic is a leading logistics and supply chain provider. They help businesses throughout the world manage their resources and transport them to their final destination. The company has grown rapidly, expanding their offerings to include rail, truck, aircraft, and oceanic shipping.
Company Background
The company started as a regional trucking company, and then expanded into other logistics market. Because they have not updated their infrastructure, managing and tracking orders and shipments has become a bottleneck. To improve operations, Flowlogistic developed proprietary technology for tracking shipments in real time at the parcel level. However, they are unable to deploy it because their technology stack, based on Apache Kafka, cannot support the processing volume. In addition, Flowlogistic wants to further analyze their orders and shipments to determine how best to deploy their resources.
Solution Concept
Flowlogistic wants to implement two concepts using the cloud:
Use their proprietary technology in a real-time inventory-tracking system that indicates the location of their loads
Perform analytics on all their orders and shipment logs, which contain both structured and unstructured data, to determine how best to deploy resources, which markets to expand info. They also want to use predictive analytics to learn earlier when a shipment will be delayed.
Existing Technical Environment
Flowlogistic architecture resides in a single data center:
Databases
8 physical servers in 2 clusters
SQL Server - user data, inventory, static data
3 physical servers
Cassandra - metadata, tracking messages
10 Kafka servers - tracking message aggregation and batch insert
Application servers - customer front end, middleware for order/customs
60 virtual machines across 20 physical servers
Tomcat - Java services
Nginx - static content
Batch servers
Storage appliances
iSCSI for virtual machine (VM) hosts
Fibre Channel storage area network (FC SAN) - SQL server storage
Network-attached storage (NAS) image storage, logs, backups
Apache Hadoop /Spark servers
Core Data Lake
Data analysis workloads
20 miscellaneous servers
Jenkins, monitoring, bastion hosts,
Business Requirements
Build a reliable and reproducible environment with scaled panty of production.
Aggregate data in a centralized Data Lake for analysis
Use historical data to perform predictive analytics on future shipments
Accurately track every shipment worldwide using proprietary technology
Improve business agility and speed of innovation through rapid provisioning of new resources
Analyze and optimize architecture for performance in the cloud
Migrate fully to the cloud if all other requirements are met
Technical Requirements
Handle both streaming and batch data
Migrate existing Hadoop workloads
Ensure architecture is scalable and elastic to meet the changing demands of the company.
Use managed services whenever possible
Encrypt data flight and at rest
Connect a VPN between the production data center and cloud environment
SEO Statement
We have grown so quickly that our inability to upgrade our infrastructure is really hampering further growth and efficiency. We are efficient at moving shipments around the world, but we are inefficient at moving data around.
We need to organize our information so we can more easily understand where our customers are and what they are shipping.
CTO Statement
IT has never been a priority for us, so as our data has grown, we have not invested enough in our technology. I have a good staff to manage IT, but they are so busy managing our infrastructure that I cannot get them to do the things that really matter, such as organizing our data, building the analytics, and figuring out how to implement the CFO' s tracking technology.
CFO Statement
Part of our competitive advantage is that we penalize ourselves for late shipments and deliveries. Knowing where out shipments are at all times has a direct correlation to our bottom line and profitability. Additionally, I don't want to commit capital to building out a server environment.
質問 # 102
インフラストラクチャには、一連のYouTubeチャンネルが含まれています。あなたは、分析のためにYouTubeチャンネルデータをGoogleCloudに送信するプロセスを作成する任務を負っています。世界中のマーケティングチームが最新のYouTubeチャンネルのログデータでANSISQLやその他のタイプの分析を実行できるようにするソリューションを設計したいと考えています。
a。Google Cloudへのログデータ転送をどのように設定する必要がありますか?
- A. ストレージ転送サービスを使用して、オフサイトのバックアップファイルを最終的な宛先としてCloudStorageMulti-Regionalストレージバケットに転送します。
- B. BigQuery Data Transfer Serviceを使用して、オフサイトのバックアップファイルをCloudStorageRegionalに転送します
- C. BigQuery Data Transfer Serviceを使用して、オフサイトのバックアップファイルを最終的な宛先としてCloudStorageMulti-Regionalストレージバケットに転送します。
- D. ストレージ転送サービスを使用して、オフサイトのバックアップファイルを最終的な宛先としてクラウドストレージリージョナルバケットに転送します。
正解:D
解説:
storage bucket as a final destination.
質問 # 103
顧客管理の暗号化キー (CMEK) を使用する BigQuery データセットを管理しています。CMEK にアクセスできないパートナー組織とデータセットを共有する必要があります。どうすればよいでしょうか。
- A. 共有する必要があるテーブルを CMEK なしでデータセットにコピーし、このデータセットの Analytics Hub リストを作成します。
- B. テーブルを Parquet ファイルとして Cloud Storage バケットにエクスポートし、バケットに対する storageinsights.viewer ロールをパートナー組織に付与します。
- C. データを復号化するために、パートナー組織に CMEK のコピーを提供します。
- D. アクセス時にデータを復号化するための CMEK を含む承認済みビューを作成します。
正解:A
解説:
If you want to share a BigQuery dataset that uses a customer-managed encryption key (CMEK) with a partner organization that does not have access to your CMEK, you cannot use an authorized view or provide them a copy of your CMEK, because these options would violate the security and privacy of your data.
Instead, you can copy the tables you need to share to a dataset without CMEKs, and then create an Analytics Hub listing for this dataset. Analytics Hub is a service that allows you to securely share and discover data assets across your organization and with external partners. By creating an Analytics Hub listing, you can grant the partner organization access to the copied dataset without CMEKs, and also control the level of access and the duration of the sharing. References:
* Customer-managed Cloud KMS keys
* [Authorized views]
* [Analytics Hub overview]
* [Creating an Analytics Hub listing]
質問 # 104
ワイド&ディープラーニングモデルに関する次の説明のうち、正しいものはどれですか。 (2つの答えを選択してください。)
- A. ワイドモデルとディープモデルの適切な使用法は、レコメンダーシステムです。
- B. ワイドモデルは暗記に使用され、ディープモデルは一般化に使用されます。
- C. ワイドモデルとディープモデルの適切な使用法は、小規模な線形回帰問題です。
- D. ワイドモデルは一般化に使用され、ディープモデルは暗記に使用されます。
正解:A、B
解説:
Explanation
Can we teach computers to learn like humans do, by combining the power of memorization and generalization? It's not an easy question to answer, but by jointly training a wide linear model (for memorization) alongside a deep neural network (for generalization), one can combine the strengths of both to bring us one step closer. At Google, we call it Wide & Deep Learning. It's useful for generic large-scale regression and classification problems with sparse inputs (categorical features with a large number of possible feature values), such as recommender systems, search, and ranking problems.
Reference: https://research.googleblog.com/2016/06/wide-deep-learning-better-together-with.html
質問 # 105
あなたは、オープンソースベースのツールと Google Kubernetes Engine (GKE) を使用してワークフロー パイプライン スケジューリングを実装しています。Google マネージド サービスを使用してタスクを簡素化し、自動化したいと考えています。共有 VPC ネットワークの考慮事項にも対応したいと考えています。あなたは何をするべきか?
- A. 共有 VPC 構成で Cloud Composer を使用します。Cloud Composer リソースをサービス プロジェクトに配置します。
- B. ワークフロー パイプラインに Dataflow を使用します。スケジュールには Cloud Run トリガーを使用します。
- C. 共有 VPC 構成で Cloud Composer を使用します。Cloud Composer リソースをホスト プロジェクトに配置します。
- D. ワークフロー パイプラインに Dataflow を使用します。シェル スクリプトを使用してワークフローをスケジュールします。
正解:A
解説:
Shared VPC requires that you designate a host project to which networks and subnetworks belong and a service project, which is attached to the host project. When Cloud Composer participates in a Shared VPC, the Cloud Composer environment is in the service project. Reference:
https://cloud.google.com/composer/docs/how-to/managing/configuring-shared-vpc
質問 # 106
BigQuery テーブルに 100 GB のデータが格納されています。このデータは古く、SQL による分析のために年に 1 ~ 2 回しかアクセスされません。バックアップの目的で、このデータを 3 年間変更不可として保存したいと考えています。ストレージ コストを最小限に抑えたいと考えています。どうすればよいでしょうか。
- A. 1 BigQuery テーブルのクローンを作成します。
2. 分析を実行する必要がある場合は、クローンに対してクエリを実行します。 - B. 1 アーカイブ ストレージ クラスを使用して Cloud Storage バケットに BigQuery エクスポートを実行します。
2 バケットにロックされた保持ポリシーを設定します。
3. エクスポートされたファイルに BigQuery 外部テーブルを作成します。 - C. 1 BigQuery テーブルのスナップショットを作成します。
2 分析を実行する必要がある場合は、スナップショットを復元します。 - D. 1. アーカイブ ストレージ クラスを使用して Cloud Storage バケットに BigQuery エクスポートを実行します。
2 バケットで versionmg を有効にします。
3. エクスポートされたファイルに BigQuery 外部テーブルを作成します。
正解:B
解説:
このオプションでは、アーカイブ ストレージ クラスは Cloud Storage クラスの中で GB あたりの料金が最も安いため、低コストのストレージ オプションにデータを保存できます。また、ロックされた保持ポリシーにより、保持期間が終了するまでデータの削除や上書きが禁止されるため、データは 3 年間変更不可になります。Cloud Storage バケット内のエクスポートされたファイルを参照する BigQuery 外部テーブルを作成することで、SQL を使用してデータをクエリすることもできます。オプション A は正しくありません。BigQuery テーブルのクローンを作成しても、クローンのサイズとストレージ クラスは元のテーブルと同じになるため、ストレージ コストは削減されません。オプション B は正しくありません。BigQuery テーブルのスナップショットを作成しても、スナップショットのサイズとストレージ クラスは元のテーブルと同じになるため、ストレージ コストは削減されません。オプション C は正しくありません。バケットでバージョン管理を有効にしても、適切な権限を持つユーザーによってバージョンが削除または上書きされる可能性があるため、データは変更不可になりません。また、ファイルの各バージョンが個別に課金されるため、ストレージ コストも増加します。参考:
テーブルデータのエクスポート | BigQuery | Google Cloud
ストレージ クラス | Cloud Storage | Google Cloud
保持ポリシーと保持期間 | Cloud Storage | Google Cloud フェデレーション クエリ | BigQuery | Google Cloud
質問 # 107
貴社では、IoTデバイスからストリーミングデータを取り込んで変換し、分析のために保存する必要があります。データは機密性が高く、転送中および保存時に独自の鍵による暗号化が必要です。データ量は1日を通して大きく変動することが予想されます。そのため、管理性と柔軟性を兼ね備えたソリューションを見つける必要があります。どうすればよいでしょうか?
- A. データを Cloud Storage に直接書き込み、Dataproc で処理して BigQuery に保存し、各サービスに顧客管理の暗号鍵(CMEK)を選択します。
- B. データを Pub/Sub に公開し、Dataflow で処理して Cloud SQL に保存し、各サービスに対して Cloud HSM からキーを選択します。
- C. データを Pub/Sub に公開し、Dataflow で処理して BigQuery に保存し、各サービスに対して Cloud KMS からキーを選択します。
- D. Storage Write API を使用して BigQuery に直接データを書き込み、SQL 関数を使用して BigQuery でデータを処理します。その際、各サービスに対して Google が管理する暗号化キーを選択します。
正解:C
解説:
Comprehensive and Detailed Explanation:
This question describes a classic, scalable streaming analytics architecture on Google Cloud.
Option C is the correct answer as it combines the best-in-class managed services for each part of the pipeline.
Pub/Sub is a fully managed, highly scalable messaging service perfect for ingesting fluctuating volumes of streaming IoT data.
Dataflow is a fully managed, serverless service for stream and batch processing that automatically scales resources up and down to handle fluctuating data volumes.
BigQuery is a serverless, highly scalable data warehouse optimized for analytics.
Cloud KMS is the standard Google Cloud service for creating and managing your own cryptographic keys, which are then used to enable Customer-Managed Encryption Keys (CMEK) across services like Pub/Sub, Dataflow, and BigQuery, satisfying the security requirement.
Option A is incorrect because it specifies using a Google-managed encryption key, which violates the requirement for encryption with "your own key." Option B is incorrect because Cloud SQL is a relational database (OLTP), not an analytical data warehouse (OLAP), making it unsuitable for storing and analyzing large volumes of streaming data. BigQuery is the appropriate choice.
Option D is incorrect because Dataproc is a managed Hadoop/Spark service. While powerful, it is less
"managed" and serverless than Dataflow, as you still need to provision and manage clusters. For a fully elastic and managed solution, Dataflow is the preferred choice.
Reference (Google Cloud Documentation Concepts):
This architecture is a canonical pattern for streaming analytics on Google Cloud. The "Streaming analytics" solution guide frequently highlights the Pub/Sub -> Dataflow -> BigQuery pattern. Each of these services supports Customer-Managed Encryption Keys (CMEK) using keys from Cloud KMS, ensuring data is protected at rest with customer-controlled keys, which aligns with the principle of customer control over data security.
質問 # 108
Dataprocクラスターには多くの構成ファイルが含まれています。これらのファイルを更新するには、-propertiesオプションを使用する必要があります。オプションの形式は、file_prefix:property = _____です。
- A. 詳細
- B. null
- C. id
- D. 値
正解:D
解説:
To make updating files and properties easy, the --properties command uses a special format to specify the configuration file and the property and value within the file that should be updated. The formatting is as follows: file_prefix:property=value.
Reference: https://cloud.google.com/dataproc/docs/concepts/cluster-properties#formatting
質問 # 109
BigQuery Web UI から実行できる操作はどれですか?
- A. SQL 形式でファイルをアップロードします。
- B. 20 MB のファイルをアップロードします。
- C. ネストされたフィールドと繰り返しフィールドを含むデータをロードします。
- D. ワイルドカードを使用して複数のファイルをアップロードします。
正解:C
解説:
You can load data with nested and repeated fields using the Web UI.
You cannot use the Web UI to:
- Upload a file greater than 10 MB in size
- Upload multiple files at the same time
- Upload a file in SQL format
All three of the above operations can be performed using the "bq" command.
Reference: https://cloud.google.com/bigquery/loading-data
質問 # 110
......
Google Cloud Certified無料認定試験材料はFast2testが提供された392問題:https://jp.fast2test.com/Professional-Data-Engineer-JPN-premium-file.html