2025年最新のに更新された検証済みの合格させるDatabricks-Certified-Data-Engineer-Professional日本語リアル試験問題と解答
問題集返金保証付きのDatabricks-Certified-Data-Engineer-Professional日本語問題集公式問題集
質問 # 41
データサイエンスチームから、ユーザーレビューの自由形式テキストに対するクエリの高速化に関する支援の依頼がありました。現在、データは以下のスキーマでParquetに保存されています。
item_id INT、user_id INT、review_id INT、rating FLOAT、review STRING
レビュー列には、ユーザーが投稿したレビューの全文が表示されます。具体的には、データサイエンスチームは、このフィールドに30個のキーワードのいずれかが存在するかどうかを特定しようとしています。
ジュニア データ エンジニアは、このデータを Delta Lake に変換するとクエリのパフォーマンスが向上すると提案しています。
ジュニアデータエンジニアの提案に対する正しい応答はどれですか?
- A. Delta ログは、選択的なフィルタリングをサポートするために、フリーテキスト フィールドの用語マトリックスを作成します。
- B. Delta Lake 統計は、カーディナリティの高いフリーテキスト フィールドに対して最適化されていません。
- C. Delta Lake ではテキスト データを保存できません。
- D. Delta Lake 統計は、テーブルの最初の 4 列でのみ収集されます。
- E. パフォーマンスの向上を確認するには、ZORDER ON レビューを実行する必要があります。
正解：B
解説：
Converting the data to Delta Lake may not improve query performance on free text fields with high cardinality, such as the review column. This is because Delta Lake collects statistics on the minimum and maximum values of each column, which are not very useful for filtering or skipping Get Latest & Actual Certified-Data-Engineer-Professional Exam's Question and Answers from data on free text fields. Moreover, Delta Lake collects statistics on the first 32 columns by default, which may not include the review column if the table has more columns. Therefore, the junior data engineer's suggestion is not correct. A better approach would be to use a full-text search engine, such as Elasticsearch, to index and query the review column. Alternatively, you can use natural language processing techniques, such as tokenization, stemming, and lemmatization, to preprocess the review column and create a new column with normalized terms that can be used for filtering or skipping data.
質問 # 42
タスクオーケストレーターは、2つの1時間ごとのタスクを実行するように設定されています。まず、外部システムが/mnt/raw_orders/にマウントされたディレクトリにParquetデータを書き込みます。このデータが書き込まれた後、以下のコードを含むDatabricksジョブが実行されます。
Certified-Data-Engineer-Professional試験の最新かつ実際の質問と回答を入手する
フィールド customer_id と order_id は各注文を一意に識別する複合キーとして機能し、time フィールドはレコードがソース システムにキューに入れられた時刻を示すものと想定します。
上流システムが、単一の注文に対して数時間おきに重複したエントリをキューに入れることが時々あることがわかっている場合、正しい記述はどれですか。
- A. 注文テーブルには最新の 2 時間のレコードのみが含まれ、重複は存在しません。
- B. 2 時間以上間隔をあけて到着した重複レコードは削除されますが、同じバッチで到着した重複レコードは両方とも注文テーブルに書き込まれる可能性があります。
- C. すべてのレコードは、重複が排除されて注文テーブルにコミットされる前に、状態ストアに 2 時間保持されます。
- D. 2 時間以上間隔をあけてキューに登録された重複レコードが保持され、orders テーブルに同じ customer_id と order_id を持つ重複レコードが含まれる場合があります。
- E. 注文テーブルには重複は含まれませんが、2 時間以上遅れて到着したレコードは無視され、テーブルから削除されます。
正解：D
質問 # 43
デルタ レイクとレイクハウスについて正しいのは次のうちどれですか?
- A. 主キー制約と外部キー制約を利用すると、ディメンション テーブルに重複する値が入力されないようにすることができます。
- B. Parquet はデータを行ごとに圧縮するため、文字列は文字が複数回繰り返される場合にのみ圧縮されます。
- C. Lakehouse 内のビューは、常にソース テーブルの最新バージョンの有効なキャッシュを維持します。
- D. Delta Lake は、クエリ フィルターに基づいてデータのスキップに活用される各テーブルの最初の 32 列の統計を自動的に収集します。
- E. Z オーダーは Delta Lake テーブルに格納されている数値にのみ適用できます。
正解：D
解説：
Delta Lake automatically collects statistics on the first 32 columns of each table, which are leveraged in data skipping based on query filters. Data skipping is a performance optimization technique that aims to avoid reading irrelevant data from the storage layer. By collecting statistics such as min/max values, null counts, and bloom filters, Delta Lake can efficiently prune unnecessary files or partitions from the query plan. This can significantly improve the query performance and reduce the I/O cost.
質問 # 44
ジュニアデータエンジニアが、ワークロードをリレーショナルデータベースシステムからDatabricks Lakehouseに移行しています。ソースシステムはスタースキーマを使用しており、外部キー制約とマルチテーブル挿入を利用して書き込み時にレコードを検証しています。
このワークロードを移行する際にエンジニアが行う決定に影響を与える考慮事項は何ですか?
- A. 複数のテーブルに同時にコミットするには、複数のテーブル ロックを取得する必要があり、デッドロック状態になる可能性があります。
- B. 外部キーは主キー フィールドを参照する必要があります。複数のテーブルを挿入する場合は、Delta Lake の upsert 機能を活用する必要があります。
- C. すべての Delta Lake トランザクションは単一のテーブルに対して ACID 準拠であり、Databricks は外部キー制約を強制しません。
- D. Databricks では、ハッシュされた識別子に対してのみ外部キー制約が許可され、これにより、高度に並列化された書き込みでの衝突が回避されます。
- E. Databricks は Spark SQL と JDBC をサポートしており、すべてのロジックをリファクタリングなしでソース システムから直接移行できます。
正解：C
質問 # 45
新人データエンジニアが、KafkaソースをDelta Lakeに書き込むアプリケーションで重要なフィールドが省略されていることに気づきました。この重要なフィールドはKafkaソース内に存在していたにもかかわらず、この問題が発生しました。
このフィールドは、依存する長期ストレージに書き込まれたデータからも欠落していました。Kafkaサービスの保持期間のしきい値は7日間です。パイプラインは3か月間本番環境で稼働しています。
将来的にこのようなデータ損失を回避するために Delta Lake がどのように役立つかを説明していますか?
- A. Delta ログと構造化ストリーミング チェックポイントには、Kafka プロデューサーの完全な履歴が記録されます。
- B. Delta Lake は、ソース データに存在するすべてのフィールドが取り込みレイヤーに含まれているかどうかを自動的に確認します。
- C. Delta Lake スキーマの進化により、データが元のソース内にある限り、新しく追加されたフィールドの正しい値を遡及的に計算できます。
- D. Kafkaからブロンズデルタテーブルにすべての生データとメタデータを取り込むことで、データ状態の永続的で再生可能な履歴が作成されます。最新の実際のCertified-Data-Engineer-Professional試験の質問と回答を
- E. Delta Lake からデータが完全に削除されることはありません。そのため、どのような状況でもデータの損失は発生しません。
正解：D
解説：
This is the correct answer because it describes how Delta Lake can help to avoid data loss of this nature in the future. By ingesting all raw data and metadata from Kafka to a bronze Delta table, Delta Lake creates a permanent, replayable history of the data state that can be used for recovery or reprocessing in case of errors or omissions in downstream applications or pipelines.
Delta Lake also supports schema evolution, which allows adding new columns to existing tables without affecting existing queries or pipelines. Therefore, if a critical field was omitted from an application that writes its Kafka source to Delta Lake, it can be easily added later and the data can be reprocessed from the bronze table without losing any information.
質問 # 46
ストリーム静的結合と静的デルタ テーブルに関する正しい記述はどれですか。
- A. チェックポイント ディレクトリは、静的 Delta テーブルの更新を追跡するために使用されます。
- B. チェックポイント ディレクトリは、結合に存在する一意のキーの状態情報を追跡するために使用されます。
- C. ストリーム静的結合の各マイクロバッチは、ジョブの初期化時点での静的 Delta テーブルの最新バージョンを使用します。
- D. 一貫性の問題のため、ストリーム静的結合では静的デルタ テーブルを使用できません。
- E. ストリーム静的結合の各マイクロバッチでは、各マイクロバッチの時点での静的 Delta テーブルの最新バージョンが使用されます。
正解：E
解説：
This is the correct answer because stream-static joins are supported by Structured Streaming when one of the tables is a static Delta table. A static Delta table is a Delta table that is not updated by any concurrent writes, such as appends or merges, during the execution of a streaming query. In this case, each microbatch of a stream-static join will use the most recent version of the static Delta table as of each microbatch, which means it will reflect any changes made to the static Delta table before the start of each microbatch.
質問 # 47
Databricksジョブは3つのタスクで構成されており、それぞれがDatabricksノートブックです。タスクAは他のタスクに依存しません。タスクBとCは並列実行され、それぞれがタスクAに対して順次依存関係を持ちます。
タスク A と B は正常に完了したが、スケジュールされた実行中にタスク C が失敗した場合、結果の状態を説明するステートメントはどれですか。
- A. タスク A および B に関連付けられたノートブックで表現されたすべてのロジックが正常に完了します。タスク C の一部の操作は正常に完了している可能性があります。
- B. タスク A に関連付けられたノートブックで表現されたすべてのロジックは正常に完了します。ステージの失敗のため、タスク B と C は変更をコミットしません。
- C. すべてのタスクは依存関係グラフとして管理されるため、すべてのタスクが正常に完了するまで、変更は Lakehouse にコミットされません。
- D. タスク A と B に関連付けられたノートブックで表現されたすべてのロジックは正常に完了します。タスク C で行われた変更は、タスクの失敗によりロールバックされます。
- E. すべてのタスクが正常に完了しない限り、変更は Lakehouse にコミットされません。タスク C が失敗したため、すべてのコミットは自動的にロールバックされます。
正解：A
解説：
The query uses the CREATE TABLE USING DELTA syntax to create a Delta Lake table from an existing Parquet file stored in DBFS. The query also uses the LOCATION keyword to specify the path to the Parquet file as /mnt/finance_eda_bucket/tx_sales.parquet. By using the LOCATION keyword, the query creates an external table, which is a table that is stored outside of the default warehouse directory and whose metadata is not managed by Databricks. An external table can be created from an existing directory in a cloud storage system, such as DBFS or S3, that contains data files in a supported format, such as Parquet or CSV.
The resulting state after running the second command is that an external table will be created in the storage container mounted to /mnt/finance_eda_bucket with the new name prod.sales_by_store. The command will not change any data or move any files in the storage container; it will only update the table reference in the metastore and create a new Delta transaction log for the renamed table.
質問 # 48
データガバナンスチームは、GDPR遵守のため、ユーザーのレコード削除を審査しています。削除リクエストをuser_lookupテーブルからユーザー集計テーブルに反映させるため、以下のロジックが実装されています。
user_id が一意の識別キーであり、削除を要求したすべてのユーザーが user_lookup テーブルから削除されていると仮定すると、上記のロジックを正常に実行すると、user_aggregates テーブルから削除されるレコードにアクセスできなくなることが保証されるかどうか、またその理由はどれですか。
- A. はい。Delta Lake ACID 保証により、DELETE コマンドが完全に成功し、これらのレコードが永続的に消去されたことが保証されます。
- B. はい。変更データ フィードは外部キーを使用して、Lakehouse 全体での削除の一貫性を確保します。
- C. いいえ。変更データ フィードは挿入と更新のみを追跡し、削除されたレコードは追跡しません。
- D. いいえ。削除されたレコードを含むファイルは、BACUM コマンドを使用して無効化されたデータ ファイルを削除するまで、タイム トラベルで引き続きアクセスできる可能性があります。
- E. いいえ。Delta Lake の DELETE コマンドは、MERGE INTO コマンドと組み合わせた場合にのみ ACID 保証を提供します。
正解：D
解説：
Get Latest & Actual Certified-Data-Engineer-Professional Exam's Question and Answers from Explanation:
The DELETE operation in Delta Lake is ACID compliant, which means that once the operation is successful, the records are logically removed from the table. However, the underlying files that contained these records may still exist and be accessible via time travel to older versions of the table. To ensure that these records are physically removed and compliance with GDPR is maintained, a VACUUM command should be used to clean up these data files after a certain retention period. The VACUUM command will remove the files from the storage layer, and after this, the records will no longer be accessible.
質問 # 49
データチームの構造化ストリーミングジョブは、下流のマーケティングダッシュボードを更新するために、アイテムの売上に関する集計を実行するように設定されています。マーケティングチームは、各アイテムでこのプロモーションコードが使用された回数を追跡するための新しいフィールドを導入しました。あるジュニアデータエンジニアは、既存のクエリを次のように更新することを提案しました。提案された変更は太字で示されています。
元のクエリ:
Certified-Data-Engineer-Professional試験の最新かつ実際の質問と回答を入手する
提案されたクエリ:
提案されたクエリ:
.start("/item_agg")
提案されたクエリを本番環境に導入するには、どの手順も完了する必要がありますか?
- A. "/item_agg"ディレクトリ内のデータをHiveメタストアに登録します
- B. 追加の集計を考慮してシャッフルパーティションを増やす
- C. REFRESH TABLE delta, /item_agg' を実行します。
- D. 新しいチェックポイントの場所を指定します
- E. ストリーミング書き込みから .option (mergeSchema', true') を削除します。
正解：D
解説：
When introducing a new aggregation or a change in the logic of a Structured Streaming query, it is generally necessary to specify a new checkpoint location. This is because the checkpoint directory contains metadata about the offsets and the state of the aggregations of a streaming query. If the logic of the query changes, such as including a new aggregation field, the state information saved in the current checkpoint would not be compatible with the new logic, potentially leading to incorrect results or failures. Therefore, to accommodate the new field and ensure the streaming job has the correct starting point and state information for aggregations, a new checkpoint location should be specified.
質問 # 50
夜間バッチジョブは、クラウドオブジェクトストレージコンテナからすべてのデータファイルを取り込むように設定されています。このコンテナには、YYYY/MM/DDというネストされたディレクトリ構造でレコードが保存されています。各日付のデータは、その日にソースシステムによって処理されたすべてのレコードを表します。一部のレコードはモデレーターの承認待ちのため、処理が遅れる場合があります。各エントリは製品に対するユーザーレビューを表し、以下のスキーマを持ちます。
user_id STRING、review_id BIGINT、product_id BIGINT、review_timestamp TIMESTAMP、review_text STRING 取り込みジョブは、ソースシステムと同一のスキーマを持つターゲットテーブル reviews_raw に、前日のすべてのデータを追加するように設定されています。パイプラインの次のステップは、reviews_raw に挿入されたすべての新規レコードを、データが完全に重複排除、検証、およびエンリッチされたテーブルに伝播するバッチ書き込みです。
このデータバッチを伝播するための計算コストを最小限に抑えるソリューションはどれですか?
Certified-Data-Engineer-Professional試験の最新かつ実際の質問と回答を入手する
- A. review_timestamp に基づいて reviews_raw テーブル内のすべてのレコードをフィルタリングし、過去 48 時間以内に生成されたレコードを一括追加します。
- B. reviews_raw 内のすべてのレコードを再処理し、パイプラインの次のテーブルを上書きします。
- C. トリガー ワンス実行モードを使用して reviews_raw テーブルに対して構造化ストリーミング読み取りを構成し、新しいレコードをバッチ ジョブとして処理します。
- D. reviews_raw テーブルでバッチ読み取りを実行し、自然な複合キー user_id、review_id、product_id、review_timestamp を使用して挿入のみのマージを実行します。
- E. Delta Lake のバージョン履歴を使用して、reviews_raw の最新バージョンと 1 つ前のバージョンの違いを取得し、これらのレコードを次のテーブルに書き込みます。
正解：C
解説：
https://www.databricks.com/blog/2017/05/22/running-streaming-jobs-day-10x-cost-savings.html
質問 # 51
次の表は、電子商取引 Web サイト内のユーザー カートにあるアイテムで構成されています。
Certified-Data-Engineer-Professional試験の最新かつ実際の質問と回答を入手する
次の MERGE ステートメントは、このテーブルでスキーマ評価を有効にして、更新ビューを使用してこのテーブルを更新するために使用されます。
次のアップデートはどのように処理されますか?
- A. 新しく復元されたフィールドがターゲット スキーマに追加され、既存の一致しないレコードに対して NULL として動的に読み取られます。
- B. 新しいネストされたフィールドがターゲット スキーマに追加され、既存のレコードの基になるファイルが更新されて、新しいフィールドに NULL 値が含まれるようになります。
- C. ターゲット スキーマ内の既存の列への変更はサポートされていないため、更新でエラーが発生します。
- D. ターゲット スキーマで予期される列が欠落しているため、更新は別の「復元された」列に移動されます。
正解：B
解説：
With schema evolution enabled in Databricks Delta tables, when a new field is added to a record through a MERGE operation, Databricks automatically modifies the table schema to include the new field. In existing records where this new field is not present, Databricks will insert NULL values for that field. This ensures that the schema remains consistent across all records in the table, with the new field being present in every record, even if it is NULL for records that did not originally include it.
質問 # 52
ユーザーのコンテンツに関するメタデータを表す Delta Lake テーブルのスキーマは次のとおりです。
上記のスキーマに基づいて、デルタ テーブルをパーティション分割するのに適した列はどれですか。
- A. 日付
- B. ユーザーID
- C. 投稿ID
- D. 投稿時間
- E. 緯度
正解：A
解説：
Partitioning a Delta Lake table improves query performance by organizing data into partitions based on the values of a column. In the given schema, the date column is a good candidate for partitioning for several reasons:
Time-Based Queries: If queries frequently filter or group by date, partitioning by the date column can significantly improve performance by limiting the amount of data scanned. Granularity: The date column likely has a granularity that leads to a reasonable number of partitions (not too many and not too few). This balance is important for optimizing both read and write performance.
Data Skew: Other columns like post_id or user_id might lead to uneven partition sizes (data skew), which can negatively impact performance.
Get Latest & Actual Certified-Data-Engineer-Professional Exam's Question and Answers from Partitioning by post_time could also be considered, but typically date is preferred due to its more manageable granularity.
質問 # 53
ジュニアデータエンジニアが、Lakehouseテーブル「silver_device_recordings」にロジックを実装しようとしています。ソースデータには、高度にネストされたJSON構造に100個の一意のフィールドが含まれています。
silver_device_recordings テーブルは、下流の複数の本番環境監視ダッシュボードと本番環境モデルを強化するために使用されます。現在、100 個のフィールドのうち 45 個が、これらのアプリケーションの少なくとも 1 つで使用されています。
データ エンジニアは、データの高度にネストされた構造と多数のフィールドを考慮して、スキーマ宣言を処理するための最適なアプローチを決定しようとしています。
Delta Lake と Databricks に関して、意思決定プロセスに影響を与える可能性のある情報を正確に示しているのは次のどれですか。
- A. コードの作成における人的労力は、データ エンジニアリング ワークロードに関連する最大のコストです。そのため、テーブル宣言ロジックの自動化は、すべての移行ワークロードで優先事項にする必要があります。
- B. Databricks は、観測されたすべてのデータを処理できる型を使用してスキーマを推論するため、型を手動で設定すると、データ品質の適用がより確実に行われます。
- C. Delta Lake はデータ ストレージに Parquet を使用するため、ファイル フッター情報を変更するだけでデータ タイプを簡単に進化させることができます。
- D. .Databricks でのスキーマ推論と進化により、推論された型が下流のシステムで使用されるデータ型と常に正確に一致することが保証されます。
- E. Databricks で使用される Tungsten エンコーディングは、文字列データの格納に最適化されています。JSON 文字列のクエリに対する新しく追加されたネイティブ サポートにより、文字列型が常に最も効率的になります。
正解：B
解説：
This is the correct answer because it accurately presents information about Delta Lake and Databricks that may impact the decision-making process of a junior data engineer who is trying to determine the best approach for dealing with schema declaration given the highly-nested structure of the data and the numerous fields. Delta Lake and Databricks support schema inference and evolution, which means that they can automatically infer the schema of a table from the source data and allow adding new columns or changing column types without affecting existing queries or pipelines. However, schema inference and evolution may not always be desirable or reliable, especially when dealing with complex or nested data structures or when enforcing data quality and consistency across different systems. Therefore, setting types manually can provide greater assurance of data quality enforcement and avoid potential errors or conflicts due to incompatible or unexpected data types.
質問 # 54
Spark Structured Streaming で使用される一般的なプログラミング モデルの特徴を説明する記述はどれですか。
- A. 構造化ストリーミングは、GPU の並列処理を活用して、高度な並列データ スループットを実現します。
- B. 構造化ストリーミングは、特殊なハードウェアと I/O ストリームを使用して、データ転送のレイテンシを 1 秒未満に抑えます。
- C. 構造化ストリーミングはメッセージング バスとして実装されており、Apache Kafka から派生しています。
- D. 構造化ストリーミングは、データ ストリームに到着する新しいデータを、無制限のテーブルに追加される新しい行としてモデル化します。
- E. 構造化ストリーミングは、キャッシュされたステージの増分状態値を保持するノードの分散ネットワークに依存します。
正解：D
解説：
The key idea in Structured Streaming is to treat a live data stream as a table that is being continuously appended. This leads to a new stream processing model that is very similar to a batch processing model. You will express your streaming computation as standard batch-like query as on a static table, and Spark runs it as an incremental query on the unbounded input table. Let's understand this model in more detail.
https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html
質問 # 55
DLT パイプラインには、次のストリーミング テーブルが含まれます。
raw_lot は心拍数トラッキングデバイスから生のデバイス測定データを取り込みます。bgm_stats は raw_lot からの BPM 測定値に基づいてユーザー統計を段階的に計算します。データエンジニアは、パイプラインの更新実行時に下流のテーブルを再計算しながら、raw_iot テーブルで手動で削除または更新されたレコードを保持できるように、このパイプラインをどのように設定すればよいでしょうか？
- A. raw_iot のパイプライン、リセット、許可プロパティを false に設定します。
- B. SkipChangeCommitsフラグをtrueに設定する raw_lot
- C. bpm_statsのskipChangeCommitsフラグをtrueに設定する
- D. bpm_stats のパイプライン、リセット、許可プロパティを false に設定します。
正解：A
解説：
In Databricks Lakehouse, to retain manually deleted or updated records in the raw_iot table while recomputing downstream tables when a pipeline update is run, the property pipelines.reset.allowed should be set to false. This property prevents the system from resetting the state of the table, which includes the removal of the history of changes, during a pipeline update. By keeping this property as false, any changes to the raw_iot table, including manual deletes or updates, are retained, and recomputation of downstream tables, such as bpm_stats, can occur with the full history of data changes intact.
質問 # 56
データ エンジニアは、非常に類似したコードによる複数の定義が含まれる次の DLT コードをリフレクタしたいと考えています。
パラメーター化されたテーブル定義を使用してこれらのテーブルをプログラムで作成するために、データ エンジニアは次のコードを記述します。
パイプラインはこのリファクタリングされたコードを使用して更新を実行しますが、テーブルの誤った構成値を示す別の DAG を生成します。
データエンジニアはこれをどうやって修正できるでしょうか?
- A. パイプライン パラメータによって指定されたパスにある別のファイルからこれらのテーブルの構成値を読み込みます。
- B. テーブル名をキーとして使用して、構成値のリストをテーブル設定の辞書に変換します。
- C. ループを別のテーブル定義内にラップし、一般化された名前とプロパティを使用して、内部テーブルのものと置き換えます。
- D. for ループの異なる入力を使用して、構成値のリストをテーブル設定の辞書に変換します。
Certified-Data-Engineer-Professional試験の最新かつ実際の質問と回答を入手する
正解：B
解説：
The issue with the refactored code is that it tries to use string interpolation to dynamically create table names within the dlc.table decorator, which will not correctly interpret the table names.
Instead, by using a dictionary with table names as keys and their configurations as values, the data engineer can iterate over the dictionary items and use the keys (table names) to properly configure the table settings. This way, the decorator can correctly recognize each table name, and the corresponding configuration settings can be applied appropriately.
質問 # 57
......
更新されたPDF（2025年最新）実際にあるDatabricks Databricks-Certified-Data-Engineer-Professional日本語試験問題：https://jp.fast2test.com/Databricks-Certified-Data-Engineer-Professional-JPN-premium-file.html