Databricks Databricks-Certified-Professional-Data-Engineer Korean Exam Questions : Databricks Certified Professional Data Engineer Exam (Databricks-Certified-Professional-Data-Engineer Korean Version)

한 조직이 웹 및 모바일 애플리케이션에서 고객 데이터를 처리합니다. 데이터에는 이름, 이메일, 전화번호 및 위치 기록이 포함됩니다. 데이터는 배치 파일(SFTP를 통해 매일 전송)과 스트리밍 JSON 이벤트(Kafka를 통해 실시간으로 전송) 형태로 수신됩니다.
데이터 개인정보 보호 정책을 준수하려면 다음 요건을 충족해야 합니다.
* 이메일, 전화번호, IP 주소와 같은 개인 식별 정보(PII)는 저장하기 전에 마스킹 또는 익명화해야 합니다.
* 배치 파이프라인과 스트리밍 파이프라인 모두 개인정보 처리 방식에 일관성을 적용해야 합니다.
* 마스킹 로직은 감사 가능하고 재현 가능해야 합니다.
* 마스킹된 데이터는 후속 분석에 계속 사용할 수 있어야 합니다.
데이터 엔지니어는 배치 모드와 스트리밍 모드를 모두 지원하고, 개인 식별 정보(PII)에 데이터 마스킹을 적용하며, 감사 추적성을 유지하는 Databricks 기반의 규정 준수 데이터 파이프라인을 어떻게 설계해야 할까요?

• A. 배치 및 스트리밍 데이터 수집을 위해 Lakeflow 선언적 파이프라인을 사용하고, 개인 식별 정보(PII) 마스킹 기능을 정의합니다.
  그리고 델타 호수에 편지를 쓰기 전에 청동을 섭취하는 동안 그것을 적용하십시오.
• B. Lakeflow 선언적 파이프라인을 사용하여 배치 및 스트리밍 데이터를 모두 수집하고, 수집 중에 데이터가 수정되지 않도록 읽기 시점에 Unity 카탈로그 열 마스크를 통해 마스킹을 적용합니다.
• C. 계보 추적을 위해 Bronze 테이블에는 개인 식별 정보(PII)를 마스킹하지 않고 저장한 다음, 보고에 사용되는 Gold 테이블에서 마스킹 로직을 적용합니다.
• D. 노트북을 사용하여 배치 데이터를 로드하고 SQL Warehouses를 사용하여 스트리밍 데이터를 수집합니다. 저장 후 Silver 테이블에서 Unity Catalog 열 마스크를 사용하여 필드를 수정합니다.

프로덕션 환경에 배포된 구조화된 스트리밍 작업으로 인해 예상보다 높은 클라우드 스토리지 비용이 발생하고 있습니다. 현재 정상적인 실행 환경에서 각 마이크로 배치 데이터는 3초 이내에 처리되지만, 분당 최소 12회 이상 레코드가 없는 마이크로 배치가 처리되고 있습니다. 스트리밍 쓰기는 기본 트리거 설정을 사용하여 구성되었습니다. 해당 프로덕션 작업은 배치 실행 작업의 시작 시간을 단축하기 위해 인스턴스 풀이 프로비저닝된 워크스페이스에서 다른 여러 Databricks 작업과 함께 예약되어 있습니다. 다른 모든 변수를 일정하게 유지하고 레코드를 10분 이내에 처리해야 한다고 가정할 때, 어떤 조정이 요구 사항을 충족할까요?

• A. 트리거 간격을 500밀리초로 설정하십시오. 작지만 0이 아닌 트리거 간격을 설정하면 소스에 대한 쿼리가 너무 자주 발생하지 않습니다.
• B. 트리거 간격을 3초로 설정하십시오. 기본 트리거 간격은 배치당 너무 많은 레코드를 처리하여 디스크에 스필이 발생하고 용량 비용이 증가할 수 있습니다.
• C. 트리거 간격을 10분으로 설정하십시오. 각 배치 작업은 소스 스토리지 계정의 API를 호출하므로 트리거 빈도를 허용 가능한 최대 임계값으로 줄이면 이 비용을 최소화할 수 있습니다.
• D. 한 번만 트리거 옵션을 사용하고 Databricks 작업을 구성하여 10분마다 쿼리를 실행하도록 설정하십시오. 이 방법을 사용하면 컴퓨팅 및 스토리지 비용을 최소화할 수 있습니다.

다음 중 통합 테스트를 설명하는 문장은 무엇입니까?

• A. 자동화된 테스트 프레임워크가 필요합니다
• B. 수동 개입 필요
• C. 애플리케이션의 하위 시스템 간의 상호 작용을 검증합니다.
• D. 애플리케이션의 개별 요소 동작을 검증합니다.
• E. 애플리케이션 사용 사례를 검증합니다.

상위 시스템에서 변경 데이터 캡처(CDC) 로그가 생성되어 클라우드 객체 스토리지 디렉터리에 기록됩니다. 로그의 각 레코드는 변경 유형(삽입, 업데이트 또는 삭제)과 변경 후 각 필드의 값을 나타냅니다. 소스 테이블에는 pk_id 필드로 식별되는 기본 키가 있습니다.
감사 목적으로 데이터 거버넌스 팀은 소스 시스템에서 유효했던 모든 값에 대한 전체 기록을 유지하고자 합니다. 분석 목적으로는 각 레코드의 가장 최근 값만 기록하면 됩니다. 이러한 레코드를 수집하는 Databricks 작업은 한 시간에 한 번 실행되지만, 각 레코드는 한 시간 동안 여러 번 변경될 수 있습니다.
어떤 솔루션이 이러한 요구 사항을 충족합니까?

• A. merge into를 사용하여 각 pk_id에 대한 가장 최근 항목을 bronze 테이블에 삽입, 업데이트 또는 삭제한 다음 모든 변경 사항을 시스템 전체에 전파합니다.
• B. 테이블에 대한 일련의 변경 사항을 순서대로 반복하여 각 변경 사항을 순차적으로 적용합니다. Delta Lake의 버전 관리 기능을 활용하여 감사 로그를 생성합니다.
• C. Delta Lake의 변경 데이터 피드를 사용하여 외부 시스템의 CDC 데이터를 자동으로 처리하고 모든 변경 사항을 Lakehouse의 모든 종속 테이블에 전파합니다.
• D. 각 pk_id에 대해 별도의 히스토리 테이블을 생성하고, 모든 히스토리 테이블을 합치고 가장 최근 상태를 필터링하여 테이블의 현재 상태를 확인합니다.
• E. 모든 로그 정보를 브론즈 테이블에 수집하고, merge into를 사용하여 각 pk_id에 대한 가장 최근 항목을 실버 테이블에 삽입, 업데이트 또는 삭제하여 현재 테이블 상태를 복원합니다.

데이터 엔지니어링 팀이 배포 자동화를 설정하고 있습니다. Databricks CLI 명령어를 사용하여 워크스페이스 자산을 원격으로 배포하려면 적절한 인증 설정을 구성해야 합니다.
어떤 인증 방식이 가장 높은 수준의 보안을 제공할까요?

• A. 서비스 주체 ID와 해당 OAuth 클라이언트 비밀 키를 사용합니다.
• B. 서비스 주체와 해당 개인 액세스 토큰을 사용합니다.
• C. OAuth 토큰 연동을 사용하는 서비스 주체를 사용합니다.
• D. 공유 사용자 계정과 해당 OAuth 클라이언트 비밀 키를 사용합니다.