渐变维度使用 Apache Hudi 实现 SCD-2( 二 ) _生活百科

启动 spark shell 后，我们可以导入库，并创建 Hudi 表，如下所示。
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.4.8 /_/Using Scala version 2.12.10 (OpenJDK 64-Bit Server VM, Java 1.8.0_312)Type in expressions to have them evaluated.Type :help for more information.scala> spark.sql("""create table hudi_product_catalog ( | seller_id int, | prod_category string, | product_name string, | product_package string, | discount_percentage string, | eff_start_ts timestamp, | eff_end_ts timestamp, | actv_ind int | ) using hudi | tblproperties ( | type = 'cow', | primaryKey = 'seller_id,prod_category,eff_end_ts', | preCombineField = 'eff_start_ts' | ) | partitioned by (actv_ind) | location 'gs://target_bucket/hudi_product_catalog/'""")将数据写入到存储桶后，如下是 Hudi 目标表的数据格式。
+-------------------+---------------------+-------------------------------------------------------------------------+----------------------+--------------------------------------------------------------------------+---------+--------------+---------------+---------------+-------------------+-------------------+-------------------+--------+|_hoodie_commit_time|_hoodie_commit_seqno |_hoodie_record_key |_hoodie_partition_path|_hoodie_file_name |seller_id|prod_category |product_name |product_package|discount_percentage|eff_start_ts |eff_end_ts |actv_ind|+-------------------+---------------------+-------------------------------------------------------------------------+----------------------+--------------------------------------------------------------------------+---------+--------------+---------------+---------------+-------------------+-------------------+-------------------+--------+|20220722113258101 |20220722113258101_0_0|seller_id:3412,prod_category:Healthcare,eff_end_ts:253402300799000000 |actv_ind=1 |a94c9c58-ac6b-4841-a734-8ef1580e2547-0_0-29-1219_20220722113258101.parquet|3412 |Healthcare |Dolo 650 |10 |10 |2022-04-01 16:30:45|9999-12-31 23:59:59|1 ||20220722113258101 |20220722113258101_0_1|seller_id:1234,prod_category:Home Essential,eff_end_ts:253402300799000000|actv_ind=1 |a94c9c58-ac6b-4841-a734-8ef1580e2547-0_0-29-1219_20220722113258101.parquet|1234 |Home Essential|Hand Towel |12 |20 |2021-10-20 06:55:22|9999-12-31 23:59:59|1 ||20220722113258101 |20220722113258101_0_2|seller_id:4565,prod_category:Gourmet,eff_end_ts:253402300799000000 |actv_ind=1 |a94c9c58-ac6b-4841-a734-8ef1580e2547-0_0-29-1219_20220722113258101.parquet|4565 |Gourmet |Dairy Milk Silk|6 |30 |2021-06-12 20:30:40|9999-12-31 23:59:59|1 ||20220722113258101 |20220722113258101_0_3|seller_id:1234,prod_category:Detergent,eff_end_ts:253402300799000000 |actv_ind=1 |a94c9c58-ac6b-4841-a734-8ef1580e2547-0_0-29-1219_20220722113258101.parquet|1234 |Detergent |Tide 2L |6 |15 |2021-12-15 15:20:30|9999-12-31 23:59:59|1 |+-------------------+---------------------+-------------------------------------------------------------------------+----------------------+--------------------------------------------------------------------------+---------+--------------+---------------+---------------+-------------------+-------------------+-------------------+--------+

渐变维度使用 Apache Hudi 实现 SCD-2( 二 )

经验总结扩展阅读

2022年10月24日是出火的黄道吉日吗 2022年农历九月廿九宜出火吗

亚麻衣服怎么洗不缩水,亚麻面料的衣服这样清洗不会缩水？

纱窗拐角断了如何取出来纱窗拐角断了用什么取代

海蛎子能放几天,生海蛎子能放多长时间

韩国眉毛的画法这几个技巧你要知道

宝宝成长中的几个关键时期--1岁以内宝宝

象鼻山公园旅游攻略掌握三点就可以

二十四史有哪些,二十四史有哪些

巴奴是哪里的品牌

导语：心仪的他就在眼前心仪的男人不唐突的4种搭讪方式，教你把握机会，迈出追爱第一步

仲孙姓男孩起名大全

再过4天，鸿运当头，高人一等，喜事接踵，横财不断，尽享富贵

六款2023年最佳手机推荐手机好用排行榜2023

夏季肌肤护理必知化妆水如何使用

疾病 40岁是肠道疾病“高发期”，若想肠道更健康，3个坏习惯要改掉

11年奇瑞瑞虎油耗多少?

开封清明上河园什么时候开门

谈谈学生早恋的危害不要让自己抱憾终生

爸爸经常打骂孩子怎么办

好听聚财的公司名字聚人聚财的企业名字

渐变维度 使用 Apache Hudi 实现 SCD-2( 二 )

经验总结扩展阅读

渐变维度使用 Apache Hudi 实现 SCD-2( 二 )