数据之道

学习和研究

论企业信息化和数字化转型

信息化和数字化信息化和数字化的区别数据作为企业的一种最重要最具价值的资产，已经受到广大认可。在国家新基建的号召下，数字化转型的口号甚嚣尘上，数据中台就是其中具象化的代表作。数据中台是什么？我也看过不少文章，一直想寻求一个唯一解，到现在发现，这个概念还很难说有一个确定的、公共的定义。各家之言，每家都有自己的理解和解释。但这些理论之中也有一些相似相通之处。数据中台，它的属性里一定是具有.........

Posted by hydra on 2021-07-29

Hadoop生态笔记（1）

Hadoop生态，数据存储。数据采集，转换（存储容器格式）Flume、kafka、sqoop 文件系统HDFS 数据格式1、文本数据CSV 2、结构化文本数据XML和JSON，这种文件很难分片，Hadoop没有为这类格式提供内置的InputFormat。使用类似Avro的容器格式。将数据转换为Avro的内容，从而为数据存储与数据处理提供更紧密、有效的方法。使用处理XML或JSON文件的.........

Posted by hydra on 2020-04-07

Hive-笔记（3）

Hive正则表达式数据抽取笔记最近在处理一批数据时，原始数据很乱，没有规范化，需要进行按一定格式抽取，这必然就是正则的舞台了。源内容：湖南.怀化地区虚拟站/燃煤/总有功/日电量＠日电量筱溪/当日/电量湖南.沙田/日电量湖南.凤滩A2厂/当日/电量省网发电火电计划值500kV网损率全省网损率祁韶直流实际电量＠日电量葛洲坝计划值湖南.常德地区虚拟站/打包.当日/电量提取内容：怀化地区虚.........

Posted by hydra on 2019-12-22

Hive-笔记（2）

Hive分组，列值拼成字符串这个之前其实已经提到过了，这次写文档遇到个需求，再巩固一下写法。 cd_var cd_var_nm 岳阳市岳阳县岳阳市平江县岳阳市湘阴县岳阳市华容县省份、地市、区县加起来太多，写文档的时候，直接按着以上格式排列的话，太占地方了，需要处理如下 cd_var cd_var_nm 岳阳市岳阳县,平江县,湘阴.........

Posted by hydra on 2019-12-22

LSM-tree和B-tree笔记

数据库核心：数据结构现在大家熟悉的两种数据库~传统关系型数据库与NoSQL数据库，对应着两个存储引擎家族，即日志结构的存储引擎和面向页的存储引擎，两种数据结构典型实现如LSM-tree 和 B-Tree。 LSM-tree和B-tree的优劣点LSM-treeLSM-Tree，Log-Structured Merge-Tree，日志结构的合并树。根据经验，LSM-tree通常对于写入更.........

Posted by hydra on 2019-11-27

Vertica的with语句问题

关于Vertica使用CTE表达式所遇到的问题之一今天在工作中遇到一个玄学问题，是关于Vertica使用with语句的问题，语句如下： 123456789101112with a as ( select t1.c1, t1.c2,t2.c3 from table1 t1 join table2 t2 on t1.c3=t2.c3),b as (select * from t.........

Posted by hydra on 2019-11-24

关于数据统计中的年累计运算

开窗函数实现数仓里有ads层，是需要我们建模后，从dwd层抽取需要的数据，组建应用宽表，以供后续使用。以下简化说明。有资金事实表ads.ads_fact_fund_d，列city（城市），资金（happen_amt），交易日期（deal_dt）需求：输出宽表格式，按城市，按月，统计每月资金量，以及从年初到该月的年累计资金量。 12345678910111213with a .........

Posted by hydra on 2019-11-13

Hive分组行转列实现

Hive行转列今天遇到一个业务需求，要将Hive里一个维表实现分组行转列，例，table_sample如下 cd_var cd_var_nm A班-01 小若 A班-02 小红 B班-01 小离 B班-02 小敏 B班-03 小昭实现按班级分组行转列： 123456SELECT cdv,cdn[0] AS C1,cdn[1] AS C2,cdn[2] .........

Posted by hydra on 2019-11-08

Vertica 导入导出CSV文件

copy 数据导入工具copy 命令无疑是最常用的导入工具了, 它是Vertica的bulk copy工具, 性能非常好. 可以直接从文本文件或者压缩文件导入数据,支持的压缩格式有: BZIP | GZIP | LZO | UNCOMPRESSED支持的文件格式有: csv | FIXEDWIDTH | json | ORC | parquet设置为json 格式设置 parser. .........

Posted by hydra on 2019-11-04

Java map

Java集合学习、其二要在List中根据name查找某个指定的Student的分数，最简单的方法是遍历List并判断name是否相等，然后返回指定元素： 123456789List<Student> list = ...Student target = null;for (Student s : list) { if ("Xiao Ming".equals(.........

Posted by hydra on 2019-11-03