大数据开发：Spark框架Dataset API
从概念上讲，我们可以将Scala中的DataFrame视为通用对象集合Dataset[Row]的别名，其中Row是通用非类型JVM对象，可能包含不同类型的字段。相比之下，Dataset是Scala中或Java中的强类型JVM对象的集合。或者，如Dataset文档所说，Dataset是：特定域对象的强...
iseeyu3年前 (2024-02-21)144
IMPALA&HIVE大数据平台数据血缘与数据地图
测试：使用impala-shell 指定impala daemon节点启动命令行，执行SQL命令，然后查看该daemon节点最新日志。impala-shell -i uathd01这里我创建一个视图： 然后到uathd01的节点看最新血缘日志: 把这段json串拿出来格式化一下看看：queryTex...
iseeyu3年前 (2024-02-21)140
Flink性能调优（一）
ApacheFlink 1 配置内存 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日...
iseeyu3年前 (2024-02-21)172
Flink如何管理Kafka 消费位点(译文)
Step 2: 假设 Flink Kafka consumer 从分区 0 开始读取数据 “A”，那么此时第一个 consumer 的位点从 0 变成 1。如下图所示。 Step 3: 此时数据 “A” 到达 Flink Job 中的 Map Task。两个 consumer 继续读取数据 (从分区...
iseeyu3年前 (2024-02-21)165
浅谈clickhouse的Mutation机制（附源码分析）
image.png Mutation功能是MergeTree表引擎最新推出一大功能，实现完备度上还有一下两点需要去优化： 1.mutation没有实时可见能力。这里的实时可见并不是指在存储上立即原地更新，而是给用户提供一种途径可以立即看到数据订正后的最终视图确保订正无误。类比在使用Collapsin...
iseeyu3年前 (2024-02-21)156
R语言三大绘图R包之二—ggpubr的使用介绍
image 2.2 Histogram plot # Histogram plot with mean lines and marginal rug # ::::::::::::::::::::::::::::::::::::::::::::::::::: # Change outline and...
iseeyu3年前 (2024-02-21)185
理解ROC和AUC
image.png 左上角的点（TPR=1，FPR=0），为完美分类，也就是这个医生医术高明，诊断全对； 点A（TPR˃FPR），医生A的判断大体是正确的； 中线上的点代表医生给的结果与随机按照一定比例报告病人患病的结果是一样的，从左下角到右上角分别代表随机的比例是0%到100%，随机比例是50%时...
iseeyu3年前 (2024-02-21)158
使用bwa 批量比对整个文件夹的fasta文件
下载链接http://db.ncgr.ac.cn/RicePanGenome/ 2 、准备日本晴基因组文件3、bwa 生成索引文件 bwa index /public/home/fengting/database/rice/ribenqing/IRGSP1.0_genome.fasta4、生成sa...
iseeyu3年前 (2024-02-21)136
springboot 统一返回数据格式和异常处理
image 正常返回的数据 image 统一返回数据格式 /** * 封装服务端响应到客户端的数据 */ public class JsonResult { /** * 响应状态码 */ private Integer state=1; /** * 状态码对应的信息 */ private Strin...
iseeyu3年前 (2024-02-21)148
10-19：数字信号处理课程小结
心音信号.png 老师教我们这样处理：先进行分段，然后计算每一段的局部平均能量 和每一段的局部最大值，指一段中的时域信号。然后我们找的峰值，S1和S2特征会出现峰值的差异。由此我们大致区分开了S1和S2。 时域处理后的结果.png 3.STFT 以下代码大部分来自课上老师： # -*- coding...
iseeyu3年前 (2024-02-21)152