Hive 系列 – 架构和基本概念
hive架构图.png 2用户接口：Client CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive） 元数据：Metastore 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表...
iseeyu3年前 (2024-02-21)160
差异分析+火山图+COX模型构建
火山图 功能分析 library("org.Hs.eg.db") rt=read.csv("diff.csv",sep=",",check.names=F,header=T) rt˂-rt[,1] rt˂-as.data.frame(rt) genes=as.vector(rt[,1]) entre...
iseeyu3年前 (2024-02-21)125
Hbase 写入
image.png image.png image.png 1）客户端处理阶段：客户端将用户的写入请求进行预处理，并根据集群元数据定位写入数据所在的RegionServer，将请求发送给对应的RegionServer。 2）Region写入阶段：RegionServer接收到写入请求之后将数据解析出...
iseeyu3年前 (2024-02-21)151
Spark Streaming 原理剖析
image.png Spark的各个子框架，都是基于核心Spark的，Spark Streaming在内部的处理机制是，接收实时流的数据，并根据一定的时间间隔拆分成一批批的数据，然后通过Spark Engine处理这些批数据，最终得到处理后的一批批结果数据。 对应的批数据，在Spark内核对应一个R...
iseeyu3年前 (2024-02-21)130
【Lesson1】R 机器学习流程及案例实现
image.png 将Data分成Train与Test两部分。主要花费的精力是在Train数据集上，因为需要找到一个合适的模型来拟合Train数据，对模型参数进行不断调整，达到该数据的最优。同时还需要考虑resampling，至于为什么要resample，其实就是：针对本数据模型的可以达到0.99，...
iseeyu3年前 (2024-02-21)142
高斯猜想被证明是错误的
Li（x）与π（x）取值对比 于是，高斯猜想：Li（x）-π（x）总是正的而且是递增的. 2、李特尔伍德的证明 1914年英国数学家李特尔伍德从理论上证明了事实正好相反（即存在Li(x)小于π(x)）。高斯的猜想是错误的！ 李特尔伍德证明了： Li（x）-π（x）从正到负，再从负变为正，如此...
iseeyu3年前 (2024-02-21)126
零代码差异表达分析, DESeq,limma,edgeR一网打尽
这个工具支持根据单因素分组，也支持根据多因素分组。今天我们就以单因素分组为例，大家感兴趣可以自己去尝试多因素分组分析。1. 上传表达谱和分组信息（这里表达谱数据为RNAseq得到count数）支持三种格式，csv文件，制表符隔开的文件和分号隔开的文件。从本地电脑上选择上传，点击提交。 成功提交后，会...
iseeyu3年前 (2024-02-21)153
MapReduce作业运行机制
MapReduce作业运行机制 作业的提交 客户端提交作业 向资源管理器请求一个新应用ID，作为MapReduce job ID。 将运行作业所需要的资源(包括作业JAR文件、配置文件和计算所得的输入分片)复制到一个以作业ID命名的目录下的共享文件系统中。 调用资源管理器的submitApplica...
iseeyu3年前 (2024-02-21)145
大数据开发问题整理
image.png image.png 二、hive 1、hive任务执行时，任务失败，日志显示虚拟内存不足 方案：由于集群节点虚拟内存不足导致的，解决办法很简单，直接关闭虚拟内存检测就可以了 修改：yarn-site.xml 文件，添加如下配置 yarn.no......
iseeyu3年前 (2024-02-21)162
Kafka笔记
发布/订阅模式（一对多，消费者消费数据之后不会清除消息） 消息生产者将消息发布到topic中，同时有多个消息消费者消费该消息。和点对点方式不同，发布到topic的消息会被所有订阅者消费。 Kafka基础架构 Producer：消息生产者，就是向kafka broker发消息的客户端。 Consume...
iseeyu3年前 (2024-02-21)143