数据库、数据仓库、数据湖、数据集市、数据中台这些概念，我终于整明白了
数据中台，本质上是服务于业务的数据分析系统，它从一出生开始就是为业务而生。数据仓库提供的是统计分析、单领域维度、被动分析、非实时分析，必然不能满足企业的多维度分析、主动分析、预测分析、实时分析、多元化分析等场景，因此数据中台应运而生。整个数据中台产品就是一个闭环的解决方案，不再是业务过程中的一环，它...
iseeyu3年前 (2024-02-21)136
Hive内置函数总结
通过自定义 InputFormat 解决特殊分隔符问题 其原理是在 InputFormat 读取行的时候将数据中的“多字节分隔符”替换为 hive 默认的分隔符（ctrl+A亦即\x01）或用于替代的单字符分隔符，以便 hive 在 serde 操作时按照默认的单字节分隔符进行字段抽取 com.na...
iseeyu3年前 (2024-02-21)145
Session-based Rec : RepeatNet
引言 Repeat consumption是生活中常见的情况，不仅常见而且在电商等场景中占据交互的很大部分。 早期研究发现，消费的新近性(recency of consumption)是重复消费的最强预测指标。推荐系统的重要目标是帮助用户发现新物品。除此之外，许多现实世界的系统都使用针对不同目标的推...
iseeyu3年前 (2024-02-21)121
两因素混合实验的方差分析
n：被试间变量各水平被试数p：被试间变量水平数q：被试内变量水平数（2）自由度的计算 （3）F值的计算 （三）spss操作及结果（1）数据被试：文章熟悉与不熟悉两种情况下的被试各4名，所有被试接受所有生字密度的实验处理。自变量：生字密度（密度1，密度2，密度3），主题熟悉性（熟悉，不熟悉）获取被试在...
iseeyu3年前 (2024-02-21)135
1. Kine3D-1简介
图1 带有投影线的DEM，包括平面，断层露头和沿横截剖面提取的地形 要直接在DEM上方数字化，请使用Digitize a Curve命令（Kine3D-1命令，“ DEM工具”菜单）。 DEM是硬数据； 唯一允许的更改是，您可以使Z轴反向处理，因为有时会错误的加载正负垂直轴。 反向处理Z轴，请使用F...
iseeyu3年前 (2024-02-21)129
用户流失预测案例分析
image.png 本文是对携程用户流失预测案例的一个总结，主要任务是对客户流失率进行建模分析，并挖掘出影响用户流失的关键因素。 目录： ● 项目介绍 ● 问题分析 ● 数据探索 ● 特征工程 ● 建模分析 ● 总结 一、项目介绍 携程作为中国领先的综合性旅行服务公司，每天向超过2.5亿会员提供全方...
iseeyu3年前 (2024-02-21)144
短视频编辑：基于opengl和mediacodec的视频合成方案
IMG20201122_163516.png 而在视频合成阶段，将读取这份编辑数据，并针对各个功能，逐个解析参数，将各功能予以实现。 3.技术思路 视频合成涉及解码、编码、OpenGL、音频处理等相关能力，下图是视频合成的核心流程。 IMG20201029_193612.png 针对mp4视频素材源...
iseeyu3年前 (2024-02-21)160
02-25：RNN算法
单个序列 多个序列 整体介绍 循环神经网络工作原理 （1）RNN变种GRU 1 2 3 4 (2)RNN变种LSTM LSTM模型架构 1 2 3 LSTM缺点分析： 4 todo:1、残差网络原理2、RNN部分解决梯度消失问题，但记住的序列长度仍有限的深度理解参考资料4:【个人整理】长短是记忆网络...
iseeyu3年前 (2024-02-21)140
如何利用stata一键实现把国家统计局地区分省年度数据快速整理成省级面板数据
数据 运行一下以下代码能： cd D:\科研数据\统计局数据\新建文件夹 //数据所在文件夹 local files: dir "." files "*.xls",respectcase local f =1 foreach t in `files' { local b = subinstr("`t...
iseeyu3年前 (2024-02-21)151
【RS Notes】Rahimzadeh-Bajgiran et al. 2013 利用光学/热红外遥感监测土壤水分
图3 三种特征空间 Terra和Aqua区别不大，使用会有明显区别，完全植被覆盖端的温度差要显著大于前两者。 图4 EF反演结果 图5 与两个理论模型的比较 讨论 EF-SM经验模型的选择 尽管Komatsu模型参数更多，考虑的因素更多，但Lee-Pielke模型效果更好。 特征空间的选择 使用精度...
iseeyu3年前 (2024-02-21)131