大数据基础知识
image.png 大数据处理流程分为采集、存储、处理、可视化，其中需要安全、运维技术。 大数据的核心是Hadoop生态系统，Hadoop是目前应用最为广泛的分布式大数据处理框架，它包含大量的组件，从数据采集到数据存储、数据处理以及数据分析等一系列技术组件。 image.png 一、数据源说明 结构...
iseeyu3年前 (2024-02-21)145
轻松识别文字，这款Python OCR库支持超过80种语言
细心观察便可发现，身边到处都是OCR的身影，文档扫描、车牌识别、证件识别、银行卡识别、票据识别等等。 OCR本质是图像识别，其包含两大关键技术：文本检测和文字识别。 先将图像中的特征的提取并检测目标区域，之后对目标区域的的字符进行分割和分类。 关于EasyOCR Python中有一个不错的OCR库-...
iseeyu3年前 (2024-02-21)164
Flink学习：实践练习
image.png 批处理是有界数据流处理的范例。在这种操作模式下，你可以选择在输出计算结果之前读入整个数据集，这也就意味着你可以对整个数据集的数据进行排序、统计或汇总计算后再输出结果。 流处理正相反，其涉及无界数据流。至少理论上来说，它的数据输入永远不会结束，因此程序必须持续不断地对到达的数据进行...
iseeyu3年前 (2024-02-21)171
apply函数族
apply函数结果图.png ②计算df里每一列的均值，方差，最大值（for函数方法） for方法.png ③计算df里每一列的均值，方差，最大值（apply方法） apply方法.png ④数据中出现缺失值NA的处理办法（apply函数应用） apply处理缺失值的数据及解释FUN后...的意义....
iseeyu3年前 (2024-02-21)326
基于DAG实现的任务编排框架&平台
image DAG 有向无环图 首先我们了解图这个数据结构，每个元素称为顶点 vertex，顶点之间的连线称为边 edge。像我们画的这种带箭头关系的称为有向图，箭头关系之间能形成一个环的成为有环图，反之称为无环图。显然运用在我们任务编排工作流上，最合适的是 DAG 有向无环图。 我们在代码里怎么存...
iseeyu3年前 (2024-02-21)148
抖音小店的运营每天要做哪些工作？
大家好，我是易尚客服外包的小易，专注客服外包和店铺运营，避免下次找不到我，记得加个关注哦，喜欢我的内容一定要点赞+收藏！ 抖音小店的运营每天应该做什么样的工作？优化是在优化什么，怎么优化？今天， ......
iseeyu3年前 (2024-02-21)137
flink数据倾斜问题解决与源码研究
acfb0d32.png 打开kafka监控，可以看到数据有严重的倾斜问题。如下图所示，10个分区中有三个分区数据量特别少，5号分区基本上没数据。 27fbec87.png watermark的传递机制 当并行执行的情况下，如下图所示，每次接受的水印发送的水印都是最小的，木桶效应。但是，当某个分区始...
iseeyu3年前 (2024-02-21)167
抖音SEO怎么做？抖音SEO排名方法，内容才是核心！
今年上半年，字节CEO透露，抖音的视频搜索用户月活已经超过了5.5亿。相信很多人也养成了这个习惯，之前有问题百度搜，现在习惯性的利用抖音了。因为抖音更加方便，内容优质，表达直观。不仅仅抖音，快手的视频搜索量 ......
iseeyu3年前 (2024-02-21)143
kafka 基础知识大全
上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后，后面还有一些其他流程，比如发送短信，则需要等这些流程处理完成后，再返回给用户。而新式队列，比如一个用户注册信息，数据直接丢进数据库，就直接返回给用户成功。 1.2.2 使用消息队列的好处 解耦 可恢复性 缓冲 灵活性与峰值处理能力...
iseeyu3年前 (2024-02-21)186