Pandas数据的分组统计
image.png 2、多个列groupby，查询所有数据列的统计 b = df.groupby(["A","B"]).mean() print(b) 此时A和B是索引 a = df.groupby(["A","B"],as_index = False).sum() print(a) 此时A和B不是...
iseeyu3年前 (2024-02-21)128
神器！分库分表Sharding-JDBC，千万数据你不搞下？
image 现在的 ShardingSphere 不单单是指某个框架而是一个生态圈，这个生态圈 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar 这三款开源的分布式数据库中间件解决方案所构成。 ShardingSphere 的前身就是 Sharding-...
iseeyu3年前 (2024-02-21)130
第九篇|Spark的五种JOIN策略解析
image 如上图所示：Shuffle Hash Join的基本步骤主要有以下两点： 首先，对于两张参与JOIN的表，分别按照join key进行重分区，该过程会涉及Shuffle，其目的是将相同join key的数据发送到同一个分区，方便分区内进行join。 其次，对于每个Shuffle之后的分区...
iseeyu3年前 (2024-02-21)145
ClickHouse高可用集群方案
方案1.0.jpg 优势 架构简单，单机和分布式都可以用 劣势 单点问题，数据丢失风险大 方案2.0：MergeTree + Distributed + 多副本 在方案一的基础上为每个节点增加副本 方案2.0.jpg 优势 在1.0的基础上，数据安全有了保障，任何一个实例或者服务器挂掉了，不影响集群...
iseeyu3年前 (2024-02-21)137
Mysql性能调优(七)
对于InnoDB类型的表，有以下几种方式可以提高导入的效率。 1、主键顺序插入 因为InnoDB类型的表是按照主键的顺序保存的，所以将导入的数据按照主键的顺序进行排列，可以有效的提高导入数据的效率。如果InnoDB表没有主键，那么系统会自动默认创建一个内部列作为主键，所以，如果可以给表创建一...
iseeyu3年前 (2024-02-21)174
pandas数据合并：concat、join、append
image Pandas连载 本文是Pandas数据分析库的第15篇，欢迎阅读： image 模拟数据 首先是模拟几份不同的数据： import pandas as pd import numpy as np image image image image image concat concat也是...
iseeyu3年前 (2024-02-21)154
MySQL干货！21个写SQL的好习惯
image.png 2、操作delete或者update语句，加个limit(SQL后悔药） 在执行删除或者更新语句，尽量加上limit，以下面的这条 SQL 为例吧： delete from euser where age ˃ 30 limit 200; 因为加了limit 主要有这些好处： im...
iseeyu3年前 (2024-02-21)143
毕业设计-商城小程序
主页.jpg 分类.jpg 优惠劵.png 秒杀.png 登录.png 商品详情.png 购物车.png 订单.png 后台_2.png 后台_1.png 后台.png 内容过多就不一一战术..... 安装 所需环境 mysql node npm 步骤 码云下载源码 https://gitee.co...
iseeyu3年前 (2024-02-21)121
MySQL 索引底层原理
图1. user 数据表示例 二、MySQL 索引底层数据结构选型 1. 哈希表（Hash） 哈希表是做数据快速检索的有效利器。 哈希算法 也叫散列算法，就是把任意值（key）通过哈希函数变换为固定长度的 key 地址，通过这个地址进行具体数据的数据结构。 图2. Hash链表定位过程 如图，数据库...
iseeyu3年前 (2024-02-21)133
Spring Boot demo系列（十二）：ShardingSphere + MyBatisPlus 读写分离 + 主从复制
在这里插入图片描述 工作流程如下： 主库修改数据后，将修改日志写入binlog 从库的I/O线程读取主库的binlog，并拷贝到从库本地的binlog中 从库本地的binlog被SQL线程读取，执行其中的内容并同步到从库中 3.3 数据库中间件简介 数据库中间件可以简化对读写分离以及分库分表的操作，...
iseeyu3年前 (2024-02-21)134