-
每个数据工程师都应该知道的7个数据库概念
如果您准备接受数据工程职位面试,则必须了解数据库的所有主要概念。这不是点击诱饵。几个月前,我进行了几次数据工程访谈,所有访谈都涉及我在本文中提到的主题的问题。即使您没有准备面试,您仍然可能想检查一下这些概念并刷新一下。 此外,这将是没有用的升数据工程师Y,而是各种各样的专业工作与数据库中的数据:数据科学家,ML-工程师,软件开发等等。 我的名字叫Oleg,···
- 发布时间:2025-05-15
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
我CA,一个SQL语句为啥只执行了一半?
今天和大家简单聊聊MySQL的约束主键与唯一索引约束: PRIMARYKEYandUNIQUEIndexConstraints 了解诡异异常。 触发约束检测的时机: insert; update; 当检测到违反约束时,不同存储引擎的处理动作是不一样的。 如果存储引擎支持事务,SQL会自动回滚。 例子: createtablet1(idint(10)prim···
- 发布时间:2025-05-15
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
头疼!百万级MySQL的数据量,如何快速完成数据迁移?
背景 上个月跟朋友一起做了个微信小程序,趁着5.20节日的热度,两个礼拜内迅速积累了一百多万用户,我们在小程序页面增加了收集formid的埋点,用于给微信用户发送模板消息通知。 这个小程序一开始的后端逻辑是用douchat框架写的,使用框架自带的dc_mp_fans表存储微信端授权登录的用户信息,使用dc_mp_tempmsg表存储formid。截止到目前···
- 发布时间:2025-05-15
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
盘点数据处理工具,手把手教你做数据清洗和转换
01 了解数据集 数据准备的关键和重复阶段是数据探索。一组因为太大而无法由人工手动读取、检查和编辑每个值的数据,仍需要验证其质量和适用性,然后才可以将其委托给一个值得花费时间和计算的模型。 与将大型数据集的样本转储到电子表格程序中的方法一样简单,只需查看每列中出现的值的类型或范围,即可识别诸如不负责任的默认值之类的错误(例如,在没有测量值的情况下,使用零而···
- 发布时间:2025-05-15
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
详解SQL中连续N天都出现的问题
今天我们用一个示例,来告诉大家该如何求解类似的问题。 有一个体育馆,每日人流量信息被记录在这三列信息中:序号 (id)、日期 (date)、 人流量 (people)。请编写一个查询语句,找出高峰期时段,要求连续三天及以上,并且每天人流量均不少于100。例如,表 stadium: 对于上面的示例数据,输出为: 题目和想要的结果都已经知晓了,该如何求解呢?下···
- 发布时间:2025-05-15
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
MySQL不香吗,为啥还要Elasticsearch?
近年来公司业务迅猛发展,数据量爆炸式增长,随之而来的的是海量数据查询等带来的挑战,我们需要数据量在十亿,甚至百亿级别的规模时依然能以秒级甚至毫秒级的速度返回。 这样的话显然离不开搜索引擎的帮助,在搜索引擎中,ES(ElasticSearch)毫无疑问是其中的佼佼者,连续多年在 DBRanking 的搜索引擎中评测中排名第一,也是绝大多数大公司的首选。 图片···
- 发布时间:2025-05-15
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
组织应该采用数据湖的7个原因
【.com快译】数据仓库长期以来一直是管理大数据的标准方法,但是数据湖是否更适合组织的需要?其答案是肯定的。 随着当今数据的数量、速度和种类的不断变化,人们开始意识到,并没有一种能够满足组织所有数据需求的数据库。与其相反,许多组织已经转向为特定用例或项目选择合适的数据存储技术。数据分散存储在不同数据存储空间中给组织整合数据进行分析带来了挑战。从历史上看,唯···
- 发布时间:2025-05-15
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
Redis 6.X Cluster 集群搭建
Part1Redis 6.X Cluster 集群搭建 码哥带大家完成在 CentOS 7 中安装 Redis 6.x 教程。在学习 Redis Cluster 集群之前,我们需要先搭建一套集群环境。机器有限,实现目标是一台机器上搭建 6 个节点,构成一个三主三从集群模式。 1下载解压 可直接到 Redis 官网下载最新稳定包,地址:https://red···
- 发布时间:2025-05-15
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
最大规模技术重建:数据库连接从15000个到100个以下
本文转载自公众号“读芯术”(ID:AI_Discovery) 一名新员工最近在午餐时问笔者:“DigitalOcean的科技债务是什么样子的?” 听到这个问题,笔者忍不住笑了。软件工程师询问一家公司的科技债务相当于询问信用评分。这是他们衡量一家公司可疑的过去和他们要背负何种包袱的方式,我们对技术包袱并不陌生。 作为一家管理自己服务器和硬件的云提供商,我们面···
- 发布时间:2025-05-15
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
统治50年:为什么SQL在如今仍然很重要?
本文转载自公众号“读芯术”(ID:AI_Discovery) 1971年3月,英特尔公司推出了世界上第一个通用微处理器,即英特尔4004,它有2300个晶体管,售价60美元。将时间快进50年左右,最新的苹果手机有将近120亿个晶体管(可惜比60美元更贵一些)。 直至90年代,许多我们目前使用的编程语言才被引入(Java是1996年引入的)。然而,有一种编程···
- 发布时间:2025-05-15
- 作者:益华网络
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])