前言本文涉及的所有技术细节都在开源软件和论文中。写本文的起因是我想让分布式PyTorch程序更快的在Facebook的集群上启动。探索过程很有趣。也展示了工业机器学习需要的知识体系。2007年我毕业后在Google工作过三年。当时觉得分布式操作系统Borg真好用。从2010年离开...
随着云原生时代的到来，各大厂纷纷上云，甚至有人说，未来的软件就是生在云上，长在云上的。在这种云原生时代大势下，衍生出来的 Kubernetes工程师、云原生工程师的薪资也水涨船高，大厂不惜花重金聘请优秀的云原生技术人才。 可以说，作为云原生的核心技术，Docker和Kuberne...
导读：美团外卖数据仓库主要是收集各种用户终端业务、行为数据，通过统一口径加工处理，通过多种数据服务支撑主题报表、数据分析等多种方式的应用。数据组作为数据基础部门，支持用户端、商家端、销售、广告、算法等各个团队的数据需求。本文主要介绍美团外卖离线数仓的历史发展历程，在发展过程中碰到...
作者介绍烂猪皮，十余年工作经验，曾在Google等外企工作过几年，精通Java、分布式架构、微服务架构以及数据库，最近正在研究大数据以及区块链，希望能突破到更高的境界。本文是学习大型分布式网站架构的技术总结。对架构一个高性能、高可用、可伸缩及可扩展的分布式网站进行了概要性描述，并...
一、LIMIT 语句分页查询是最常用的场景之一，但也通常也是最容易出问题的地方。比如对于下面简单的语句，一般DBA想到的办法是在type,name,create_time字段上加组合索引。这样条件排序都能有效的利用到索引，性能迅速提升。SELECT*FROM operatio...
软件架构跟盖楼有异曲同工之妙。首先建筑师（软件行业：称之为架构师）在图纸上把大楼外观、主体结构、材料工艺、施工流程等设计好。施工队根据图纸，打好地基，并开始建设能满足抗地震、抗台风、抗沉降（高并发、高性能、高可用）等必备条件的大楼主体结构，然后再浇筑墙体、封顶、室内装饰。建筑师对...
“为什么负载均衡一般采用混合方式七层负载为什么比四层负载性能要低？四层负载概念真的对吗？文章较长，各位能不能持久到最后？image在正式开篇之前，先说几个瓜：硬件负载均衡的性能最高，其次是软件负载均衡的四层负载，最差的是七层负载，那为什么七层负载均衡反而应用最广泛呢？一般公司都会...
近年来，随着云计算概念和技术的普及，云原生一词也越来越热门，无论是应用还是安全，凡是和云相关的，都要在云后面加上原生二字，好像不提云原生，在技术上就落后了一大截。一、云原生产生背景随着云计算技术的发展，企业上云已成为趋势，越来越多的企业都已将应用部署到了云上。但是应用上云并不意味...
概要Facebook称，他们最近的一次大版本升级到MySQL5.6花了一年多时间才完成，还在5.6版上开发LSM树存储引擎，MyRocks。在升级到5.7的同时构建一个新的存储引擎，会大大减慢MyRocks的进度，因此我们选择继续使用5.6，直到MyRocks完成，MySQL5....
来源：https://www.aneasystone.com/archives/2020/08/spring-cloud-gateway-current-limiting.html话说在SpringCloudGateway问世之前，SpringCloud的微服务世界里，网关一定非...
1.导读高德启动Go业务建设已经有段时间了，主要包含Go应用落地，Go中间件建设，云原生三个部分。经过持续的发力，在这些方面取得了不错的进展。高德Go业务落地过程是如何实现的，遇到过哪些问题，如何解决？本文将为大家介绍相关经验，希望对感兴趣的同学有所帮助。2.高德为什么要落地Go...
计算机如何执行你写的代码？知乎上有人提问：电脑怎样执行编程语言的？很多刚刚入坑的小白可能对此完全没有概念，或者模模糊糊知道个大概，我们写下的一行行代码，计算机到底是如何在执行的呢？我们以x86架构的CPU为研究对象，从一个例子出发，来尝试解答这个问题。1、高级语言为了方便编程，伟...
有些想进互联网大厂的人在无法成为正式员工的时候，会通过成为外包员工的方式来曲线救国。但在互联网大厂中，外包员工和正式员工的差别待遇一直是比较热门的话题。最近，一个网友总结了华为外包和正式员工的区别，干货满满，先来看看：看完以后，许多人表示赞同，有人说这是看到最全也最正确的一版了，...
说到电商就不得不说每年的618和双十一，这两个节是大伙儿的狂欢，也是电商人的一次考验。为什么这么说呢？因为这两个节会有成千上万的人买买买，而我们生怕自己负责的系统出现故障，那个时候都是通宵达旦的稳系统。这几年几次的大促我也积累了一些大流量高并发网站架构设计和优化的经验，借此机会和...
喜大普奔！打工人深恶痛绝的“996”被明确是严重违法！近日，人社部和最高人民法院联合发布了十件超时加班典型案例，进一步明确了工时及加班工资法律适用标准，并在其中一宗典型案例中明确“996”严重违反法律关于延长工作时间上限的规定，相关公司规章制度应认定为无效。 案件详情：张某于20...
