由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Military版 - 天朝现在风起云涌的去ioe运动
相关主题
华为高斯数据库替代Oracle入驻浙江移动Oracle RAC把美国使馆的签证系统弄崩了
对付ibm是去ioe的第一步棱镜门重创美科技公司在华业务:政府采购遭抵制
超百家金融机构因担心美产品安全性采购阿里云服务人民日报:周永康后中国要打好“三大战役”
阿里云抢客“IOE” 计划服务2000家金融机构李克强五招补进口“短板” 释全面扩大开放信号
东方时事:双十一,中国的数据库交易软件经受了考验微软是不是在中国混得最好的IT公司?
阿里云起来以后,IBM不裁员不可能为什么美国急了?很简单
浪潮服务器Q1销量大增 高端产品难敌外企中国数据库拿下“世界杯”冠军 性能超Oracle 100%
搞阿里是不是和去IOE有关天猫双11十年持续技术大考 支付宝自主研发接连“通关”zt
相关话题的讨论汇总
话题: ioe话题: ibm话题: 技术话题: oracle话题: 阿里
进入Military版参与讨论
1 (共1页)
z****e
发帖数: 54598
1
谈谈去 IOE 运动
这篇文章算是今年年末的一个技术总结。谈谈技术圈一度的热门话题「去 IOE」这件事。
何谓 IOE ?
所谓 IOE 是个简称。是指以 IBM 、Oracle、EMC 为代表的小型机、集中式数据库和高
端存储的技术架构。其中 I 指 IBM p 系列小型机,操作系统是 AIX,IBM 专有的
Unix 系统;O 指 Oracle 数据库(RDBMS);E 指 EMC 中高端 SAN 存储,曾经一度是
IT 企业很喜欢采用的技术架构。IOE 这个说法怎么来的? 据我所知应是来自阿里技术
团队内部的称谓,然后才在整个业界流传开来。如果你去问国外技术专家什么是 IOE,
对方肯定一头雾水。当然,随着国内案例逐渐被介绍到国外,或许某一天这个术语能输
出价值观也说不定。
在小型机领域,只有 IBM 这一家,独步武林;HP 当初把宝押在安腾上,算是早早退出
这个市场;Sun 日薄西山,SPARC 机器…那就更不必说了。另外,需要说明的是,IBM
也生产存储产品,但 IBM 的存储产品早期其实挺山寨,竞争不过 EMC ,而且有些用户
会忌讳把所有的东西困在一家公司身上,尾大不掉。 起码在国内,EMC 的占有率应该
更高。中高端存储这个领域,还有一家 HDS,不过曾经一度在阿里也栽过跟头。数据库
软件方面,在当初几乎没的选择,只有 Oracle 这一家,IBM 的 DB2 实在是不行,虽
然号称市场占有率不错。国内用 Oracle 数据库支撑互联网应用的话,一般是采用
Data Guard 这个架构方案。
为何要「去 IOE」?
说起「去 IOE」,跟阿里的王坚博士有直接关系。我无从得知他当时为什么要做出这个
决定。但根据我的推断,当时淘宝、支付宝等公司每家技术体系各有特色,技术团队也
各是一套,只有去「去 IOE」,才有可能将淘宝、支付宝等公司的网站核心体系架构迁
移到云上,体现阿里云的价值,某些管理者才有可能从集团公司层面对整个技术团队有
更好的控制力。否则,阿里云师出无名。注意,这个说法只是我个人臆测,肯定不是事
实,只是逻辑上是说得通的。实际上,阿里云当时自己的活儿做的很垃圾,也幸亏这个
「去 IOE」运动进行并不那么快。当然这是后话了。
或许有人认为「去 IOE」会节约企业成本,实际上,当时的 Oracle 和 EMC 等软件成
本已经足够低,硬件上,硬件上的每年的成本也是可控的,如果考虑迁移后总体成本,
新硬件成本、开发人员成本、运维成本、时间成本等等,通通算下来,未必能节约多少
。这个不是我拍脑袋给出来的,而是跟不少技术人事后复盘,结论基本一致。
客观的说,当时「去 IOE」有一种公司政治的倾向,或者成为一个一窝蜂的运动,这很
令人讨厌,或者说这事情出发点未必如何好,但令人意外的是,最后在阿里诸多优秀技
术人才的努力下,却取得了一个令人惊讶的很好的结果,那么,就别管出发点如何了。
为何「去 IOE」是必要的?
从另外一个角度考虑,尤其从运维 DBA 的角度去审视,「去 IOE」 实际上是必须要进
行的,或者说去「O」是必须的,因为当时存在的问题是,Oracle 数据库对用户 (DBA)
来说已经不够灵活,常用的 Data Guard 模式无法适应互联网公司快速增长,最基本
的一点,读写分离就做不到,只能向上扩展(Scale Up),拼硬件能力,几乎无法做到横
向扩展。或许有人说,不是有 RAC 么? 但 Oracle RAC 是无法对付高并发下的 OLTP
应用的 – 一直到现在很多人都认识不到这一点,RAC 跑跑数据仓库什么的倒是不错。
注:有人会说 Orale RDBMS 11g 的 Data Guard 可以读写分离呀,这个所谓的读写分
离可靠性其实是不够的,而且出现的时间也太晚了,此外,不够灵活。还会有人争论
Oracle RAC 怎么就不能应付 OLTP 呢? 别争论了,你非要说可以应付,没问题,但是
在阿里体系的公司里,还真没人敢这么玩儿,为什么? 是做不到? 还是他们掉进坑过?
如果要动「O」,那么 「I」 和「E」就必须要动 – 相信不会有人在小型机上跑
MySQL 的,而且,只换掉「O」也没有意义,换汤不换药不会有成效。
随着中国电子商务的快速发展,整个阿里系其实已经在面对全世界增长最快最复杂的业
务系统之一,这是机遇,也是挑战。旧有的技术架构已经不足以支撑更大的梦想。从这
个意义上来说,去「IOE」是相当必要的。或许,这也是王坚博士以及一些人的初衷。
为何「去 IOE」成功了?
阿里几家子公司这么复杂的技术体系,「去 IOE」这事情堪比高速公路上给飞驰的汽车
换轮胎,最后成功是相当不容易的。
成功的因素有哪些呢?
1.功不可没的当然是一群出色的技术人才,很了不起。我想这是无需多说的,面对这么
复杂的业务环境,这个任务如果没有一批优秀的工程师是绝对做不到的,没有阿里 B2B
技术团队、淘宝团队、支付宝技术团队的先后投入以及合作实践也是绝对做不到的。
要强调一下的是,阿里在在分布式事务上的处理能力和解决方案,这应该是独门绝技。
在业界各种会议上也经常能看到这一群牛人出来分享,同行应该能感受到。
2.开源软件的快速成熟。举个例子,这两年 MySQL 体系的软件进步相当惊人,各种经
验证的解决方案如雨后春笋般涌现出来。这得益于不少知名互联网公司(比如 Facebook
、淘宝)在使用 MySQL 的同时也将其技术改进回馈给技术社区,把技术方案分享给业界
,业界在吸收这些技术的同时再次回馈给技术社区,形成正向的反馈,极大地提升了开
源软件在商业领域的竞争力。
3.硬件革命。硬件的进步给技术体系的变迁做好了铺垫。最主要的关键词:「SSD」。如
果没有「SSD」的技术成熟以及在商业应用上被普遍接受,「去 IOE」几乎是不可能做
到的。要知道物理机械硬盘存储的性能数十年几乎没得到什么大的改进 – 当然每年提
升一点是有的。但 SSD 相比机械硬盘来说,则是质的飞跃。我记忆深刻的是,每年做
I/O 容量规划的时候都会发愁,因为即使已经使用上了很高端的 EMC 存储设备,但实
际上只要应用层 I/O 没有命中到存储内存,直接打到后面的磁盘上,几乎没什么抵抗
能力。比如当时一个硬盘极限能撑 100 多个 I/O,100 块硬盘也不过是万把个 I/O 就
不行了。 但这样的 I/O 「打击」对 SSD 来说,则不是什么大问题。SSD 给解决「IOE
」体系最大的瓶颈 – I/O 能力提供了硬件先决条件。
4.摩尔定律。这一点最初我不想提及,但不提及,就会有别人说,所以还是补充一下。
提到摩尔定律,重点要说的 X86 芯片的计算能力不断进步,而 IBM 的 Power 芯片虽
然也在不断进步,但正式商用的节奏明显在控制。这就给 Intel 体系带来了机会和空
间。
国内对「去 IOE」的反应
在出现阿里这个成功案例之后,技术圈很是震动,曾经一度讨论热烈,随后则是国内产
业界对此出现了一些跟风的倾向,不少公司则打着「国产」软件的旗号出来蒙人,这是
值得警惕的。去掉 Oracle 不意味着就要采用国产的垃圾数据库,因为 MySQL 以及衍
生的各种分支数据库才是最佳选择。同样,不用 IBM 的小型机也不意味着国产服务器
就迎来新机会,在用户那里,适合的解决方案才是最重要的。「去 IOE」不应该成为一
个噱头。任何时候,「国产」都不应该是一个互联网企业选型所要优先考虑的因素。在
全球化的今天,我们应该忘掉「国产」,才有可能早点做出来更牛的软件来。
更好笑的,还搞出来一个什么「去 SOA」的组织,我觉得这是不太正常的,实际需求为
前提,不能本末倒置,难道是为了「去」而「去」么?
2014 以后会有更多公司「去 IOE」
从目前的种种趋势来看,在今后几年,国内一些互联网公司以及 IT 企业会逐渐的「去
IOE」化。相比几年前,现在的「去 IOE」的主要原因则是:旧的「三件套」已经的确
不适合互联网应用了。开源数据库更为可靠成熟,SSD 可靠性也得到验证,技术人才甚
至都不需要从头开始进行储备 – 类似「沃趣科技」这样的团队已经能够提供足够好的
技术支持服务,新的技术体系毫无疑问会让企业更有竞争力,总体成本更低。
上文提到的「沃趣科技」是由一群前阿里的工程师组成的技术团队,汇集了一群从数据
库到存储到网络架构的专家,如果要找「去 IOE」技术顾问,似乎他们是独一份(这里
不是广告)。相比之下,IBM、Oracle、EMC 等公司近些年来,实际上对国内那些快速发
展的互联网公司已经提供不了有力的技术支持了,IBM 拿苏宁电商练手更成为业内笑柄
。或许这也是 IOE 们被抛弃的一个原因,也可能是一些创业团队的新机会。
一个时代过去了。
–EOF–
关于 IOPS 的数据补充:
机械硬盘现在最高号称能跑到 400 IOPS,但应该 200 左右(走 SAS 接口)也就是极限
了; 单块 SSD(走 PCIe 接口)的最高记录是九百多万,用不了多久突破千万 IOPS 是没
问题的,相当了不起, 即使百万量级也足够吓人了。(Refer)
m********t
发帖数: 13072
2
学习了
跟着蜥蜴真长见识
d*****g
发帖数: 16
3
ding
t****x
发帖数: 9441
4
强顶
G*****n
发帖数: 3863
5
支持。
l******t
发帖数: 55733
6
老赵属于比较婆婆妈妈的老好人
A*******1
发帖数: 167
7
阿里巴巴的成功不是太典型。除了像阿里巴巴,亚麻,Google这样有特别需求的,80%
以上的其他公司传统架构足以应付。但现实是可能至多10%的运算能力用在真正业务处
理上,其他都被低质量的软件浪费了。IT的资源,也至多10%花在真正的开发上,其他
都浪费在MBA经理人,PPT程序员上了。
IT的最大的问题其实是管理问题。MBA经理人,PPT架构师,程序员泛滥,占据关键职位
,内耗浪费惊人,美国的IT之所以还能维持,是有大批的底层还在干活,其他地区或行
业还没能提供更好的待遇。
国内IT要成功超美,其实用不到非要靠新东西,把美国IT管理方式的水分挤一下,以国
内的人力资源,搞跨越发展比高铁还容易。可惜现实是资金更少,却可能比美国还忽悠。

事。

【在 z****e 的大作中提到】
: 谈谈去 IOE 运动
: 这篇文章算是今年年末的一个技术总结。谈谈技术圈一度的热门话题「去 IOE」这件事。
: 何谓 IOE ?
: 所谓 IOE 是个简称。是指以 IBM 、Oracle、EMC 为代表的小型机、集中式数据库和高
: 端存储的技术架构。其中 I 指 IBM p 系列小型机,操作系统是 AIX,IBM 专有的
: Unix 系统;O 指 Oracle 数据库(RDBMS);E 指 EMC 中高端 SAN 存储,曾经一度是
: IT 企业很喜欢采用的技术架构。IOE 这个说法怎么来的? 据我所知应是来自阿里技术
: 团队内部的称谓,然后才在整个业界流传开来。如果你去问国外技术专家什么是 IOE,
: 对方肯定一头雾水。当然,随着国内案例逐渐被介绍到国外,或许某一天这个术语能输
: 出价值观也说不定。

z****e
发帖数: 54598
8
说得我很羞愧,睡觉去了,写个文章写到晚上2点
真苦逼

【在 l******t 的大作中提到】
: 老赵属于比较婆婆妈妈的老好人
t********e
发帖数: 880
9
互联网公司不用IOE不是很正常的事情吗,也就阿狸拿这个去吹嘘,搞得好像只有他独
家做到似地。
l*******d
发帖数: 3343
10
马云是双羽四足,阿里巴巴是阿尔法版的matrix…

★ 发自iPhone App: ChineseWeb 8.2.2

【在 t********e 的大作中提到】
: 互联网公司不用IOE不是很正常的事情吗,也就阿狸拿这个去吹嘘,搞得好像只有他独
: 家做到似地。

s***d
发帖数: 15421
11
ssd 一般不会放在data center 因为reliavility很有问题

事。
★ 发自iPhone App: ChineseWeb 7.8

【在 z****e 的大作中提到】
: 谈谈去 IOE 运动
: 这篇文章算是今年年末的一个技术总结。谈谈技术圈一度的热门话题「去 IOE」这件事。
: 何谓 IOE ?
: 所谓 IOE 是个简称。是指以 IBM 、Oracle、EMC 为代表的小型机、集中式数据库和高
: 端存储的技术架构。其中 I 指 IBM p 系列小型机,操作系统是 AIX,IBM 专有的
: Unix 系统;O 指 Oracle 数据库(RDBMS);E 指 EMC 中高端 SAN 存储,曾经一度是
: IT 企业很喜欢采用的技术架构。IOE 这个说法怎么来的? 据我所知应是来自阿里技术
: 团队内部的称谓,然后才在整个业界流传开来。如果你去问国外技术专家什么是 IOE,
: 对方肯定一头雾水。当然,随着国内案例逐渐被介绍到国外,或许某一天这个术语能输
: 出价值观也说不定。

s***d
发帖数: 15421
12
flag这些大数据 那个不是自己搭 数据库 。国内bat这么做也不奇怪。 ioe好主要是企
业 银行为主。

事。
★ 发自iPhone App: ChineseWeb 7.8

【在 z****e 的大作中提到】
: 谈谈去 IOE 运动
: 这篇文章算是今年年末的一个技术总结。谈谈技术圈一度的热门话题「去 IOE」这件事。
: 何谓 IOE ?
: 所谓 IOE 是个简称。是指以 IBM 、Oracle、EMC 为代表的小型机、集中式数据库和高
: 端存储的技术架构。其中 I 指 IBM p 系列小型机,操作系统是 AIX,IBM 专有的
: Unix 系统;O 指 Oracle 数据库(RDBMS);E 指 EMC 中高端 SAN 存储,曾经一度是
: IT 企业很喜欢采用的技术架构。IOE 这个说法怎么来的? 据我所知应是来自阿里技术
: 团队内部的称谓,然后才在整个业界流传开来。如果你去问国外技术专家什么是 IOE,
: 对方肯定一头雾水。当然,随着国内案例逐渐被介绍到国外,或许某一天这个术语能输
: 出价值观也说不定。

z****e
发帖数: 54598
13
别装逼
ebiz基本上都涉及金钱交易的处理
用行话说就是oltp的需求比较大
这一块google做得跟大便一样
稍微有点人抢着买它家的那个破平板就挂了
那点量跟淘宝双十一不在一个层面上
web公司很多都是junk data,一堆乱七八糟的数据
精度要求低,所以不用db都可以随便搞
ebiz基本上都用db,而且还都经过oracle这个阶段
不信你看看groupon的big data组,是不是强调hibernate和oracle?
ebay肯定也在用,amazon也用

【在 t********e 的大作中提到】
: 互联网公司不用IOE不是很正常的事情吗,也就阿狸拿这个去吹嘘,搞得好像只有他独
: 家做到似地。

v*******e
发帖数: 11604
14
去得好,美国搞华为,中国也可以搞美国企业。
1 (共1页)
进入Military版参与讨论
相关主题
天猫双11十年持续技术大考 支付宝自主研发接连“通关”zt东方时事:双十一,中国的数据库交易软件经受了考验
支付宝自研数据库 OceanBase 全球开放阿里云起来以后,IBM不裁员不可能
美国联邦航空局4千名员工因拨款不到位放假浪潮服务器Q1销量大增 高端产品难敌外企
云的出现说明了西方哲学的精髓搞阿里是不是和去IOE有关
华为高斯数据库替代Oracle入驻浙江移动Oracle RAC把美国使馆的签证系统弄崩了
对付ibm是去ioe的第一步棱镜门重创美科技公司在华业务:政府采购遭抵制
超百家金融机构因担心美产品安全性采购阿里云服务人民日报:周永康后中国要打好“三大战役”
阿里云抢客“IOE” 计划服务2000家金融机构李克强五招补进口“短板” 释全面扩大开放信号
相关话题的讨论汇总
话题: ioe话题: ibm话题: 技术话题: oracle话题: 阿里