由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 本着负责的态度最后说几句
相关主题
好虫,看看你的东东有没有问题?为啥用mmap访问文件的效率高呢?
为了不至于谬种流传我还是回应一下吧本版现在主题就是战啊。。。
DynamoDBPython就是爽
从工程角度再比较一下春运火车票的2个方案mongoDB跟传统关系数据库比有什么优势?
从争论中的一点思考做后台,有什么open source 项目平时可以参与? (转载)
这个老魏是不是精神有点不正常?Re: 问Zhaoce个问题 (转载)
纯技术讨论:吞吐量的算法Performance Comparison Between Node.js and Java EE
比较spring-boot 和 node.js我老说说魏老师为啥扯谈吧
相关话题的讨论汇总
话题: 问题话题: 单机话题: 机器话题: throughput话题: 系统
进入Programming版参与讨论
1 (共1页)
T********i
发帖数: 2416
1
1。我开头就说了假设,全国一盘棋,任何两个节点都有依赖性。而且班次间也有依赖
性。这种情况下,号称分布式的性能比单机好,那是基本功有问题。
2。我说单机是强调数据紧耦合系统。紧接着我就强调单机不是纯粹单机。有hot
standby。而且能够同步复制。即使如此,性能也远超分布式的设计。本地可靠性有保
障。
3。你可以cache我的设计为什么不可以?你可以远程复制我的设计为什么不可以?但是
远程复制是有代价的。同步复制不可行。异步复制照样可能丢信息。即让马儿跑,又让
马儿不吃草,可能吗?就java那个机制,我的实现远程复制也能甩你几条街。现在我就
是从纽约异步复制到芝加哥的。
4。说我的设计超出容量会崩溃也是没常识。实时系统可以精确控制流量。到上限有些
客户被拒绝服务而已。别忘了,我在第一条说了。假定数据紧耦合,单机效率最高。容
量上限也比他的成数量级的高。对于这种问题,这就是技术极限。而且这个上限事实上
已经远远超出外围系统能消费的水平。
5。不否认这些年有很多优秀的framework。能做出很多优秀的系统。我一开始就说了,
对于春运这个特定的问题。我的核心要怎么做。春运系统我没有做各位也没有做。作为
case study做些探讨。首先申明了我的假设。而且第一帖就说了我的核心要怎样做。不
失一般性。核心确实比外围其他子系统要tricky一些。
6。学术素养和辩论风度,希望大家能尽量客观。
z****e
发帖数: 54598
2
again
出问题的是web server
你在看什么地方?
麻烦你先定位一下出问题出瓶颈的地方好不好?
app server没有问题,你需要让别人跟你强调几遍?
当时是网站挂了,并不代表整个系统全部瘫痪
售票点还在继续出票,拜托
z****e
发帖数: 54598
3
app server没有问题
否则售票点不能出票了
但是事实是网站挂了,但是售票点继续出票
出问题的是web server
当时网站访问被挤爆了
用的是apache web server
一般而言,一个apache web server并发访问上限是4000个
天朝人民要凑够4000个同时访问,小意思
所以要对付这个问题,首先先换掉web server
换成yaws,这个能支撑80,000个并发访问
所以请魏老师先定位问题,然后再谈解决方案
谢谢
说了半天app server,app server没有出问题,需要解决什么?
匪夷所思的方案
P********l
发帖数: 452
4

goodbug说分布式的*性能*比单机好?
zkss.
zkss.
zkss. 如何控制别人不妨问你的网站?

【在 T********i 的大作中提到】
: 1。我开头就说了假设,全国一盘棋,任何两个节点都有依赖性。而且班次间也有依赖
: 性。这种情况下,号称分布式的性能比单机好,那是基本功有问题。
: 2。我说单机是强调数据紧耦合系统。紧接着我就强调单机不是纯粹单机。有hot
: standby。而且能够同步复制。即使如此,性能也远超分布式的设计。本地可靠性有保
: 障。
: 3。你可以cache我的设计为什么不可以?你可以远程复制我的设计为什么不可以?但是
: 远程复制是有代价的。同步复制不可行。异步复制照样可能丢信息。即让马儿跑,又让
: 马儿不吃草,可能吗?就java那个机制,我的实现远程复制也能甩你几条街。现在我就
: 是从纽约异步复制到芝加哥的。
: 4。说我的设计超出容量会崩溃也是没常识。实时系统可以精确控制流量。到上限有些

T********i
发帖数: 2416
5
这个问题理论上你的所谓app server是瓶颈,web server不是瓶颈。
我要探讨的是理论上什么方案性能好。难道在这个问题上还要搅屎?

【在 z****e 的大作中提到】
: app server没有问题
: 否则售票点不能出票了
: 但是事实是网站挂了,但是售票点继续出票
: 出问题的是web server
: 当时网站访问被挤爆了
: 用的是apache web server
: 一般而言,一个apache web server并发访问上限是4000个
: 天朝人民要凑够4000个同时访问,小意思
: 所以要对付这个问题,首先先换掉web server
: 换成yaws,这个能支撑80,000个并发访问

z****e
发帖数: 54598
6
那你问题就定位错误了
你还谈什么解决方案?
我的天
你每天脑子里都在想些什么?
自己树了一个稻草人劈里啪啦一阵打
累不累?

【在 T********i 的大作中提到】
: 这个问题理论上你的所谓app server是瓶颈,web server不是瓶颈。
: 我要探讨的是理论上什么方案性能好。难道在这个问题上还要搅屎?

T********i
发帖数: 2416
7
不如你累。你发的帖子比我还多。而且大多和我假设的问题无关。人身攻击倒是不少。

【在 z****e 的大作中提到】
: 那你问题就定位错误了
: 你还谈什么解决方案?
: 我的天
: 你每天脑子里都在想些什么?
: 自己树了一个稻草人劈里啪啦一阵打
: 累不累?

z****e
发帖数: 54598
8
分布式的throughput比单机强
这也理所当然
但是貌似魏老师名义上是说要解决throughput的问题
而实际上却大谈latency的优化
就像说了半天app server
但是出问题的web server却被假设成没有问题
实话说我真不知道魏老师为什么这么做
貌似魏老师很喜欢声东击西

【在 P********l 的大作中提到】
:
: goodbug说分布式的*性能*比单机好?
: zkss.
: zkss.
: zkss. 如何控制别人不妨问你的网站?

z****e
发帖数: 54598
9
是啊,总是想把你引导到正途上去
结果你硬是假设问题不存在
我很吐血

【在 T********i 的大作中提到】
: 不如你累。你发的帖子比我还多。而且大多和我假设的问题无关。人身攻击倒是不少。
d********u
发帖数: 5383
10
从头到尾都在讨论核心性能,和着你们居然都没看懂。底层马公的理解能力也太差了。
本来做网站就已经很低能了,现在连理解力都有问题,哎

【在 P********l 的大作中提到】
:
: goodbug说分布式的*性能*比单机好?
: zkss.
: zkss.
: zkss. 如何控制别人不妨问你的网站?

相关主题
这个老魏是不是精神有点不正常?为啥用mmap访问文件的效率高呢?
纯技术讨论:吞吐量的算法本版现在主题就是战啊。。。
比较spring-boot 和 node.jsPython就是爽
进入Programming版参与讨论
T********i
发帖数: 2416
11
对于我提出的那个具体问题。单机比分布式性能好。
这个性能就是说单机latency低,而且throughput高。
不知道你的那个分布式比单机throughpit高理所当然是哪个体育老师教的?
摆脱你不要继续丢人现眼好不好?

【在 z****e 的大作中提到】
: 分布式的throughput比单机强
: 这也理所当然
: 但是貌似魏老师名义上是说要解决throughput的问题
: 而实际上却大谈latency的优化
: 就像说了半天app server
: 但是出问题的web server却被假设成没有问题
: 实话说我真不知道魏老师为什么这么做
: 貌似魏老师很喜欢声东击西

z****e
发帖数: 54598
12
因为你设计的系统可以并行的比例太低
所以无法被并行,话说你这种设计难道不是大忌?
scale out比scale up更容易实现难道不是常识?

【在 T********i 的大作中提到】
: 对于我提出的那个具体问题。单机比分布式性能好。
: 这个性能就是说单机latency低,而且throughput高。
: 不知道你的那个分布式比单机throughpit高理所当然是哪个体育老师教的?
: 摆脱你不要继续丢人现眼好不好?

z****e
发帖数: 54598
13
再强大的硬件也挡不住有人乱写软件
你要是设计成,只有你家那台电脑才能执行这段代码
那你就是给你十台主机也都不如给你家那台破电脑顶用啊
所以十台主机的throughput都不如你家那台电脑的throughput
恩,由魏老师来设计系统,的确与众不同
这点要承认
g*****g
发帖数: 34805
14
你丢人要丢几次才够?你那个所谓核心就是写commit log,单机打死都超不过
cassandra cluster.
那个是任意多个结点的写,你这个是写一个机器,但凡有脑子也知道这个不可能写过。
你那个网速上限多少来着?80GB全双工,号称IO是唯一瓶颈对吧?SSD写大文件是可以
达到这个速度。但你一个request就几百byte,算800 bytes吧。80GB 是80 * 10^9 /
800 = 10^8。
所以就是每秒1亿次读,1亿次写。IBM拿出最大的机器来都多半没有能撑的住的,你丫
那一万块的服务器还想撑得住。下回吹牛之前,好歹先把这些基本数据算一算。

【在 T********i 的大作中提到】
: 对于我提出的那个具体问题。单机比分布式性能好。
: 这个性能就是说单机latency低,而且throughput高。
: 不知道你的那个分布式比单机throughpit高理所当然是哪个体育老师教的?
: 摆脱你不要继续丢人现眼好不好?

T********i
发帖数: 2416
15
你又在搅屎!这回没有理所当然了?
再说一遍。我探讨的理论问题。系统设计要针对问题来。
这个问题可以被高度并行化。绝非什么可并行比例低。
做成紧耦合的是因为分布式的通信开销抵消了throughput。
这回不提理所当然了,又来一条 scale out比scale up更容易实现难道不是常识?
你的脑袋真是一团浆糊。

【在 z****e 的大作中提到】
: 因为你设计的系统可以并行的比例太低
: 所以无法被并行,话说你这种设计难道不是大忌?
: scale out比scale up更容易实现难道不是常识?

z****e
发帖数: 54598
16
你那个所谓的问题压根不存在
你在讨论什么问题?
或者说你的解决方案到底要解决什么问题?
没有问题你解决什么?

【在 T********i 的大作中提到】
: 你又在搅屎!这回没有理所当然了?
: 再说一遍。我探讨的理论问题。系统设计要针对问题来。
: 这个问题可以被高度并行化。绝非什么可并行比例低。
: 做成紧耦合的是因为分布式的通信开销抵消了throughput。
: 这回不提理所当然了,又来一条 scale out比scale up更容易实现难道不是常识?
: 你的脑袋真是一团浆糊。

T********i
发帖数: 2416
17
你比zhaoce强点有限。也是基本功问题。立此存照好了。

【在 g*****g 的大作中提到】
: 你丢人要丢几次才够?你那个所谓核心就是写commit log,单机打死都超不过
: cassandra cluster.
: 那个是任意多个结点的写,你这个是写一个机器,但凡有脑子也知道这个不可能写过。
: 你那个网速上限多少来着?80GB全双工,号称IO是唯一瓶颈对吧?SSD写大文件是可以
: 达到这个速度。但你一个request就几百byte,算800 bytes吧。80GB 是80 * 10^9 /
: 800 = 10^8。
: 所以就是每秒1亿次读,1亿次写。IBM拿出最大的机器来都多半没有能撑的住的,你丫
: 那一万块的服务器还想撑得住。下回吹牛之前,好歹先把这些基本数据算一算。

g*****g
发帖数: 34805
18
得了,你把你每秒写一亿次的机器弄个benchmark大家看看,我就服了。

【在 T********i 的大作中提到】
: 你又在搅屎!这回没有理所当然了?
: 再说一遍。我探讨的理论问题。系统设计要针对问题来。
: 这个问题可以被高度并行化。绝非什么可并行比例低。
: 做成紧耦合的是因为分布式的通信开销抵消了throughput。
: 这回不提理所当然了,又来一条 scale out比scale up更容易实现难道不是常识?
: 你的脑袋真是一团浆糊。

z****e
发帖数: 54598
19
“我一开始就说了,对于春运这个特定的问题。”
我们回到春运上去
我再强调一次,app server没有问题
请你不要再“解决”这个问题了
有问题的是web server,ok?
春运没有app server问题你解决什么?
还各种理论,我脑子里的浆糊貌似没您脑子里的多

【在 T********i 的大作中提到】
: 你又在搅屎!这回没有理所当然了?
: 再说一遍。我探讨的理论问题。系统设计要针对问题来。
: 这个问题可以被高度并行化。绝非什么可并行比例低。
: 做成紧耦合的是因为分布式的通信开销抵消了throughput。
: 这回不提理所当然了,又来一条 scale out比scale up更容易实现难道不是常识?
: 你的脑袋真是一团浆糊。

z****e
发帖数: 54598
20
哈哈,zhaoce至少明白要解决什么问题,魏老师您明白您要解决什么问题了没有?

【在 T********i 的大作中提到】
: 你比zhaoce强点有限。也是基本功问题。立此存照好了。
相关主题
mongoDB跟传统关系数据库比有什么优势?Performance Comparison Between Node.js and Java EE
做后台,有什么open source 项目平时可以参与? (转载)我老说说魏老师为啥扯谈吧
Re: 问Zhaoce个问题 (转载)如果不知道mongoDB的。
进入Programming版参与讨论
g*****g
发帖数: 34805
21
哈哈,要土遁了?你把每秒写一亿次的机器弄出来大家瞅瞅,别光说不练呀?

【在 T********i 的大作中提到】
: 你比zhaoce强点有限。也是基本功问题。立此存照好了。
T********i
发帖数: 2416
22
我一开始已经给出问题的假设。这是游戏规则。你可以不参与游戏。搅屎就不对了。
而且过程中接二连三暴露你的无知。你何苦?

【在 z****e 的大作中提到】
: 你那个所谓的问题压根不存在
: 你在讨论什么问题?
: 或者说你的解决方案到底要解决什么问题?
: 没有问题你解决什么?

z****e
发帖数: 54598
23
游戏规则怎么还成你定的了?
好一个又当裁判又当运动员的魏老师
你就说说你这种游戏规则,谁能跟你玩下去吧?
你要解决春运问题,好歹也弄明白问题在哪里吧?
对不对?问题定位都有问题,你说你来做,会有什么不同?
网站该崩还是崩了,你怎么让其不同?您穿越回去也白搭呀

【在 T********i 的大作中提到】
: 我一开始已经给出问题的假设。这是游戏规则。你可以不参与游戏。搅屎就不对了。
: 而且过程中接二连三暴露你的无知。你何苦?

g*****g
发帖数: 34805
24
你就正面回答一下,我推算出你的机器每秒能写一亿次,到底对不对?
如果对的话,能不能给benchmark一个。不用任何商业逻辑,纯写,
10行程序的事。你弄出来我就服。

【在 T********i 的大作中提到】
: 我一开始已经给出问题的假设。这是游戏规则。你可以不参与游戏。搅屎就不对了。
: 而且过程中接二连三暴露你的无知。你何苦?

z****e
发帖数: 54598
25
老师,这是你原文标题:
● 很多东东要是我来设计,会很不一样(195b)
那现在春运问题是网站崩了,如果你不解决这个问题
网站一样会崩,请问不同点在哪?
我是没看出有啥不同的,一样挂啊

【在 T********i 的大作中提到】
: 我一开始已经给出问题的假设。这是游戏规则。你可以不参与游戏。搅屎就不对了。
: 而且过程中接二连三暴露你的无知。你何苦?

T********i
发帖数: 2416
26
请你不要继续丢丑了。
1。transaction log有transaction才能generate。
2。80G是throughput上限。
3。正因为网络比硬盘快不能同步写才要多机hot standby同步网络复制保证
availability。
4。你要达到极限要先有能力generate这些transaction出来。每秒1亿次,要1亿人在一
秒钟内同时买票。发动全国人民陪我玩?

【在 g*****g 的大作中提到】
: 你就正面回答一下,我推算出你的机器每秒能写一亿次,到底对不对?
: 如果对的话,能不能给benchmark一个。不用任何商业逻辑,纯写,
: 10行程序的事。你弄出来我就服。

z****e
发帖数: 54598
27
hot standby是别人加的
老师你不要乱加机器啊
你这是单机,单机系统

【在 T********i 的大作中提到】
: 请你不要继续丢丑了。
: 1。transaction log有transaction才能generate。
: 2。80G是throughput上限。
: 3。正因为网络比硬盘快不能同步写才要多机hot standby同步网络复制保证
: availability。
: 4。你要达到极限要先有能力generate这些transaction出来。每秒1亿次,要1亿人在一
: 秒钟内同时买票。发动全国人民陪我玩?

T********i
发帖数: 2416
28
你这样颠倒黑白就是不要脸了。

【在 z****e 的大作中提到】
: hot standby是别人加的
: 老师你不要乱加机器啊
: 你这是单机,单机系统

z****e
发帖数: 54598
29
牛又不是我吹的
你自己说的预算1万到2万

【在 T********i 的大作中提到】
: 你这样颠倒黑白就是不要脸了。
T********i
发帖数: 2416
30
一台机器1万到两万。我何时说预算了。你既然指控就要举证。否则就是撒泼。

【在 z****e 的大作中提到】
: 牛又不是我吹的
: 你自己说的预算1万到2万

相关主题
魏老师,人家app server没问题,你干嘛要改造?为了不至于谬种流传我还是回应一下吧
再给魏老师的方案打个补丁DynamoDB
好虫,看看你的东东有没有问题?从工程角度再比较一下春运火车票的2个方案
进入Programming版参与讨论
g*****g
发帖数: 34805
31
现在知道自己傻逼了?网络IO瓶颈是系统throughput的唯一瓶颈是你吹的,不是我吹的,
拉出来了现在又要吃回去了?很好,现在知道单机磁盘IO是系统瓶颈了。你继续来说一
说你的
单机写log怎么比一个Cassandra cluster快吧。你写的是一台机器,我提的这可是随机
的去
写100个机器,你throughput还能更高?
装逼有点限度,你丫连基本的常识都没有,开口就一句分布式不能比单机throughput更
高。
我老懒得跟你计较罢了。
再说一下这个次数,每秒1亿次大约不会出现。顶峰每秒100万次还是有可能出现的,
哪怕每秒10万次你那1万刀的机器都顶不住。你不信就继续benchmark。

【在 T********i 的大作中提到】
: 请你不要继续丢丑了。
: 1。transaction log有transaction才能generate。
: 2。80G是throughput上限。
: 3。正因为网络比硬盘快不能同步写才要多机hot standby同步网络复制保证
: availability。
: 4。你要达到极限要先有能力generate这些transaction出来。每秒1亿次,要1亿人在一
: 秒钟内同时买票。发动全国人民陪我玩?

z****e
发帖数: 54598
32
那你这么说的话,我挂五百台机器
也没啥特别难的不是?淘宝和yahoo现在多少台?

【在 T********i 的大作中提到】
: 一台机器1万到两万。我何时说预算了。你既然指控就要举证。否则就是撒泼。
b*******s
发帖数: 5216
33
他的系统,完全可以按车次拆分,锁定也不是整列火车的全局锁定

【在 z****e 的大作中提到】
: 因为你设计的系统可以并行的比例太低
: 所以无法被并行,话说你这种设计难道不是大忌?
: scale out比scale up更容易实现难道不是常识?

h*****a
发帖数: 1718
34
魏老师,先说我个人觉得你的设计不错,让我学到了东西。
至于这个每秒1亿次的transation,正常用户不能生成出来,不过可能有DDos attack.
一直还想问,这样的单机设计可以保证本地high availability,那要遇到火灾地震恐
怖袭击这样的突发事件是不是就要down掉?HFT系统在设计的时候考虑这些因素么?

【在 T********i 的大作中提到】
: 请你不要继续丢丑了。
: 1。transaction log有transaction才能generate。
: 2。80G是throughput上限。
: 3。正因为网络比硬盘快不能同步写才要多机hot standby同步网络复制保证
: availability。
: 4。你要达到极限要先有能力generate这些transaction出来。每秒1亿次,要1亿人在一
: 秒钟内同时买票。发动全国人民陪我玩?

z****e
发帖数: 54598
35
来,回答问题:铁道部12306网站出的是什么问题?

【在 b*******s 的大作中提到】
: 他的系统,完全可以按车次拆分,锁定也不是整列火车的全局锁定
T********i
发帖数: 2416
36
写网络比写磁盘靠谱知道么?同步写到网络上其它机器high availability就完成了。
至于写磁盘是常识。难道我写到网络上会忘了慢慢写磁盘?
给你留一个家庭作业。只要写到网络上,磁盘IO就永远不是瓶颈!为什么?

的,

【在 g*****g 的大作中提到】
: 现在知道自己傻逼了?网络IO瓶颈是系统throughput的唯一瓶颈是你吹的,不是我吹的,
: 拉出来了现在又要吃回去了?很好,现在知道单机磁盘IO是系统瓶颈了。你继续来说一
: 说你的
: 单机写log怎么比一个Cassandra cluster快吧。你写的是一台机器,我提的这可是随机
: 的去
: 写100个机器,你throughput还能更高?
: 装逼有点限度,你丫连基本的常识都没有,开口就一句分布式不能比单机throughput更
: 高。
: 我老懒得跟你计较罢了。
: 再说一下这个次数,每秒1亿次大约不会出现。顶峰每秒100万次还是有可能出现的,

g*****g
发帖数: 34805
37
一万块钱的机器,我觉得能撑住的写上限也就一万次/秒。10万次多半要挂。

【在 h*****a 的大作中提到】
: 魏老师,先说我个人觉得你的设计不错,让我学到了东西。
: 至于这个每秒1亿次的transation,正常用户不能生成出来,不过可能有DDos attack.
: 一直还想问,这样的单机设计可以保证本地high availability,那要遇到火灾地震恐
: 怖袭击这样的突发事件是不是就要down掉?HFT系统在设计的时候考虑这些因素么?

h*****a
发帖数: 1718
38
这也是我好奇的部分。我对高性能机器不熟,1万块钱的机器大概是什么配置?

【在 g*****g 的大作中提到】
: 一万块钱的机器,我觉得能撑住的写上限也就一万次/秒。10万次多半要挂。
z****e
发帖数: 54598
39
同步写到其他机器上,这本身就是一个很牛逼的要求
对吧?
我做了一个小demo,去
http://www.trifice.com
上可以下载

【在 T********i 的大作中提到】
: 写网络比写磁盘靠谱知道么?同步写到网络上其它机器high availability就完成了。
: 至于写磁盘是常识。难道我写到网络上会忘了慢慢写磁盘?
: 给你留一个家庭作业。只要写到网络上,磁盘IO就永远不是瓶颈!为什么?
:
: 的,

g*****g
发帖数: 34805
40
啥?你是单机,另外一个机器只是hot standby,复制是后台异步进行的。你要是
同步写俩机器,那就更慢了。
不管咋说,你的这个单机是要写所有数据到磁盘上的。从来没有写网络这种说法,
网络是存不了东西的,你不是疯了吧?要写了,ack了,才叫写。没写就ack是不能保证
不出事的,没有缓冲慢慢写还能保证可靠性的。

【在 T********i 的大作中提到】
: 写网络比写磁盘靠谱知道么?同步写到网络上其它机器high availability就完成了。
: 至于写磁盘是常识。难道我写到网络上会忘了慢慢写磁盘?
: 给你留一个家庭作业。只要写到网络上,磁盘IO就永远不是瓶颈!为什么?
:
: 的,

相关主题
从工程角度再比较一下春运火车票的2个方案纯技术讨论:吞吐量的算法
从争论中的一点思考比较spring-boot 和 node.js
这个老魏是不是精神有点不正常?为啥用mmap访问文件的效率高呢?
进入Programming版参与讨论
g*****g
发帖数: 34805
41
你自己的workstation啥能力大概有概念吧,1000刀。1万刀的机器不会有那个机器10倍
性能。

【在 h*****a 的大作中提到】
: 这也是我好奇的部分。我对高性能机器不熟,1万块钱的机器大概是什么配置?
T********i
发帖数: 2416
42
答案很简单。这个设计本身是和位置无关的。既可以做local high availability也可
以做长距离的。
远程复制同步不现实。做异步复制。我也可以做。而且现在我就能做。
至于突发事件down掉的风险。我不考虑。小概率事件。即使没外在灾害,我自己的代码
也可能崩溃。如何动态管理未执行订单的风险,是另外的模块。
风险控制住就好了。

【在 h*****a 的大作中提到】
: 魏老师,先说我个人觉得你的设计不错,让我学到了东西。
: 至于这个每秒1亿次的transation,正常用户不能生成出来,不过可能有DDos attack.
: 一直还想问,这样的单机设计可以保证本地high availability,那要遇到火灾地震恐
: 怖袭击这样的突发事件是不是就要down掉?HFT系统在设计的时候考虑这些因素么?

g*****g
发帖数: 34805
43
你就解释一下什么叫写网络吧,您老已经开始发明词汇了。

【在 T********i 的大作中提到】
: 答案很简单。这个设计本身是和位置无关的。既可以做local high availability也可
: 以做长距离的。
: 远程复制同步不现实。做异步复制。我也可以做。而且现在我就能做。
: 至于突发事件down掉的风险。我不考虑。小概率事件。即使没外在灾害,我自己的代码
: 也可能崩溃。如何动态管理未执行订单的风险,是另外的模块。
: 风险控制住就好了。

P********l
发帖数: 452
44
魏老师自己划的道, 你总得自己接招吧.
你得先准确描述你的系统设计, 可以小修改. 然后才能讨论. 这不是说着说着说乱了.

【在 T********i 的大作中提到】
: 我一开始已经给出问题的假设。这是游戏规则。你可以不参与游戏。搅屎就不对了。
: 而且过程中接二连三暴露你的无知。你何苦?

T********i
发帖数: 2416
45
同步写俩机器。有ack算数。每个10G网卡大约每秒2.5m transaction没压力。
至于怎么做到的不能告诉你。不过可以给你网卡销售商提供的第三方benchmark报告。

【在 g*****g 的大作中提到】
: 啥?你是单机,另外一个机器只是hot standby,复制是后台异步进行的。你要是
: 同步写俩机器,那就更慢了。
: 不管咋说,你的这个单机是要写所有数据到磁盘上的。从来没有写网络这种说法,
: 网络是存不了东西的,你不是疯了吧?要写了,ack了,才叫写。没写就ack是不能保证
: 不出事的,没有缓冲慢慢写还能保证可靠性的。

g*****g
发帖数: 34805
46
LOL,你也太丢人了。那是网卡ack,没有写磁盘。你丫不写磁盘就ack是不能保证数据
可靠性的。
一断电就完蛋了。别跟我说一局域网有俩机器就不怕断电了。

【在 T********i 的大作中提到】
: 同步写俩机器。有ack算数。每个10G网卡大约每秒2.5m transaction没压力。
: 至于怎么做到的不能告诉你。不过可以给你网卡销售商提供的第三方benchmark报告。

P********l
发帖数: 452
47
这等于说:我就是牛来就是牛。
洗洗睡了。

【在 T********i 的大作中提到】
: 同步写俩机器。有ack算数。每个10G网卡大约每秒2.5m transaction没压力。
: 至于怎么做到的不能告诉你。不过可以给你网卡销售商提供的第三方benchmark报告。

T********i
发帖数: 2416
48
我的系统对于这么大量的transaction至少能做到local HA。你的系统根本做不到,谁
丢人?
难道你的系统断电100%状态保存?你写磁盘同步,force flush?tps能到千就不错了。

【在 g*****g 的大作中提到】
: LOL,你也太丢人了。那是网卡ack,没有写磁盘。你丫不写磁盘就ack是不能保证数据
: 可靠性的。
: 一断电就完蛋了。别跟我说一局域网有俩机器就不怕断电了。

g*****g
发帖数: 34805
49
魏老师发现throughput远远达不到设计要求,改玩内存数据库,看天吃饭,祈祷
不断电了。
b***i
发帖数: 3043
50
你这个不经过浏览器吗?直接某个socket,自己发布一个client程序?

【在 T********i 的大作中提到】
: 同步写俩机器。有ack算数。每个10G网卡大约每秒2.5m transaction没压力。
: 至于怎么做到的不能告诉你。不过可以给你网卡销售商提供的第三方benchmark报告。

相关主题
本版现在主题就是战啊。。。做后台,有什么open source 项目平时可以参与? (转载)
Python就是爽Re: 问Zhaoce个问题 (转载)
mongoDB跟传统关系数据库比有什么优势?Performance Comparison Between Node.js and Java EE
进入Programming版参与讨论
g*****g
发帖数: 34805
51
当然是100%保持,如果你不知道cassandra是怎么工作,自己去读一读吧。
写一个结点能到1000,写100个就可以接近10万。
你丫就这点货,还有脸吹一个DB throughput秒杀Casandra。完全不懂得scale out怎么
回事。

【在 T********i 的大作中提到】
: 我的系统对于这么大量的transaction至少能做到local HA。你的系统根本做不到,谁
: 丢人?
: 难道你的系统断电100%状态保存?你写磁盘同步,force flush?tps能到千就不错了。

T********i
发帖数: 2416
52
啥叫第三方benchmark报告?就是有第三方做benchmark,能够复制出这个messages/
second的结果。
包括机器配置,源代码和编译script。
就是说2.5 millions messages rtt小菜。都是5 million以上的。这些是别人做的。我
可以说。
至于我怎么做的。我不可以说。

【在 P********l 的大作中提到】
: 这等于说:我就是牛来就是牛。
: 洗洗睡了。

g*****g
发帖数: 34805
53
http://www.datastax.com/dev/blog/2012-in-review-performance
自己看吧,实测的linear scale out,12节点80000次每秒的写。
z****e
发帖数: 54598
54
魏老师
听说早些年你也在java版混的
是不是这些年不怎么学习
不知道java这些年都发展成什么样了?

【在 T********i 的大作中提到】
: 我的系统对于这么大量的transaction至少能做到local HA。你的系统根本做不到,谁
: 丢人?
: 难道你的系统断电100%状态保存?你写磁盘同步,force flush?tps能到千就不错了。

T********i
发帖数: 2416
55
遗憾的是,这个做成分布式,就是1000。我说了,这个具体问题,分布式很糟糕。你丫
绕来绕去搞不懂。

【在 g*****g 的大作中提到】
: 当然是100%保持,如果你不知道cassandra是怎么工作,自己去读一读吧。
: 写一个结点能到1000,写100个就可以接近10万。
: 你丫就这点货,还有脸吹一个DB throughput秒杀Casandra。完全不懂得scale out怎么
: 回事。

g*****g
发帖数: 34805
56
内存数据库吗,我们信还不行吗。就是断个电几百万订单就没了。

【在 T********i 的大作中提到】
: 啥叫第三方benchmark报告?就是有第三方做benchmark,能够复制出这个messages/
: second的结果。
: 包括机器配置,源代码和编译script。
: 就是说2.5 millions messages rtt小菜。都是5 million以上的。这些是别人做的。我
: 可以说。
: 至于我怎么做的。我不可以说。

g*****g
发帖数: 34805
57
很好,打脸来了,你解释一下为什么他们能做到吧。

【在 T********i 的大作中提到】
: 遗憾的是,这个做成分布式,就是1000。我说了,这个具体问题,分布式很糟糕。你丫
: 绕来绕去搞不懂。

T********i
发帖数: 2416
58
和你这攒方案的看来没啥好说的了。算我错了。我高看你了。

【在 g*****g 的大作中提到】
: 很好,打脸来了,你解释一下为什么他们能做到吧。
g*****g
发帖数: 34805
59
LOL,秒杀Cassandra是你说的。现在沦落到这个德行,你丫不吹牛会死呀?
我老是攒方案的没错,好歹是全套方案。你就能提出个轮子,
还不如街上就有的免费轮子。

【在 T********i 的大作中提到】
: 和你这攒方案的看来没啥好说的了。算我错了。我高看你了。
z****e
发帖数: 54598
60
我很想知道,魏老师这套,会不会比mongodb强
我赌不如mongodb
相关主题
我老说说魏老师为啥扯谈吧再给魏老师的方案打个补丁
如果不知道mongoDB的。好虫,看看你的东东有没有问题?
魏老师,人家app server没问题,你干嘛要改造?为了不至于谬种流传我还是回应一下吧
进入Programming版参与讨论
z****e
发帖数: 54598
61
赌注10个包子
z****e
发帖数: 54598
62
老师,你还记得原文是怎么写的吗?
你确定你知道什么是web server么?
web server撑不住throughput的确是没错
但是你给出一个核心,连静态页面的response都没有
你让其他人用什么订票?ssh还是telnet?
发信人: TeacherWei (TW), 信区: Programming
标 题: 很多东东要是我来设计,会很不一样
发信站: BBS 未名空间站 (Thu Nov 21 16:14:22 2013, 美东)
比如困扰板上很多人的春运网站。我来做的话内核直接上c++。
一切都是虚的,只有throughput才是实实在在的。

【在 T********i 的大作中提到】
: 1。我开头就说了假设,全国一盘棋,任何两个节点都有依赖性。而且班次间也有依赖
: 性。这种情况下,号称分布式的性能比单机好,那是基本功有问题。
: 2。我说单机是强调数据紧耦合系统。紧接着我就强调单机不是纯粹单机。有hot
: standby。而且能够同步复制。即使如此,性能也远超分布式的设计。本地可靠性有保
: 障。
: 3。你可以cache我的设计为什么不可以?你可以远程复制我的设计为什么不可以?但是
: 远程复制是有代价的。同步复制不可行。异步复制照样可能丢信息。即让马儿跑,又让
: 马儿不吃草,可能吗?就java那个机制,我的实现远程复制也能甩你几条街。现在我就
: 是从纽约异步复制到芝加哥的。
: 4。说我的设计超出容量会崩溃也是没常识。实时系统可以精确控制流量。到上限有些

g*****g
发帖数: 34805
63
mongodb 值12亿。魏老师1万行的东西就要比mongodb强。我觉得魏老师怎么也值100亿。

【在 z****e 的大作中提到】
: 我很想知道,魏老师这套,会不会比mongodb强
: 我赌不如mongodb

l*****9
发帖数: 9501
64
你和goodbug一头?
发信人: goodbug (好虫), 信区: Programming
标 题: Re: Obamacare website
发信站: BBS 未名空间站 (Fri Nov 22 19:34:48 2013, 美东)
lol, scalability is never an issue on front tier.
m******t
发帖数: 635
65
这么说就没意思了,市值和技术高低基本无关。

亿。

【在 g*****g 的大作中提到】
: mongodb 值12亿。魏老师1万行的东西就要比mongodb强。我觉得魏老师怎么也值100亿。
m*******l
发帖数: 12782
66
不能说无关,只能说相关很弱

【在 m******t 的大作中提到】
: 这么说就没意思了,市值和技术高低基本无关。
:
: 亿。

p*****2
发帖数: 21240
67

大牛不是觉得web server无所谓吗?随便用什么都好?

【在 z****e 的大作中提到】
: app server没有问题
: 否则售票点不能出票了
: 但是事实是网站挂了,但是售票点继续出票
: 出问题的是web server
: 当时网站访问被挤爆了
: 用的是apache web server
: 一般而言,一个apache web server并发访问上限是4000个
: 天朝人民要凑够4000个同时访问,小意思
: 所以要对付这个问题,首先先换掉web server
: 换成yaws,这个能支撑80,000个并发访问

g*****g
发帖数: 34805
68
我这么说的意思,就是吹牛皮不上税。魏老师可是拍胸膛写个DB能秒了Cassandra,
我刚才去看了Cassandra刚拿到45M的fund,市值怎么也有个5亿的样子。
魏老师1万行的东西就秒了人家,你信吗?

【在 m******t 的大作中提到】
: 这么说就没意思了,市值和技术高低基本无关。
:
: 亿。

m******t
发帖数: 635
69
Cassandra没接触过,不好评价,不过MongoDB我去年做过几个项目,真不怎么样。好像
那还是请了牛人救火fix的版本,之前的版本更是烂的被人在网上骂。MongoDB也就是
marketing做的好,类似的还有Instagram和SnapChat,真的有什么NB技术吗?那可都是
好几个billion级别。
魏老师那个1万行可能是比较吹牛,不过要说魏老师比MongoDB最初那个设计者牛,我像
还是很可能的。

【在 g*****g 的大作中提到】
: 我这么说的意思,就是吹牛皮不上税。魏老师可是拍胸膛写个DB能秒了Cassandra,
: 我刚才去看了Cassandra刚拿到45M的fund,市值怎么也有个5亿的样子。
: 魏老师1万行的东西就秒了人家,你信吗?

p*****2
发帖数: 21240
70

大牛能说说你用mongo碰到什么问题了吗?还有就是网上骂mongo的link能share一下吗
?多谢了。

【在 m******t 的大作中提到】
: Cassandra没接触过,不好评价,不过MongoDB我去年做过几个项目,真不怎么样。好像
: 那还是请了牛人救火fix的版本,之前的版本更是烂的被人在网上骂。MongoDB也就是
: marketing做的好,类似的还有Instagram和SnapChat,真的有什么NB技术吗?那可都是
: 好几个billion级别。
: 魏老师那个1万行可能是比较吹牛,不过要说魏老师比MongoDB最初那个设计者牛,我像
: 还是很可能的。

相关主题
为了不至于谬种流传我还是回应一下吧从争论中的一点思考
DynamoDB这个老魏是不是精神有点不正常?
从工程角度再比较一下春运火车票的2个方案纯技术讨论:吞吐量的算法
进入Programming版参与讨论
z****e
发帖数: 54598
71
内存数据库有不被骂的么?
mongodb算是nosql里面很烂的一种
cassandra比mongodb强一万倍

【在 m******t 的大作中提到】
: Cassandra没接触过,不好评价,不过MongoDB我去年做过几个项目,真不怎么样。好像
: 那还是请了牛人救火fix的版本,之前的版本更是烂的被人在网上骂。MongoDB也就是
: marketing做的好,类似的还有Instagram和SnapChat,真的有什么NB技术吗?那可都是
: 好几个billion级别。
: 魏老师那个1万行可能是比较吹牛,不过要说魏老师比MongoDB最初那个设计者牛,我像
: 还是很可能的。

p*****2
发帖数: 21240
72

redis怎么样?

【在 z****e 的大作中提到】
: 内存数据库有不被骂的么?
: mongodb算是nosql里面很烂的一种
: cassandra比mongodb强一万倍

z****e
发帖数: 54598
73
没用过哦,不知道

【在 p*****2 的大作中提到】
:
: redis怎么样?

1 (共1页)
进入Programming版参与讨论
相关主题
我老说说魏老师为啥扯谈吧从争论中的一点思考
如果不知道mongoDB的。这个老魏是不是精神有点不正常?
魏老师,人家app server没问题,你干嘛要改造?纯技术讨论:吞吐量的算法
再给魏老师的方案打个补丁比较spring-boot 和 node.js
好虫,看看你的东东有没有问题?为啥用mmap访问文件的效率高呢?
为了不至于谬种流传我还是回应一下吧本版现在主题就是战啊。。。
DynamoDBPython就是爽
从工程角度再比较一下春运火车票的2个方案mongoDB跟传统关系数据库比有什么优势?
相关话题的讨论汇总
话题: 问题话题: 单机话题: 机器话题: throughput话题: 系统