boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 没干过大数据云计算的不用琢磨12306了
相关主题
静态计数器和订票系统的区别
扯两句魏老师vs好虫
用计数器解决并发问题
一个500w/s并发的计数器
所有人拿到这个需求第一反应都是如何处理并发锁
老魏绝对是人才
继续,好虫这个赌约我接了
计数器程序员来说说用了什么算法和数据结构吧
干活到了一个阶段,刚搞定一个东西,上来总结一下老魏
大规模多核并发的系统PK大规模多机并发的系统
相关话题的讨论汇总
话题: 计数器话题: 数据话题: 12306话题: 老魏话题: 网站
进入Programming版参与讨论
1 (共1页)
l*****9
发帖数: 9501
1
你们根本不明白大数据的威力。
太大数据量的计算,不用大数据就是死。
弄个大一学生就会的计数器就解决了12306的瓶颈了?大战风车很爽吧
L*****e
发帖数: 8347
2
这点数据量,应该和大数据扯不上边吧?

★ 发自iPhone App: ChineseWeb 8.2.2

【在 l*****9 的大作中提到】
: 你们根本不明白大数据的威力。
: 太大数据量的计算,不用大数据就是死。
: 弄个大一学生就会的计数器就解决了12306的瓶颈了?大战风车很爽吧

g*****g
发帖数: 34805
3
不是大数据,是高并发。

【在 L*****e 的大作中提到】
: 这点数据量,应该和大数据扯不上边吧?
:
: ★ 发自iPhone App: ChineseWeb 8.2.2

q********c
发帖数: 1774
4
LOL,这跟大数据有毛的关系。

【在 l*****9 的大作中提到】
: 你们根本不明白大数据的威力。
: 太大数据量的计算,不用大数据就是死。
: 弄个大一学生就会的计数器就解决了12306的瓶颈了?大战风车很爽吧

l*****9
发帖数: 9501
5
那是现在分批方票,而且大量丢单。如果放开了,搞WAITING LIST, 可以提前3个月定
任意车票,数据可以很大。

【在 L*****e 的大作中提到】
: 这点数据量,应该和大数据扯不上边吧?
:
: ★ 发自iPhone App: ChineseWeb 8.2.2

g*****g
发帖数: 34805
6
没做过高并发网站的就不用考虑这个了,先学学10k怎么做吧。
L*****e
发帖数: 8347
7
我就算这个意思,典型的高并发案例,和大数据无关,虽然大数据常常和distribute
system有关。。。

★ 发自iPhone App: ChineseWeb 8.2.2

【在 g*****g 的大作中提到】
: 不是大数据,是高并发。
g*****g
发帖数: 34805
8
高并发的核心是怎么scale out,不是算到cpu指令够不够用。全靠理论值悬崖边上走的,
实践中必挂,勉强上去了,来个流量比预想高,还挂。而且还没法堆硬件解决。
单机能撑5M/s IO的我也没见过。

【在 L*****e 的大作中提到】
: 我就算这个意思,典型的高并发案例,和大数据无关,虽然大数据常常和distribute
: system有关。。。
:
: ★ 发自iPhone App: ChineseWeb 8.2.2

l*****9
发帖数: 9501
9
那是现在分批方票,而且大量丢单。如果放开了,搞WAITING LIST, 可以提前3个月定
任意车票,数据可以很大。

【在 q********c 的大作中提到】
: LOL,这跟大数据有毛的关系。
L*****e
发帖数: 8347
10
天朝的事瞬息万变,下个星期去哪儿还不知道,下个星期能排出几次车也不清楚,让人
怎么提前仨月订票?
如果你是说根据历年的数据分析,可以预计明年春运谁会在哪一天去哪儿,提前开始推
销票,算是和大数据沾点边?

★ 发自iPhone App: ChineseWeb 8.2.2

【在 l*****9 的大作中提到】
: 那是现在分批方票,而且大量丢单。如果放开了,搞WAITING LIST, 可以提前3个月定
: 任意车票,数据可以很大。

相关主题
一个500w/s并发的计数器
所有人拿到这个需求第一反应都是如何处理并发锁
老魏绝对是人才
继续,好虫这个赌约我接了
进入Programming版参与讨论
l*****9
发帖数: 9501
11
春运提前三月订票也要抢的。可以提前三个月买,而不是必须提前三个月买。提前订票
,也好加临客。

【在 L*****e 的大作中提到】
: 天朝的事瞬息万变,下个星期去哪儿还不知道,下个星期能排出几次车也不清楚,让人
: 怎么提前仨月订票?
: 如果你是说根据历年的数据分析,可以预计明年春运谁会在哪一天去哪儿,提前开始推
: 销票,算是和大数据沾点边?
:
: ★ 发自iPhone App: ChineseWeb 8.2.2

L*****e
发帖数: 8347
12
就连现在提前10天都是一大堆人先抢了票又退票的,提前三月订票的唯一提高的就是退
票率,anyway,现在的12306抢票也不是主要问题,你说的现在的系统还大量丢票?有
依据吗?

★ 发自iPhone App: ChineseWeb 8.2.2

【在 l*****9 的大作中提到】
: 春运提前三月订票也要抢的。可以提前三个月买,而不是必须提前三个月买。提前订票
: ,也好加临客。

l*****9
发帖数: 9501
13
丢单。填了订单,网站没反应,递不上去,就是丢单。
退票罚款,铁道部乐死了。
提前三月订票可以降低并发,有计划的增加临客。

【在 L*****e 的大作中提到】
: 就连现在提前10天都是一大堆人先抢了票又退票的,提前三月订票的唯一提高的就是退
: 票率,anyway,现在的12306抢票也不是主要问题,你说的现在的系统还大量丢票?有
: 依据吗?
:
: ★ 发自iPhone App: ChineseWeb 8.2.2

g*****g
发帖数: 34805
14
自己看吧。现在高峰必崩。也没有先来后到,就是靠人品。
http://news.xinhuanet.com/info/2013-12/30/c_133005876.htm
原标题:习惯性崩溃欠一个解释
12月28日是春运期间火车票网络、手机客户端、电话预订的发售期。就在抢票大战
开战不到1小时的时间,新版铁路官方售票网站12306却遭遇大客流瘫痪,随即又被爆出
登录串号,疑部分旅客信息遭泄露(12月29日《京华时报》)。
12306网站似乎染上了习惯性假日病。2012年中秋和国庆双节期间,12306网站在抢
票压力下几近瘫痪。2013年元旦期间,旅客登录12306网站购票频频遭遇“系统繁忙”
的软拒绝。正如董正伟律师先后多次申请对火车票官网建设情况进行公开一般,老百姓
心里都藏着一个大大的疑问:耗费巨资却频频崩溃的12306网站,是不是破绽百出的“
豆腐网”?
与一触即溃的12306网站相对照,近几年双十一期间,网购交易屡现惊人的井喷之
势,天猫、淘宝等电子商务网站在喜揽百亿销售额的同时,也要应对一天之内数以千万
计的海量访问,网站承受的访问压力之大可想而知,然而,各大电子商务网站总体上却
能够做到应对自如。作为高规格的大型专业网站,不能及时出票的购票官网,欠公众一
个明白的解释。

【在 L*****e 的大作中提到】
: 就连现在提前10天都是一大堆人先抢了票又退票的,提前三月订票的唯一提高的就是退
: 票率,anyway,现在的12306抢票也不是主要问题,你说的现在的系统还大量丢票?有
: 依据吗?
:
: ★ 发自iPhone App: ChineseWeb 8.2.2

L*****e
发帖数: 8347
15
只从“系统繁忙”四个字不好判断瓶颈在哪儿,也可能是前段web server呢。。。起码
要知道它的部署才能猜个大概,或者内部谁把error log给流露一下。。。

★ 发自iPhone App: ChineseWeb 8.2.2

【在 g*****g 的大作中提到】
: 自己看吧。现在高峰必崩。也没有先来后到,就是靠人品。
: http://news.xinhuanet.com/info/2013-12/30/c_133005876.htm
: 原标题:习惯性崩溃欠一个解释
: 12月28日是春运期间火车票网络、手机客户端、电话预订的发售期。就在抢票大战
: 开战不到1小时的时间,新版铁路官方售票网站12306却遭遇大客流瘫痪,随即又被爆出
: 登录串号,疑部分旅客信息遭泄露(12月29日《京华时报》)。
: 12306网站似乎染上了习惯性假日病。2012年中秋和国庆双节期间,12306网站在抢
: 票压力下几近瘫痪。2013年元旦期间,旅客登录12306网站购票频频遭遇“系统繁忙”
: 的软拒绝。正如董正伟律师先后多次申请对火车票官网建设情况进行公开一般,老百姓
: 心里都藏着一个大大的疑问:耗费巨资却频频崩溃的12306网站,是不是破绽百出的“

s*******y
发帖数: 851
16
同意这个,是个马工就吹大数据,现在。

【在 g*****g 的大作中提到】
: 不是大数据,是高并发。
l*****9
发帖数: 9501
17
web server基本是必然的,问题是有了足够的instance以后,收到的海量订单的处理,
在现有不scale out 的架构下,反映出来就是系统长期没反应

【在 L*****e 的大作中提到】
: 只从“系统繁忙”四个字不好判断瓶颈在哪儿,也可能是前段web server呢。。。起码
: 要知道它的部署才能猜个大概,或者内部谁把error log给流露一下。。。
:
: ★ 发自iPhone App: ChineseWeb 8.2.2

l*********s
发帖数: 5409
18
要到能够在面试上吹大数据该学点啥?

【在 s*******y 的大作中提到】
: 同意这个,是个马工就吹大数据,现在。
s*******y
发帖数: 851
19
看清楚要面试公司的业务再吹,不是每个公司都用大数据,真需要用的都在找几年工作
经验的。想学习的话,mongodb吧。

【在 l*********s 的大作中提到】
: 要到能够在面试上吹大数据该学点啥?
z*******3
发帖数: 13709
20
楼主说得很好
大数据只是一个hype
但是细化下去,一堆东西
都正好用上
相关主题
计数器程序员来说说用了什么算法和数据结构吧
干活到了一个阶段,刚搞定一个东西,上来总结一下老魏
大规模多核并发的系统PK大规模多机并发的系统
来,老姜你告诉我,这个计数器有啥用?
进入Programming版参与讨论
z*******3
发帖数: 13709
21
12306这种属于平常操练太少
只能每年春节来操练一把
淘宝平常量就不小,多操几次,也就会了

【在 L*****e 的大作中提到】
: 只从“系统繁忙”四个字不好判断瓶颈在哪儿,也可能是前段web server呢。。。起码
: 要知道它的部署才能猜个大概,或者内部谁把error log给流露一下。。。
:
: ★ 发自iPhone App: ChineseWeb 8.2.2

z*******3
发帖数: 13709
22
细化啊
大数据,云计算,这些都是给外行人看的
但是你要能说出大数据用了哪些产品,比如云计算用了aws
对方当然会针对这个部分提问
然后你大概给对方展示一下你懂,就行了
大环节没错,概念懂,可以了,剩下都是细节,工作时候慢慢磨就好了
这个需求显然很切入新兴领域
古德霸自己也一上来就建议用cloud
这不是云是什么?
后面异步处理什么,就更有东西可以说了
这里比较不相关的是nosql
但是用做cache管理的话,c*还是相关的
其实都相关,所以这么多东西可以聊不说
非要回去聊硬件,那这就很恶心了

【在 l*********s 的大作中提到】
: 要到能够在面试上吹大数据该学点啥?
z*******3
发帖数: 13709
23
异步
--二爷

【在 g*****g 的大作中提到】
: 没做过高并发网站的就不用考虑这个了,先学学10k怎么做吧。
l*********s
发帖数: 5409
24
多谢,大牛的忽悠能力我一直都是非常佩服的。:-)

【在 z*******3 的大作中提到】
: 细化啊
: 大数据,云计算,这些都是给外行人看的
: 但是你要能说出大数据用了哪些产品,比如云计算用了aws
: 对方当然会针对这个部分提问
: 然后你大概给对方展示一下你懂,就行了
: 大环节没错,概念懂,可以了,剩下都是细节,工作时候慢慢磨就好了
: 这个需求显然很切入新兴领域
: 古德霸自己也一上来就建议用cloud
: 这不是云是什么?
: 后面异步处理什么,就更有东西可以说了

g*****g
发帖数: 34805
25
紧耦合系统,就是前面不崩就后面崩,后面崩更惨。举个例子就是长江上游下大雨,
你是上三峡水库,还是指望下游堤坝够高,雨不继续下呢?

【在 L*****e 的大作中提到】
: 只从“系统繁忙”四个字不好判断瓶颈在哪儿,也可能是前段web server呢。。。起码
: 要知道它的部署才能猜个大概,或者内部谁把error log给流露一下。。。
:
: ★ 发自iPhone App: ChineseWeb 8.2.2

z*******3
发帖数: 13709
26
不行,比起计数器,那真的是小巫见大巫
我绝对不敢用计数器去忽悠
还是楼主后生可畏,一个词点醒了我

【在 l*********s 的大作中提到】
: 多谢,大牛的忽悠能力我一直都是非常佩服的。:-)
l*********s
发帖数: 5409
27
魏老师那是有真功夫的。我要是你,被拍了就被拍了呗,屁大点的事。

【在 z*******3 的大作中提到】
: 不行,比起计数器,那真的是小巫见大巫
: 我绝对不敢用计数器去忽悠
: 还是楼主后生可畏,一个词点醒了我

g*****g
发帖数: 34805
28
有真功夫做网站也是外行。李小龙还有真功夫呢,就会写网站了?

【在 l*********s 的大作中提到】
: 魏老师那是有真功夫的。我要是你,被拍了就被拍了呗,屁大点的事。
z*******3
发帖数: 13709
29
是啊,所以我直接骂回去了,屁大点事么,又不是不能回击
真功夫的话,我实话告诉你,功夫分很多种,一行有一行的道
不懂就不要装懂,是不是这行混的,谁看不出来啊
拍老魏的我敢说同行太多了

【在 l*********s 的大作中提到】
: 魏老师那是有真功夫的。我要是你,被拍了就被拍了呗,屁大点的事。
l*********s
发帖数: 5409
30
是么?反方虽然人多,但没啥数据,都是扯概念,所以我觉得这次是老魏赢了。

【在 z*******3 的大作中提到】
: 是啊,所以我直接骂回去了,屁大点事么,又不是不能回击
: 真功夫的话,我实话告诉你,功夫分很多种,一行有一行的道
: 不懂就不要装懂,是不是这行混的,谁看不出来啊
: 拍老魏的我敢说同行太多了

相关主题
废话少说,单机500万次每秒
测试用例在此,看还有什么说的。
潜水员上来评价一下这几天的混战,乔峰大战鸠摩智
qxc,我接招了,你给的要求太弱的,给你加强了
进入Programming版参与讨论
z*******3
发帖数: 13709
31
那你麻烦了,现在软件的发展,没有谁关系真正的这种数据了
他说的那么多数据,在cloud上都有明确的计算机制
压根不需要你自己去算,自己去撰机是很早以前建数据中心时候的思路
早淘汰了,你用了cloud就明白了,你会发现这么做很蠢
所以我一开始就没打算跟他深究下去,浪费时间
你看小菊花什么多聪明,其实同行很多压根连理都不理他
二爷几个都没参与,压根不敢兴趣

【在 l*********s 的大作中提到】
: 是么?反方虽然人多,但没啥数据,都是扯概念,所以我觉得这次是老魏赢了。
N********n
发帖数: 8363
32

车票不是电商,买书、买药、买鞋都可以分开。车票都是铁路网上拴在一
起拆不开,一个四川民工去北方打工,一张联票下去宝成、陇海、京广就
拴上了。这种耦合数据不是BIG DATA哈希表搞得了的。

【在 l*****9 的大作中提到】
: 你们根本不明白大数据的威力。
: 太大数据量的计算,不用大数据就是死。
: 弄个大一学生就会的计数器就解决了12306的瓶颈了?大战风车很爽吧

z*******3
发帖数: 13709
33
老魏已经是old dog了
new trick不是那么容易学的
他学得很吃力,相比之下,楼主学得很快
各种概念跟他三个月前有明显提高
世界是平的,不跟上时代,也就离淘汰不远了
这就是为什么我痛恨计数器,因为毫无价值,对我来说

【在 l*********s 的大作中提到】
: 是么?反方虽然人多,但没啥数据,都是扯概念,所以我觉得这次是老魏赢了。
L*****e
发帖数: 8347
34
问题是也有可能上游河道过窄泛滥,而中下游的三峡水库都可以在里面跑车了。。。我
这是随便猜哈,没看到它的部署,不知道它的水库在哪儿,狭窄河道在哪儿,只能拍脑
袋随便说了。。。

★ 发自iPhone App: ChineseWeb 8.2.2

【在 g*****g 的大作中提到】
: 紧耦合系统,就是前面不崩就后面崩,后面崩更惨。举个例子就是长江上游下大雨,
: 你是上三峡水库,还是指望下游堤坝够高,雨不继续下呢?

z*******3
发帖数: 13709
35
就是transaction

【在 N********n 的大作中提到】
:
: 车票不是电商,买书、买药、买鞋都可以分开。车票都是铁路网上拴在一
: 起拆不开,一个四川民工去北方打工,一张联票下去宝成、陇海、京广就
: 拴上了。这种耦合数据不是BIG DATA哈希表搞得了的。

z*******3
发帖数: 13709
36
老魏还在计算到底多少够用
而别人已经不这么用了
而是:你尽管用,用多少,我按你用多少的给你算钱
这个时候你就会发现,我干吗替别人去算呢?
直接交给机器去算,不就好了?
什么叫懂软件?这就是懂
懂的人压根没兴趣去算,因为已经不需要了

【在 l*********s 的大作中提到】
: 是么?反方虽然人多,但没啥数据,都是扯概念,所以我觉得这次是老魏赢了。
g*****g
发帖数: 34805
37
LOL,他在那都在算cpu cycle了,哪里狭窄还不清楚?

【在 L*****e 的大作中提到】
: 问题是也有可能上游河道过窄泛滥,而中下游的三峡水库都可以在里面跑车了。。。我
: 这是随便猜哈,没看到它的部署,不知道它的水库在哪儿,狭窄河道在哪儿,只能拍脑
: 袋随便说了。。。
:
: ★ 发自iPhone App: ChineseWeb 8.2.2

L*****e
发帖数: 8347
38
我们在说现在的12306吧?什么地方算cpu cycle了?还是你又转老魏那儿去了?

★ 发自iPhone App: ChineseWeb 8.2.2

【在 g*****g 的大作中提到】
: LOL,他在那都在算cpu cycle了,哪里狭窄还不清楚?
z*******3
发帖数: 13709
39
还在算的,看这张图,看懂了就明白了
这是new trick

【在 l*********s 的大作中提到】
: 是么?反方虽然人多,但没啥数据,都是扯概念,所以我觉得这次是老魏赢了。
l*********s
发帖数: 5409
40
不然,这个世界不需要很多思想家,大部分人也没这个才能,但是如果没有这样的人,
时代就无法发展。

【在 z*******3 的大作中提到】
: 那你麻烦了,现在软件的发展,没有谁关系真正的这种数据了
: 他说的那么多数据,在cloud上都有明确的计算机制
: 压根不需要你自己去算,自己去撰机是很早以前建数据中心时候的思路
: 早淘汰了,你用了cloud就明白了,你会发现这么做很蠢
: 所以我一开始就没打算跟他深究下去,浪费时间
: 你看小菊花什么多聪明,其实同行很多压根连理都不理他
: 二爷几个都没参与,压根不敢兴趣

相关主题
搞技术的,要有起码的是非观念 by 老魏
关于赌局补充几点
赌约在此
简单介绍一下老魏的结构
进入Programming版参与讨论
z*******3
发帖数: 13709
41
不过话说老魏比较适合做挖矿机,这个我信
哈哈,他现在做的就跟挖矿机很接近
guvest的建议比我们靠谱,web不需要老魏
并不代表其他行业不需要,可以搞点比特币啥的
g*****g
发帖数: 34805
42
你没看那个thread, 光更新计数器,都已经算到是7M 次。还enque,deque, write
success/failure都没做呢。还不走钢丝呀。
http://www.mitbbs.com/article_t/Programming/31316067.html
你看我整个架构,除了后端那台数据库服务器,我谈过单机性能吗?剩下的你给我一堆
586,只要够多,我也做了。

【在 L*****e 的大作中提到】
: 我们在说现在的12306吧?什么地方算cpu cycle了?还是你又转老魏那儿去了?
:
: ★ 发自iPhone App: ChineseWeb 8.2.2

z*******3
发帖数: 13709
43
显然他不是这种人
二爷倒有这个可能
他连new trick都还没学全
先明白别人在做啥,了解了之后才能有创造
别把过去的思维方式生搬硬套到现在
这叫刻舟求剑
小心邯郸学步

【在 l*********s 的大作中提到】
: 不然,这个世界不需要很多思想家,大部分人也没这个才能,但是如果没有这样的人,
: 时代就无法发展。

l*********s
发帖数: 5409
44
现在不是就在讨论后台抢票系统么。老魏也说了外围系统随意。关键是他的想法很有特
色,方案简洁/优美,学习下开拓思路不好么?非得争个“one true way"不可有啥意义。

【在 g*****g 的大作中提到】
: 有真功夫做网站也是外行。李小龙还有真功夫呢,就会写网站了?
z*******3
发帖数: 13709
45
这么复杂的需求被简化成一个计数器
那还有什么好讨论的?
关键还是错的,然后还要拼命打补丁

【在 l*********s 的大作中提到】
: 现在不是就在讨论后台抢票系统么。老魏也说了外围系统随意。关键是他的想法很有特
: 色,方案简洁/优美,学习下开拓思路不好么?非得争个“one true way"不可有啥意义。

L*****e
发帖数: 8347
46
我早就说了,老魏的方案把一切计数抢票以外的功能都scale out了,如果把这些scale
out
的部分全加上做一个完整的12306系统,不管是计算量还是花费都会增长很多。所以觉
得你俩从一开始就在谈不同的需求。没有一个统一的spec,你们大部分争论都是白瞎。
。。
anyway,你们俩的分歧我就不掺和了,刚才在这个帖子里讨论的是说现在的12306系统
的瓶颈未必在抢票那里,不过我也没有可靠论据支撑我的猜测,知道你老爱讲究用数据
说话,所以关于这一点的讨论我就到此为止了。。。

★ 发自iPhone App: ChineseWeb 8.2.2
★ 发自iPhone App: ChineseWeb 8.2.2

【在 g*****g 的大作中提到】
: 你没看那个thread, 光更新计数器,都已经算到是7M 次。还enque,deque, write
: success/failure都没做呢。还不走钢丝呀。
: http://www.mitbbs.com/article_t/Programming/31316067.html
: 你看我整个架构,除了后端那台数据库服务器,我谈过单机性能吗?剩下的你给我一堆
: 586,只要够多,我也做了。

l*********s
发帖数: 5409
47
我倒是觉得你的想法被各种java轮子给限死了。

【在 z*******3 的大作中提到】
: 显然他不是这种人
: 二爷倒有这个可能
: 他连new trick都还没学全
: 先明白别人在做啥,了解了之后才能有创造
: 别把过去的思维方式生搬硬套到现在
: 这叫刻舟求剑
: 小心邯郸学步

z*******3
发帖数: 13709
48
后台,抢票,都是很大的topic
不是计数器那么简单,ok?
做了半天一个计数器,那搞什么?

义。

【在 l*********s 的大作中提到】
: 现在不是就在讨论后台抢票系统么。老魏也说了外围系统随意。关键是他的想法很有特
: 色,方案简洁/优美,学习下开拓思路不好么?非得争个“one true way"不可有啥意义。

z*******3
发帖数: 13709
49
这跟java一点关系没有
我在说虚拟机技术
不是jvm

【在 l*********s 的大作中提到】
: 我倒是觉得你的想法被各种java轮子给限死了。
l*********s
发帖数: 5409
50
恰恰相反,能把这么个复杂的问题简化到计数器上就是洞察力的表现。

【在 z*******3 的大作中提到】
: 这么复杂的需求被简化成一个计数器
: 那还有什么好讨论的?
: 关键还是错的,然后还要拼命打补丁

相关主题
静态计数器和订票系统的区别
扯两句魏老师vs好虫
用计数器解决并发问题
一个500w/s并发的计数器
进入Programming版参与讨论
z*******3
发帖数: 13709
51
被证伪了
有人打补丁就说明架构开始出问题了
尤其是还没做,理论就错了
还做什么?functional test都无法通过
只能说行为艺术也是艺术啊

【在 l*********s 的大作中提到】
: 恰恰相反,能把这么个复杂的问题简化到计数器上就是洞察力的表现。
c****3
发帖数: 10787
52
架构没觉得有啥问题,因为是单线程处理请求,把数据库锁,简化成计数器没有大问题
。如果多线程,就比较困难了。
剩下的就是堆硬件了,现在硬件处理能力确实厉害。既然有40G,甚至100G以太网卡卖
,这也不是什么大问题。
是有点难维护,数据库各个区间的剩余票数,要和计数器对应上,总是保持一致,这上
面要化不少力气。但应该是能工作的。

【在 z*******3 的大作中提到】
: 被证伪了
: 有人打补丁就说明架构开始出问题了
: 尤其是还没做,理论就错了
: 还做什么?functional test都无法通过
: 只能说行为艺术也是艺术啊

z*******3
发帖数: 13709
53
他那一套就走向了分布式
随着补丁的增加,就跟别人做的很象了
问题在于:这还是单机么?他又爱吹自己是单机
单机的计数器,也就是单机的一个功能点而已
对吧?那一个功能点跟整体系统,是一回事么?

【在 c****3 的大作中提到】
: 架构没觉得有啥问题,因为是单线程处理请求,把数据库锁,简化成计数器没有大问题
: 。如果多线程,就比较困难了。
: 剩下的就是堆硬件了,现在硬件处理能力确实厉害。既然有40G,甚至100G以太网卡卖
: ,这也不是什么大问题。
: 是有点难维护,数据库各个区间的剩余票数,要和计数器对应上,总是保持一致,这上
: 面要化不少力气。但应该是能工作的。

z*******3
发帖数: 13709
54
他的trick在于
一开始把很大的东西故意定义得很小
然后搞得解决了这个小东西就能搞定大东西一般
其实是bs
计数器你要说用到,很多地方都要用
但是写了一个计数器就搞定了所有问题
那你赶紧给我拉倒
大并发的主要问题都在锁,多线程上
当然老魏也看到了,然后自己发明了一套,以为能搞定
但其实不行,被证伪了
这样就很没意思了,因为他的东西已经失败了
再做就是古德霸那些东西了,没劲
三个月,就说这么一个东西,真没劲
二爷说的那个clojure,三个月下来,我估计都能学会了
以后坚决不浪费时间在这个上面

【在 c****3 的大作中提到】
: 架构没觉得有啥问题,因为是单线程处理请求,把数据库锁,简化成计数器没有大问题
: 。如果多线程,就比较困难了。
: 剩下的就是堆硬件了,现在硬件处理能力确实厉害。既然有40G,甚至100G以太网卡卖
: ,这也不是什么大问题。
: 是有点难维护,数据库各个区间的剩余票数,要和计数器对应上,总是保持一致,这上
: 面要化不少力气。但应该是能工作的。

c****3
发帖数: 10787
55
其他不是单机,就是这个数据库锁,因为这种特定情况,可以简化为计数器。
其实单线程连atomic operation其实都不用,因为根本没有人和它抢这个计数器。
这样更新计数器的速度不会是问题,主要还是网络IO。靠网卡CPU offload,也能处理。

【在 z*******3 的大作中提到】
: 他那一套就走向了分布式
: 随着补丁的增加,就跟别人做的很象了
: 问题在于:这还是单机么?他又爱吹自己是单机
: 单机的计数器,也就是单机的一个功能点而已
: 对吧?那一个功能点跟整体系统,是一回事么?

b*******s
发帖数: 5216
56
你这脸打得,呵呵

【在 L*****e 的大作中提到】
: 这点数据量,应该和大数据扯不上边吧?
:
: ★ 发自iPhone App: ChineseWeb 8.2.2

z*******3
发帖数: 13709
57
可以这么用

理。

【在 c****3 的大作中提到】
: 其他不是单机,就是这个数据库锁,因为这种特定情况,可以简化为计数器。
: 其实单线程连atomic operation其实都不用,因为根本没有人和它抢这个计数器。
: 这样更新计数器的速度不会是问题,主要还是网络IO。靠网卡CPU offload,也能处理。

z*******3
发帖数: 13709
58
他用atomic operation就是因为并发
单线程当然没有这个问题

理。

【在 c****3 的大作中提到】
: 其他不是单机,就是这个数据库锁,因为这种特定情况,可以简化为计数器。
: 其实单线程连atomic operation其实都不用,因为根本没有人和它抢这个计数器。
: 这样更新计数器的速度不会是问题,主要还是网络IO。靠网卡CPU offload,也能处理。

n*****t
发帖数: 22014
59
Big data = teenage sex
娇客版早有定论了

【在 l*****9 的大作中提到】
: 你们根本不明白大数据的威力。
: 太大数据量的计算,不用大数据就是死。
: 弄个大一学生就会的计数器就解决了12306的瓶颈了?大战风车很爽吧

l*****9
发帖数: 9501
60
你搞过大数据没有吧

【在 n*****t 的大作中提到】
: Big data = teenage sex
: 娇客版早有定论了

相关主题
一个500w/s并发的计数器
所有人拿到这个需求第一反应都是如何处理并发锁
老魏绝对是人才
继续,好虫这个赌约我接了
进入Programming版参与讨论
b*******s
发帖数: 5216
61
用印地语说效果会好几倍

【在 z*******3 的大作中提到】
: 那你麻烦了,现在软件的发展,没有谁关系真正的这种数据了
: 他说的那么多数据,在cloud上都有明确的计算机制
: 压根不需要你自己去算,自己去撰机是很早以前建数据中心时候的思路
: 早淘汰了,你用了cloud就明白了,你会发现这么做很蠢
: 所以我一开始就没打算跟他深究下去,浪费时间
: 你看小菊花什么多聪明,其实同行很多压根连理都不理他
: 二爷几个都没参与,压根不敢兴趣

z*******3
发帖数: 13709
62
那个笑话是所有hype都可以用的

【在 n*****t 的大作中提到】
: Big data = teenage sex
: 娇客版早有定论了

z*******3
发帖数: 13709
63
计数器语比较贴近你们的生活

【在 b*******s 的大作中提到】
: 用印地语说效果会好几倍
n*****t
发帖数: 22014
64
小灵通计费系统算不算?

【在 l*****9 的大作中提到】
: 你搞过大数据没有吧
l*****9
发帖数: 9501
65
用C语言?

【在 n*****t 的大作中提到】
: 小灵通计费系统算不算?
n*****t
发帖数: 22014
66


【在 l*****9 的大作中提到】
: 用C语言?
l*****9
发帖数: 9501
67
关于大数据你可以闭嘴了

【在 n*****t 的大作中提到】
: 然
n*****t
发帖数: 22014
68
LOL
Big data is like teenage sex: everyone talks about it, nobody really knows
how to do it, everyone thinks everyone else is doing it, so everyone claims
they are doing it...

【在 l*****9 的大作中提到】
: 关于大数据你可以闭嘴了
g*****g
发帖数: 34805
69
倒没有one true way, 只不过那条路不通而已。

义。

【在 l*********s 的大作中提到】
: 现在不是就在讨论后台抢票系统么。老魏也说了外围系统随意。关键是他的想法很有特
: 色,方案简洁/优美,学习下开拓思路不好么?非得争个“one true way"不可有啥意义。

q*c
发帖数: 9453
70

这最后一条不就是最难缠的 distributed transaction 吗。 这可不容易。
如果这个能搞定, 我就不明白为什么oracle 不出 5MM tps 价格在 20k 以下的数据库
? 那可是立刻统治全地球。

【在 c****3 的大作中提到】
: 架构没觉得有啥问题,因为是单线程处理请求,把数据库锁,简化成计数器没有大问题
: 。如果多线程,就比较困难了。
: 剩下的就是堆硬件了,现在硬件处理能力确实厉害。既然有40G,甚至100G以太网卡卖
: ,这也不是什么大问题。
: 是有点难维护,数据库各个区间的剩余票数,要和计数器对应上,总是保持一致,这上
: 面要化不少力气。但应该是能工作的。

相关主题
计数器程序员来说说用了什么算法和数据结构吧
干活到了一个阶段,刚搞定一个东西,上来总结一下老魏
大规模多核并发的系统PK大规模多机并发的系统
来,老姜你告诉我,这个计数器有啥用?
进入Programming版参与讨论
n*****t
发帖数: 22014
71
因为 oracle 是通用数据库

【在 q*c 的大作中提到】
:
: 这最后一条不就是最难缠的 distributed transaction 吗。 这可不容易。
: 如果这个能搞定, 我就不明白为什么oracle 不出 5MM tps 价格在 20k 以下的数据库
: ? 那可是立刻统治全地球。

1 (共1页)
进入Programming版参与讨论
相关主题
大规模多核并发的系统PK大规模多机并发的系统
来,老姜你告诉我,这个计数器有啥用?
废话少说,单机500万次每秒
测试用例在此,看还有什么说的。
潜水员上来评价一下这几天的混战,乔峰大战鸠摩智
qxc,我接招了,你给的要求太弱的,给你加强了
搞技术的,要有起码的是非观念 by 老魏
关于赌局补充几点
赌约在此
简单介绍一下老魏的结构
相关话题的讨论汇总
话题: 计数器话题: 数据话题: 12306话题: 老魏话题: 网站