h****e 发帖数: 928 | 1 本人不是专家,只是写一些自己准备的notes抛砖引玉。
首先,除非是面start-up,否则大公司里都已经有了现成的
处理large-scale system的framework,不太可能要求你build
everything from scratch。所以对于大部分码工面试来说
只要知道large-scale system design的一些基本原则和
common software packages就可以了。
为了尽快上手,建议翻看以下几本书:
Big Data Glossary
Hadoop the definitive guide
HBase the definitive guide
里面具体编程和系统配置之类的章节完全可以略过不看。看完
以后能解释一些重要的原则和关键词就可以了。例如:
Divide and conquer
MapReduce (Mapper & Reducer)
Consistent hashing or extensible hashing
sharding
NoSQL vs SQL
Gossip protocol
C10K problem http://www.kegel.com/c10k.html
distributed hash (memcached)
然后再去看
Facebook engineering Notes
http://www.facebook.com/Engineering/notes
Instagram engineering blog
http://instagram-engineering.tumblr.com/
Dropbox tech blog
http://tech.dropbox.com/
很多细节都可以忽略不看,关键是看他们一般用什么software
packages,它们的特点是什么,解决了什么问题。
此外还有一些常见的large-scale system会出现的问题和
解决方案。事实上很多问题不知道已经被解决了多少次了。
面试时只要能说出一般的解法就可以了。如果面你的人要
刨根到底要新方法,你就说不要reinvent the wheel打哈哈
就过去了。
当然devil is in the details。看完这些没有实践是不行的,
但是对于应付一般的码工面试应该是足够用了。 |
f*****k 发帖数: 65 | 2 补充两个,可以再看看fault tolerant(replicate和recover什么的)和
synchronization/concurrency control |
c********w 发帖数: 2438 | |
d*****n 发帖数: 2132 | 4 thank a lot.
【在 h****e 的大作中提到】 : 本人不是专家,只是写一些自己准备的notes抛砖引玉。 : 首先,除非是面start-up,否则大公司里都已经有了现成的 : 处理large-scale system的framework,不太可能要求你build : everything from scratch。所以对于大部分码工面试来说 : 只要知道large-scale system design的一些基本原则和 : common software packages就可以了。 : 为了尽快上手,建议翻看以下几本书: : Big Data Glossary : Hadoop the definitive guide : HBase the definitive guide
|
l*********8 发帖数: 4642 | 5 thanks a lot!
【在 h****e 的大作中提到】 : 本人不是专家,只是写一些自己准备的notes抛砖引玉。 : 首先,除非是面start-up,否则大公司里都已经有了现成的 : 处理large-scale system的framework,不太可能要求你build : everything from scratch。所以对于大部分码工面试来说 : 只要知道large-scale system design的一些基本原则和 : common software packages就可以了。 : 为了尽快上手,建议翻看以下几本书: : Big Data Glossary : Hadoop the definitive guide : HBase the definitive guide
|
b******v 发帖数: 1493 | 6 多谢!
【在 h****e 的大作中提到】 : 本人不是专家,只是写一些自己准备的notes抛砖引玉。 : 首先,除非是面start-up,否则大公司里都已经有了现成的 : 处理large-scale system的framework,不太可能要求你build : everything from scratch。所以对于大部分码工面试来说 : 只要知道large-scale system design的一些基本原则和 : common software packages就可以了。 : 为了尽快上手,建议翻看以下几本书: : Big Data Glossary : Hadoop the definitive guide : HBase the definitive guide
|
j**w 发帖数: 382 | |
s********d 发帖数: 345 | |
i*******e 发帖数: 240 | |
r*******n 发帖数: 3020 | 10 thanks,
【在 h****e 的大作中提到】 : 本人不是专家,只是写一些自己准备的notes抛砖引玉。 : 首先,除非是面start-up,否则大公司里都已经有了现成的 : 处理large-scale system的framework,不太可能要求你build : everything from scratch。所以对于大部分码工面试来说 : 只要知道large-scale system design的一些基本原则和 : common software packages就可以了。 : 为了尽快上手,建议翻看以下几本书: : Big Data Glossary : Hadoop the definitive guide : HBase the definitive guide
|
|
|
t********3 发帖数: 567 | 11 多谢总结和分享
【在 h****e 的大作中提到】 : 本人不是专家,只是写一些自己准备的notes抛砖引玉。 : 首先,除非是面start-up,否则大公司里都已经有了现成的 : 处理large-scale system的framework,不太可能要求你build : everything from scratch。所以对于大部分码工面试来说 : 只要知道large-scale system design的一些基本原则和 : common software packages就可以了。 : 为了尽快上手,建议翻看以下几本书: : Big Data Glossary : Hadoop the definitive guide : HBase the definitive guide
|
d****o 发帖数: 1055 | 12 赞~~
【在 h****e 的大作中提到】 : 本人不是专家,只是写一些自己准备的notes抛砖引玉。 : 首先,除非是面start-up,否则大公司里都已经有了现成的 : 处理large-scale system的framework,不太可能要求你build : everything from scratch。所以对于大部分码工面试来说 : 只要知道large-scale system design的一些基本原则和 : common software packages就可以了。 : 为了尽快上手,建议翻看以下几本书: : Big Data Glossary : Hadoop the definitive guide : HBase the definitive guide
|
e***s 发帖数: 799 | |
d****o 发帖数: 1055 | 14 求几本书的电子版
【在 h****e 的大作中提到】 : 本人不是专家,只是写一些自己准备的notes抛砖引玉。 : 首先,除非是面start-up,否则大公司里都已经有了现成的 : 处理large-scale system的framework,不太可能要求你build : everything from scratch。所以对于大部分码工面试来说 : 只要知道large-scale system design的一些基本原则和 : common software packages就可以了。 : 为了尽快上手,建议翻看以下几本书: : Big Data Glossary : Hadoop the definitive guide : HBase the definitive guide
|
h****e 发帖数: 928 | 15 爱问上很多的:
http://ishare.iask.sina.com.cn/
书海无涯。:)
【在 d****o 的大作中提到】 : 求几本书的电子版
|
u*****o 发帖数: 1224 | |
c*****a 发帖数: 808 | 17 我推荐去看看yahoo的hadoop tutorial
看完后基本会简单的job
因为我看隔壁team面试有写sort的, mapper,reducer怎么work |
v***n 发帖数: 562 | |
s*********d 发帖数: 2406 | |
s*******e 发帖数: 1630 | |
|
|
c********p 发帖数: 1969 | |
d*********s 发帖数: 777 | |
t****d 发帖数: 423 | 23 Thx
★ 发自iPhone App: ChineseWeb 7.8
【在 h****e 的大作中提到】 : 本人不是专家,只是写一些自己准备的notes抛砖引玉。 : 首先,除非是面start-up,否则大公司里都已经有了现成的 : 处理large-scale system的framework,不太可能要求你build : everything from scratch。所以对于大部分码工面试来说 : 只要知道large-scale system design的一些基本原则和 : common software packages就可以了。 : 为了尽快上手,建议翻看以下几本书: : Big Data Glossary : Hadoop the definitive guide : HBase the definitive guide
|