r*******h
发帖数: 315 | 1 感觉树像文件系统的目录结构，企业环境中数百万个文件和目录的文件系统太常见了，
要求的前序遍历像unix命令tree。关键是如果栈溢出时，就得把栈的内容写入磁盘，比
如一次写一个文件，栈空的时候再按后写先读的顺序把文件一个个读入栈进行处理，其
余就是典型的前序遍历的算法。还可以考虑多线程双缓冲，这样遍历和栈的磁盘读写都
可以同时进行了。 |
|
s******d
发帖数: 424 | 2 非牛，没做过Map/reduce，只看了几篇文章，不对的请赐教
试着分析下第一题
Map按照ID partition,输出 ID Time, URL,按照 ID Time排序
Reducer接收后，对每个ID,如果和上一个Time差别小于某个值，比如10分钟，就认为为
相同访问序列，并保存最初三个URL，直到Time差别大于10分钟，重新开始计算
需要2次MapReduce，Reducer也是Mapper
Reducer的结果是三元组，再次做MapReduce。也就是再次Emit出去
Reducer2接收三元组，统计数量并维护一个最小堆，结束所有数据后将自己的TOP K输
出到文件
将所有Reducer2的输出文件读入并取最大的K个三元组得到结果 |
|
W*********y
发帖数: 481 | 3 在校cs phd第二年，想学些 hadoop/spark/graphlab这种large scale的东西。平时做
的都是单个机器上可以全部读入的小dataset, 最多就几个g的东西。没有机会接触这些
large scale的framework。系里的cluster好像也没有装这些东西。有没有能推荐些公
开课或者公开资源，可以在离开学校前自己学一下的？ |
|
m*****n
发帖数: 2152 | 4 这道题很简单啊。
建一个二维histogram， x axis用IP分bin （可以每个country一个bin），y axis用
URL的hash value分bin。
然后顺序读入所有数据, fill 相对应的bin。内存绝对够用。
然后把histogram projection到x axis，建个10位的heap，用heap sort，搞定(1).
然后把histogram projection到y axis，建个10位的heap，用heap sort，搞定(2). |
|
z*******3
发帖数: 13709 | 5 你需要一次性把所有数据全部读入内存么？
弄几个中间状态，然后一步一步逼近你最后的答案
每前进一步，释放掉前面的内存
data. |
|
z****e
发帖数: 54598 | 6 String[] words = doc.split("(\s|\p{Punct})+");
这一步直接给你溢出
你等于把整个文档全部读入内存
你这样搞不是一个big data的搞法
input string的意思是file name
a String representing a text document
意思是file name不是整个doc
要求你用input stream
依次读取这个file的character
这里考java io，上课说tf idf老师应该布置过这种作业吧？
给你们一个超大的file，然后要求你去统计tf和idf
这个时候肯定不能直接先读取整个文档成string
要用input stream一点一点读，而且最好是buffered input stream
这个题目还是不错的
我用python写过，慢得跟什么一样的，激励嘎啦跑了几十分钟
我的laptop都快死机了，还是java好用 |
|
z****e
发帖数: 54598 | 7 这个考点罗列一下
1）hashcode，heap查找效率低，hashmap快，快很多
2）priorityqueue或者你说heap，min root heap这些
3）java io，不能全部读入内存，会爆的
4）tf idf，这个只考个tf的定义
是常见的top k的变种
这是第几次说top k question了？ |
|
z****e
发帖数: 54598 | 8 这么大的数据就不应该直接读入内存吧
估计内存都爆了，用stream，一点一点读了 |
|
p*****l
发帖数: 71 | 9 再请教一下，题目是Write a function that gets a list of words, and identifies
xxx，这种要写读入input的部分么？ |
|
m*****n
发帖数: 2152 | 10 这要看具体RAM多大，数组多大了。
可以用bit 代表数字，INT级的数字 2^32，只要~1GB的内存就能全hash。如果内存还不
足，可以分区读入。 |
|
r****s
发帖数: 1025 | 11 option 1:
int array这个应该是比较明显的提示，用bitmap sort类似的方法。
用一个2^32长度的array，每个element保存一个1/2值(short),那么总共需要的内存是2
^32=1k*1k*1k*4=4g。开个6g的java process就可以了。
然后把两个file读一遍就可以了。
option 2:
如果内存不够，就把array分成几次，每次都读一遍file。这样的好处是避免写硬盘。
option 3；
先把file分成小文件，然后再读入。这样的问题是写硬盘。
这样解题比较balanced，不偏向任何一方。 |
|
w**a
发帖数: 487 | 12 这是一个店面后的assignment题，要求用java写，两天完成吧，我用了两天写出了第一
个版本，能work，但是code 很难看，没办法，只好那样交上去了。大侠们要是有时间
，可以写写么，让我学习一下？
======================
题目：
有一个小城市的所有饭店的菜单数据（见后），格式是CSV格式，要求写一个JAVA程序
，帮助客人找到最好的deal。
客人可以选一种或多种菜品，如果某个菜品是从某个combo里面来的，那么购买那个菜品
需要付整个combo的价格。
例子1：
input： burger tofu_log
expected: restaurantID = 2, deal price = 11.5
例子2：
input: chef_salad wine_spritzer
expected: nil(or any message notification)
***因为这两个东西不在一个店里，所以没有deal
例子3：
input: fancy_european_water extreme_fajita
expected: restaurantID = 6... 阅读全帖 |
|
g********n
发帖数: 447 | 13 店面的，应该是挂了，完全不知道要做什么
就让实现一个file class的iterator
然后已经有一个method可以读取文件每一行。
需要返回一个iterator, 返回文件的下一行。
也可能题目我没理解明白，刚开始我打算写读取文件，他又说文件很大，不能一次读入
。 |
|
s**********k
发帖数: 88 | 14 这个题和那个在很多数据里找median是一个思路
关于第一部分，可以在内存里放one million个counter
第二部分可以分段读入内存，不断缩小搜索范围 |
|
z******g
发帖数: 271 | 15 大概说一下我的理解吧：
kmp本质上就是一个state machine：你维护一个state来记录当前匹配的字符数，假设
这个state名为match。每读入一个新字符，match就会发生变化：match = transition(
match, str[i])。当match等于pattern的长度时或字符用完时，算法就结束了。可以把
这个算法想象成吃豆人，只吃不吐。
具体的实现我见过两种，一种是deterministic，可以真正做到只吃不吐；另一种是non
-deterministic，有时候得吐一个。一般大家说的都是第二种，其实第一种更好理解。
deterministic版本中，transition表是一个大小为mn的table，这里m为pattern的长度
，n为输入charset的大小（例如小写字母就是26）。叫deterministic的原因是它可以
真正做到match = transition(match, str[i])，所以可以一直前进。缺点是建表开销
大。这个版本在红书里有讲解。
non-deterministic版本就是平时大家说的建partial match t... 阅读全帖 |
|
o**********e
发帖数: 18403 | 16 【 以下文字转载自 SanFrancisco 讨论区 】
发信人: onetiemyshoe (onetiemyshoe), 信区: SanFrancisco
标 题: 面完fb,结果已经出来了，share下被拒的原因（请转jobhunting版 (转载)
发信站: BBS 未名空间站 (Wed Nov 19 21:05:36 2014, 美东)
发信人: Dreamer (不要问我从哪里来), 信区: Dreamer
标 题: 面完fb,结果已经出来了，share下被拒的原因（请转jobhunting版
发信站: BBS 未名空间站 (Tue Nov 18 20:46:44 2014, 美东)
考了下古，发现这位哥们的转贴，基本可以确认是一个人，基本可以确定这个是我被拒
的原因
同样迟到了大概5分钟，闲扯了十分钟左右，然后read4,确实很简单，但是给的题目非
常不清楚，所以完全没有考虑buffer里面留下的部分，中间我问了除了输出int,需不需
要考虑读出的字符放在哪里，被他含混过去了。自己没做过底层的东西，竟然也没有看
到这个帖子，细节基本一致，因为题目很简单，所以35分钟内... 阅读全帖 |
|
n*****5
发帖数: 984 | 17 Amplify : 做K12教育的公司
HackerRank online coding。需要自己写读入函数。有点像nearest common ancestor
with parents。 最后快一半的test case 没过，我也不知道问啥，也没搞明白怎么调
试... 就没有然后了。
MLB ： 专做baseball相关的公司，好像很大，还在扩招。
core java question, hashcode equals.
然后问了很多spring的问题。 why use spring mvc, 怎么deploy jar， container
是啥。。。
没算法，电面就挂了。
Portware: 好像做交易平台的。 电面全是core java 相关的小问题。
Diff : String , StringBuffer, StringBuilder
Serialize, deserialize, transient
final var, method, class
try catch finally. can go with only try and finally . When ... 阅读全帖 |
|
a*********i
发帖数: 86 | 18 国人哥们主面, 小印跟班. 面Backend infra
给了一道这样的题
/*
Question Description: You are to write an abstraction layer for a persistent
buffer. Provide an implementation of the following abstract class:
*/
public abstract class pBuffer {
protected final int BLOCK_SIZE = 1024;
protected final int BLOCK_COUNT = 1024;
protected byte[] buffer = new byte[BLOCK_COUNT * BLOCK_SIZE]; // A sample
1mb buffer, to be allocated in 1k chunks.
public pBuffer() {
fillBufferFromFile(); // Reads the buffer from file an... 阅读全帖 |
|
T****U
发帖数: 3344 | 19 相当于一个load balancer：
1.定位。
2.high availability。
3.局部地区大量呼入
1. 前面1-2个load balancer, 把请求分配给后面的交换机阵列，交换机根据号码，手
机信号，注册地址定位，转移到指定警察局。
2. 加几个backup
3. LRU方法读入数据库数据，一段时间内的呼叫服务就不用读数据库了
具体的可以计算一下呼入数什么的算算需要几台机器之类。 |
|
T****U
发帖数: 3344 | 20 6000读，如果用memcache，估计一两台机器做数据缓冲服务就够了，因为你不需要读入
所有数据，也就没必要做sharding了。后面mysql再搞一两个backup。
写服务也可以batch异步操作，那mysql的写也不是问题了。
长查短搞两个表在memcache就行了，mysql还是一个表，不需要同步。 |
|
k******a
发帖数: 44 | 21 题目没有说，但是总体是要求统计词频吧
可不可以这样，
先分块，每块都能够用现有内存出，统计词频，按照字母排序，输出到一个文件。
然后中间文件两两合并，合并的时候边读边写，比如A,B，相当于磁头，读入数据A,B，
如果是同一个单词的，合并结果输出，如果不同先输出字母顺序小得，再输出大得，继
续。。 这个过程用不了多少内存
可能思路上还是外部排序。 |
|
k******a
发帖数: 44 | 22 题目没有说，但是总体是要求统计词频吧
可不可以这样，
先分块，每块都能够用现有内存出，统计词频，按照字母排序，输出到一个文件。
然后中间文件两两合并，合并的时候边读边写，比如A,B，相当于磁头，读入数据A,B，
如果是同一个单词的，合并结果输出，如果不同先输出字母顺序小得，再输出大得，继
续。。 这个过程用不了多少内存
可能思路上还是外部排序。 |
|
g*******d
发帖数: 495 | 23 这个功能要求能够读入你的测试数据，并且他要有代码跑你的数据。有的题也许没来得
及做，或者测试数据复杂不好做吧，比如给来个图啥的 |
|
s********7
发帖数: 200 | 24 之前在这个版发过两次帖子，得到很多意见，也因此转了CS
一亩三分地有好多提供内推的帖子，发了10多个，只3个回复的。
先问一个问题，我现在身份是统计的，做cs的实习有没有问题？
自我介绍：
我叫宋洋，本科学的金融学，罗格斯大学二年级硕士，现在希望找个16年的暑期实习，
希望做码农类和数据科学类的工作，我的专业是统计学，因为觉得计算机的机会多自己
又很喜欢，所以下定决心在修计算机的双学位，14秋季入学，因为双专业需要修课比较
多，所以预计16年末毕业。
会用R,SAS,JAVA,PYTHON,SQL，水平是自己看书学习，上公开课，加上做学校的课堂作
业。我有着很不错的统计学基础，例如概率论，回归分析，数据分析，和多元回归分析
，统计推断，做过相关10多个项目。计算机方面在Udacity上学的java和python，做了
上面的作业和项目，平时做AI 和数据库作业时候也会用到这两种语言，上过算法课，
懂得DFS,BFS,A*,Dijkstra等算法，并打算这个冬天刷leetcode的题。统计学课堂上做
过很多应用项目，都需要用R，SAS编程读入输出数据，画图表及分析和写报告。英语听
说能力... 阅读全帖 |
|
z****e
发帖数: 54598 | 25 有一个问题，你怎么知道票务信息都在内存里？
用常识猜测，都在db里面放着的可能性比较大
启动时候把所有票务信息读入内存，这会是多么麻烦的一件事
也就是硬盘上的数据结构从一开始就可能很复杂
不是说你想怎么定义就可以怎么定义的
估计有一堆fk,pk这些约束 |
|
z****e
发帖数: 54598 | 26
现在的票在数据库里面
全部读入内存？
老魏那个单机后来连udp都来了
安全彻底不管了吧？
这种系统it审计这一关直接枪毙 |
|
z****e
发帖数: 54598 | 27
你先需要把票的数据读入内存
否则抢什么？内存里空无一物 |
|
z****e
发帖数: 54598 | 28
一个最基本的问题
对现有系统了解多少？
铁道部有自己的it系统，这个显然吧？不会有人认为现在铁道部还在用手工和纸张作业
吧？
其次政府部门，比如存身份证的，也有自己的一套系统
最后银行也有自己的一套系统，中国400多家银行
每一家都有自己的it系统，12306的流程基本上是横跨了这几个全国性的系统
这是非常麻烦的一件事，怎么总有人认为简单呢？
而且纷纷提出自己的方案，还是先把需求定了再说吧
现有数据如何拿到都是一个大问题
单机最搞笑，上来就是内存，怎么可能嘛
数据显然是存在db里面的，要先全部读入内存？
疯了差不多 |
|
发帖数: 1 | 29 哈哈，这种问题很经典呀，malloc应该会返回地址，只是在访问oom的地址时，系统会
有junk data读入，系统长期就会错误。
或者有一些coverity之类的工具查看oom |
|
发帖数: 1 | 30 10M的string就内存放不下了？内存真小。
单机的话分段从磁盘读入，不重复的写入磁盘，再读？单机好像不能并行了，因为磁针
没法并行读。
多机的话每台处理一点，然后merge. |
|
t*****m
发帖数: 254 | 31 你这就有点落伍了。现在的电表，水表和煤气表大部分已经智能化了，不管装在哪儿，
抄表的开个车在街上过去就把附近街区的数据读入电脑了。最差的也就是在房子面前晃
悠一下就可以了。 |
|
l****o
发帖数: 924 | 32 仔细看，按比例报的。
比如你收入十万，在A州20%，B州30%，C州40%，
turbo tax读入的数都是10万，然后根据各州的公式算出来一个percentage
A州 0.2, B州 0.3.
然后总收入乘系数是你的实际按税额 |
|
p*******g
发帖数: 2682 | 33 可能是你使用电脑的打印机设置的问题，我没遇到过你说的情况。现在在线160不是都
可以存起来，你大不了重新读入再打印，现调调打印参数设置吧，实在不行换个电脑试
试 |
|
H*******r
发帖数: 3143 | 34 跟本版关系不太大哈
这两天想把mac上的数据倒到PC上，才发现家里的移动硬盘都不行。。。
WD的my book 在mac上能用，到pc不识别了，查了一下，想在PC上用得先格式化，那我
的数据就没了
PC上能用的移动硬盘插到mac上，能识别，能读出，可是不能读入。。
两者的格式似乎是不一样的，是不是非得把文件转换格式才行？
或者有没有什么移动硬盘能兼容两者的，求推荐。。。 |
|
j******o
发帖数: 20 | 35 前段时间刚拿到签证，我没有读入关的帖子，就我给我妈买的单程机票来美。后来得知
有往返机票可以少很多麻烦，就准备买一张返程的单程票。请问怎样买refundable的票
？我发现priceline上面有trip insurance,是不是可以通过花29块买个保险，然后就可
以refundable了？请问还有其他买refundable票的方式吗？ |
|
p*******n
发帖数: 143 | 36 休眠（Hibernate）
将系统切换到该模式后，系统会自动将内存中的数据全部转存到硬盘上一个休眠文
件中，然后切断对所有设备的供电。这样当恢复的时候，系统会从硬盘上将休眠文件的
内容直接读入内存，并恢复到休眠之前的状态。这种模式完全不耗电，因此不怕休眠后
供电异常，但代价是需要一块和物理内存一样大小的硬盘空间（好在现在的硬盘已经跨
越TB级别了，大容量硬盘越来越便宜）。而这种模式的恢复速度较慢，取决于内存大小
和硬盘速度，一般都要1分钟左右，甚至更久。 |
|
n*******n
发帖数: 7628 | 37 【 以下文字转载自 Military 讨论区 】
发信人: nixonixon (laoni), 信区: Military
标 题: **海关总署公告2004年第7号 (关于对20种商品停止减免关税和进口环节增值税)
发信站: BBS 未名空间站 (Tue Oct 26 15:54:41 2010, 美东)
海关总署公告2004年第7号(关于对20种商品停止减免关税和进口环节增值税)
2005-08-31
【法规类型】海关规范性文件 【内容类别】关税征收管理类
【文 号】海关总署公告2004年第7号 【发文机关】海关总署
【发布日期】2004-03-12 【生效日期】2004-04-01
【效 力】[有效]
【效力说明】
中华人民共和国海关总署公告
2004年第7号
根据《国务院批转关税税则委员会、财政部、国家税务总局关于第二步清理关税和进口
环节税减免规定的意见的通知》（国发〔1994〕64号），对20种商品，自1995年1月1日
起，无论任何地区、企业、单位和个人，以任何贸易方式进口，一律停止减免关税和进
口环节增值税。
根据《财政部关于重新明确不予减... 阅读全帖 |
|
c******f
发帖数: 2622 | 38 这里公布一个新的 iPhone App --- Fatwallet, 方便大家用 iPhone 访问 Fatwallet
的 Hot Deals 论坛, 这是 1.0 版本，功能包括:
1) 用TableView 读入 Hot Deals 的帖子列表
2) Sorting 功能，可以一键开关是否用帖子的 Rating 或是 Last reply 来排序帖子
3) 不同Ranking 的帖子使用不同的颜色显示
4) 书签功能，可以将当前的帖子加入书签，方便今后查看
5) 一键发送当前Deal 给Contact
6) 方便的帖子浏览按键 "Next","Previous","Last"等，方便使用iPhone 浏览帖子
1.0 版本已经提交给Apple审核，审核通过之后将免费让大家下载使用, 更多的功能准
今后添加
App 的截图如下: |
|
j******t
发帖数: 22 | 39 不明白你说的工具指什么? 编辑器?其实任何文本编辑器都 可以.我用的是Visual
Studio2008. 主要是方便管理Project.网页HTML/CSS全部是手写的,没有使用任何工具
生成.(我其实非常讨厌那些所谓WYSIWYG编辑器,总是生成一大堆杂乱无章的代码,以后
要修改都很困难).功能方面JAVASCRIPT来配合,数据都是订阅的新闻种子.
其实整个新闻网只有index.html和另外三HTML摸板文件是提前格式化好的,新闻数据部
分我写了一个C#程序,定时根据摸板文件进行更新. AJAX用来定时更新顶部的名人名言,
这个是从数据库中随机读入的. 我在数据库里储藏了大约800条(如果没有数据库 这个
其实可以用XML文件存储,比如下面这个连接中的留言部分,实际上就是保存在服务器端
XML文件中. http://www.jswidget.com/blog/syntax_highlight_javascript.html 我个人比较fan AJAX :) |
|
b***i
发帖数: 3043 | 40 【 以下文字转载自 BuildingWeb 讨论区 】
发信人: bihai (学得不好), 信区: BuildingWeb
标 题: java网站写好，如何提速？
发信站: BBS 未名空间站 (Sun Dec 23 00:53:28 2012, 美东)
首页是动态生成，4kB左右，服务器大约50毫秒返回文件，首页文件包括8个资源，其中
jQuery一个库，Raphael一个库，一个背景图150K，一个网站logo，两个小图标，两段
音乐。音乐搞成后期jQuery的load()之后读入。
清除ie的cache后，发现大约需要2秒多钟网页才能出现。我的背景是黑色，ie会先画出
白色，然后2秒后转换成黑色。这个时间是否合理？能否改进？谢谢！
对了，是不是javascript的库可以压缩？ |
|
a*****h
发帖数: 7463 | 41 是不是只有CD版的turbotax才可以直接读入scottrade的 gain/loss文件（买入和卖出
都已经统计好了的）？因为2009年交易很多次，还有washsale的问题。谢谢 |
|
rh
发帖数: 3901 | 42 不知道scotttrade, 我用TD是这样的
Turboxtax Online可以读入所有交易，但是不会计算cost basis和wash sale
只有CD版的turbotax才能完美的导入和计算wash sale |
|
b*******e
发帖数: 24532 | 43 村长，你那个是应该有个县城的软件魔板，只要读入文字吧？
呵呵 |
|
|
n***i
发帖数: 4627 | 45 再问一下，如果问从option house下载交易记录，然后hr block有没有可能读入文件？ |
|
m***x
发帖数: 55 | 46 看过。
1 opentaxsolver有gui，MyTax没有，但是可以从文件读入w2之类。
2 opentaxsolver只有2011版。全部是C的code，可读性一般。MyTax都是C++的code，复
用性很好。比如GetExemption（）就是虚函数
float Year2012::GetExemption()
{
return XXXX.0;
}
float Year2011::GetExemption()
{
return XXXX.0;
}
主控模块
void TaxYear::Run(void)
{
total_income = wage_w2 + taxable_interest;
adj_gro_income = total_income;
CheckScheduleA(); // for deduction
exemption_total = deduction_num * exemption;
taxable_income = adj_gro_income - deduction - exemption_... 阅读全帖 |
|
r****t
发帖数: 10904 | 47 1. 从什么文件读入 w2? 如何准备这些文件？
2. 看来主控模块算收入的部分有点过于简化了啊
刚刚发现了 excel1040.com， 你看看也许有启发，我今晚来试试填一次（今年的税我
都填了4遍了，估计还要再填几遍） |
|
r******l
发帖数: 10760 | 48 能否读入PDF表格？似乎连turbotax都没有这个功能。
易。 |
|
r****t
发帖数: 10904 | 49 Turbotax 从 ADP/W2express import, 需要填三个空。
TaxAct 只能从 W2express import, 或者是从 pdf 文件读入，
这些都是要收费的版本才有的功能。
我试过pdftotext -layout 来转 w2 pdf, 只能拿到 employer 填进去的数字，税表上
面原来有的内容是 scan 进去的是图片。
话说 ADP 有没有什么 API 可以用？我连注册都不让，需要 invitation code. |
|
r******l
发帖数: 10760 | 50 TurboTax我就是用的收费版，但是也不能读PDF文件。我的Charles Schwab明明有1099
，但是他就是找不到。我自己下载了PDF他又不能读，只能我手工输入。
现在几乎所有地方的W-2, 1099都有PDF版，读PDF应该也不是什么难事，真不知道
TurboTax为什么不做。我觉得open source版本与其让用户输入用户名和密码登陆网站
，还不如让用户下载PDF然后读入更好。毕竟用户未必信任你的软件，不一定肯把用户
名和密码给你。 |
|
