h**k
发帖数: 662 | 1 我有这么一个问题，现有一个stored procedure对一个table进行操作，table是
million record,stored procedure比如有100个sql，进行计算和更新table的数据。
然后java 来call这个stored procedure。
新的要求是stored procedure将要不存在，这部分逻辑由java来处理。所以很自然有两
个办法。
1. 把100个sql整理出来到java side，由java来一个个call.在速度和简易程度上都非
常好。
2. 把100个sql的逻辑放到java code里。loop table million record,对每个row进行
计算，然后再把结果从java 存回去。这么大的数据来回走一趟速度肯定很慢，整合sql
的逻辑也是很费时间的。
我很自然要用1的办法来做，大家看看有什么意见没有。谢谢 |
|
D********g
发帖数: 650 | 2 【 以下文字转载自 Database 讨论区 】
发信人: DataMining (代它慢拧), 信区: Database
标 题: 请问JDBC连SQL server的connect reset问题如何解决？
发信站: BBS 未名空间站 (Mon Dec 5 00:32:16 2011, 美东)
stack trace 如下：
SQL ERROR:Sql server generic error (internal) 4!Connection reset;sql state:
08S01;stacktrace: com.microsoft.sqlserver.jdbc.SQLServerException:
Connection reset at com.microsoft.sqlserver.jdbc.SQLServerConnection.
terminate(SQLServerConnection.java:1352) at com.microsoft.sqlserver.jdbc.
SQLServerConnection.terminate(SQLServerConne... 阅读全帖 |
|
r*****3
发帖数: 143 | 3 中文名: SQL Server DMVs 实战
原名: SQL Server DMVs in Action: Better Queries with Dynamic Management
Views
作者: Ian W. Stirk
图书分类: 软件
资源格式: PDF
版本: 英文文字版
出版社: Manning
书号: 9781935182733
发行时间: 2011年
地区: 美国
语言: 英文
简介:
内容介绍：
SQL Server DMVs in Action shows you how to obtain, interpret, and act on the
information captured by DMVs to keep your system in top shape. The over 100
code examples help you master DMVs and give you an instantly reusable SQL
library. You'll also learn to use Dynamic Management Functio... 阅读全帖 |
|
e****e
发帖数: 2740 | 4 【 以下文字转载自 JobHunting 讨论区 】
发信人: evence (硬猫), 信区: JobHunting
标 题: Java+SQL or C++/SQL
发信站: BBS 未名空间站 (Tue May 15 14:00:45 2012, 美东)
learning SQL
and want to learn a programming language, which one is better java or C++
for a market analyst |
|
|
t**i
发帖数: 387 | 6 【 以下文字转载自 Statistics 讨论区 】
发信人: toni (toni), 信区: Statistics
标 题: 一个SAS sql的问题
发信站: BBS 未名空间站 (Mon Dec 30 16:18:39 2013, 美东)
刚接触SAS sql,有个问题求教:
现有2各表employees和bonus
employees表有列name, department, base_salary
bonus表有列year, department, bonus
现要用sql实现:返回employees表中所有的obs,用employees表中的department和year(
2012,2013)查询bonus表的bonus，给employees加上2列salary2012, salary2013
以下是我现有的一些code(不能同时返回2012和2013的total salary)
data employees;
input name $ dep $ base_salary;
datalines;
Charles Sales 70000
James HR 8000... 阅读全帖 |
|
l******9
发帖数: 579 | 7 【 以下文字转载自 JobHunting 讨论区 】
发信人: light009 (light009), 信区: JobHunting
标 题: error export sql table from IBM netezza database to a file
发信站: BBS 未名空间站 (Fri Nov 28 16:33:15 2014, 美东)
I would like to export a data table from IBM netezza SQL daatbase in Aginity
workbench to a txt file on win 7.
I called The sql query from C# in visual studio 2013:
CREATE EXTERNAL TABLE 'C:\path\my_name.txt'
USING
(
Y2BASE 2000
ENCODING 'internal'
REMOTESOURCE 'ODBC'
E... 阅读全帖 |
|
z*******3
发帖数: 13709 | 8
sql是一个language
不存在p不p的问题
你应该先把sql和db分开
sql是一个脚本语言
不是db，一般db包括有script engine
sharding不是sql的一部分 |
|
z*******3
发帖数: 13709 | 9
哪有这种扯蛋的
nosql (db) vs relational db
从来没听说过sql vs nosql的说法
sql作为脚本语言的份量很重
一般产品无法取代起地位
就是nosql比如c*什么也有类似的ql
比如cql，而且nosql也在逐步增加sql engine
比如spark sql |
|
z*******3
发帖数: 13709 | 10 速度是一个考虑
可读性是另外一个考虑
要平衡，sql处理数据还凑合
但是一旦涉及复杂的商业逻辑
sql就开始蛋疼了，还有sql本身有lockin的问题
不同db的sql不一样 |
|
l******9
发帖数: 579 | 11 【 以下文字转载自 JobHunting 讨论区 】
发信人: light009 (light009), 信区: JobHunting
标 题: error export sql table from IBM netezza database to a file
发信站: BBS 未名空间站 (Fri Nov 28 16:33:15 2014, 美东)
I would like to export a data table from IBM netezza SQL daatbase in Aginity
workbench to a txt file on win 7.
I called The sql query from C# in visual studio 2013:
CREATE EXTERNAL TABLE 'C:\path\my_name.txt'
USING
(
Y2BASE 2000
ENCODING 'internal'
REMOTESOURCE 'ODBC'
E... 阅读全帖 |
|
z********c
发帖数: 1268 | 12 一个recruiter发给我的, 好象找的很急, 跟actuarial science没什么关系, 权当参考了.
It is located in New York, NY.
Position: Technical Analyst
Overview:
The Technical Analyst will be responsible for enhancing, maintaining and
supporting a variety of software applications (both off the shelf and in‐
house apps) primarily within Royce & Associates’ Marketing & Communication
Department that allow the business users to constantly move forward.
This position requires a candidate who is detail oriented, highly organized
and can... 阅读全帖 |
|
c**********6
发帖数: 26 | 13 渴望求职？转行？进修？
申请BI工作有面试无结果？我们可以你帮助您！
成功只差一步！
祝贺国内医学博士晶女士，住家多年后参加培训已成功获得第一份商业智能好工作！
祝贺美MBA丽女士，住家多年后已成功获得第一份商业智能好工作！
祝贺美化学博士陆先生，已成功转行获得高薪稳定的商业智能BI工作！
USA BI Training Star 面向全美各地；在线商业智能职业培训 (773) 982 - 8168
我们的培训给希望求职转行进修的朋友一个新的选择。
短平快职业培训课程：
• SQL Server (SQL, SSIS, SSRS, SSAS)
• Oracle
• SAS 9.x (based, advanced, workshop/project in bank/insurance)
• ETL Informatica PowerCenter Developer 9.x
• IBM Cognos 10.x,
【报名电话】（773） 982 - 8168
【报名电邮】[email ... 阅读全帖 |
|
l******9
发帖数: 579 | 14 【 以下文字转载自 Statistics 讨论区 】
发信人: light009 (light009), 信区: Statistics
标 题: SQL check likeness between two large tables
发信站: BBS 未名空间站 (Tue May 6 15:38:29 2014, 美东)
I need to check the likeness between two data tables on SQL. I am working on
Aginity Workbench for Netezza on Win 7.
The tables are very large. One of them has 100 million rows and 4 columns;
another one has 1500 million rows and 3 columns.
Example, table1
ID1 ID2 ID3 Value
xxxx xxxxxx xxxxxxxx xxx.xxxxxx ... 阅读全帖 |
|
l******9
发帖数: 579 | 15 【 以下文字转载自 Database 讨论区 】
发信人: light009 (light009), 信区: Database
标 题: SQL combine two tables into one table and add a new column
发信站: BBS 未名空间站 (Thu May 8 14:54:50 2014, 美东)
I need to add a column with an int value to the result from a subquery on
SQL.
It is Netezza SQL.
SELECT *
FROM
(
SELECT *
FROM table1
JOIN
table2
ON table1.id1 = table2.id1
GROUP BY table1.id2, table2.id3
) AS tt_a # here, I need to add a new column to tt, c... 阅读全帖 |
|
l******9
发帖数: 579 | 16 【 以下文字转载自 Statistics 讨论区 】
发信人: light009 (light009), 信区: Statistics
标 题: SQL check likeness between two large tables
发信站: BBS 未名空间站 (Tue May 6 15:38:29 2014, 美东)
I need to check the likeness between two data tables on SQL. I am working on
Aginity Workbench for Netezza on Win 7.
The tables are very large. One of them has 100 million rows and 4 columns;
another one has 1500 million rows and 3 columns.
Example, table1
ID1 ID2 ID3 Value
xxxx xxxxxx xxxxxxxx xxx.xxxxxx ... 阅读全帖 |
|
l******9
发帖数: 579 | 17 【 以下文字转载自 Database 讨论区 】
发信人: light009 (light009), 信区: Database
标 题: keep group of values of SQL procedure in one table
发信站: BBS 未名空间站 (Sat May 24 09:48:08 2014, 美东)
I need to print out a group of values from a procedure on SQL server 2008.
If I use select , it generated a distinct table into the result part of SQL
server 2008 managemetn studio every time the procedure is called.
i need to call the procedure in a loop. I want to print the values into one
table.
Thx!
while
begin
my_proce... 阅读全帖 |
|
l******9
发帖数: 579 | 18 I have to debug a store procedure on SQL server 2008 R2 on Microsoft sql
studio.
In my SQL query, I have to call two store procedures :
EXEC @return_value = [my_database].[dbo].[store_procedure1]
in [my_database].[dbo].[store_procedure1], I need to call another procedure:
execute @return_status = store_procedure2
in debugging mode of SQL server management studio, I can step into [store_
procedure1] but, I cannot step into [store_procedure2].
Any help would be appreciated. |
|
l******9
发帖数: 579 | 19 am trying to access SQL server 2008 R2 from Eclipse pydev ( python 3.2 ) on
win7 .
I need to create a table on database.
The code can be run well. But, I cannot create tables in the database. If I
print the sql string and run the query from SQL server management studio, no
problems.
import pyodbc
sql_strc = " IF OBJECT_ID('[my_db].[dbo].[my_table]') IS NOT NULL n"
sql_strc1 = " DROP TABLE [my_db].[dbo].[my_table] n"
sql_stra = " CREATE TABLE [my_db].[dbo].[my_table] n"
sql_stra1 = "(n"
sql_stra... 阅读全帖 |
|
m*******t
发帖数: 11 | 20 I mainly write SQL query in SAS, so anybody out there can recommend a good
book for SQL? I hope it can cover all basic knowledge of SQL.
I do have an electronic book titled "SQL for dummies", but just don't like
it.
Thanks in advance. |
|
m*****o
发帖数: 259 | 21 看到好多job requirement上都有提到 SQL，貌似 SAS 和SQL 是不能分家的。
有类似SAS certificate一样的SQL certificate 吗？
是不是考了 SAS ADV 就可以说明有一定的SQL 能力了？
Thanks. |
|
P****D
发帖数: 11146 | 22 假设楼主一点基础都没有，推荐Proc SQL: Beyond the Basics Using SAS by Kirk
Paul Lafler
下载：http://ifile.it/4ri18h
建议先略读一遍，大致弄懂SQL的语法规则，更重要的是对SQL能干什么心中有个数。以
后在工作中遇到问题，就心里有底“这个事SQL应该能干”，然后再看这书，照抄具体
code。 |
|
b******2
发帖数: 654 | 23 SAS比较熟， 就是不懂SQL， 发现找工作挺重要的， 想系统学一下，
一般找工作要求知道SQL,是proc SQL， 还是什么单独的SQL？
请高手推荐教材或者manual，万分感谢！！ |
|
M*****t
发帖数: 85 | 24 这周去onsite，data analyst，要求会MS SQL。 而且面试之前会有个analytics test
，完全没有主意会考什么。。。大家给说说看ms sql里面basic的东西有什么呢？（我
在sas里用过sql，没用过ms sql）
谢谢。。。 |
|
p********a
发帖数: 5352 | 25 语法基本一样但是略微不同。比方说SAS的某些FUNCTION在PROC SQL是不能用的，数据
类型不一样。SAS基本上就是在SQL上发展出来的一门语言，如果你学过SQL，你会发现
SAS是在SQL的基础上写的。 |
|
d*******o
发帖数: 493 | 26 新头像，新气象。谢谢捧场，哈哈。
"你能解释下为啥Hash table操作大dataset速度快么？"
这个像Microsoft, Amazon首轮面试题。像linked list， array，tree, hash table之
间的比较，我也不知道,答出来估计要看看数据结构的书了。
"up to 16 tables join和many-to-many join"
如果front end是relational database，多表join还是很有用的。
many-to-many join就更重要了。比如healthcare行业，一个人有多个claim，一个
claim table里可能有million个claim。只有Proc sql能做 many-to-many join。
"如果有5个dataset，每个有10millions obs，1000个变量,只用data step和sql,哪种
方法最快?"
个人觉得，其实merge大数据，不管哪种方法，最耗资源的一步是sort. 就像找CS的工
作面试肯定要问bubble sort/selection sort/quick sort... 阅读全帖 |
|
f**********t
发帖数: 1001 | 27 有点疑惑。本科时学过数据库，不过都忘光了，只记得那些select, order by,
where啥的。实验做的蛮简单，也就从数据里面select、join一下。再就是看了点
SAS的SQL。
有些公司的statistical data analyst要求要会SQL。在想面试时SQL问题一般
问些啥？需要怎么准备呢？另外欢迎推荐一下SQL的好书。
非常感谢！ |
|
p********a
发帖数: 5352 | 28 SAS/SQL是不够用的。我有次匆忙上阵考SQL，结果大败而归。SQL还是需要系统的学习
的。网上有很多资料吧。以前似乎有人列过
我自己是读了SQL BIBLE的，觉得不是很好。书太厚就没力气读了。我觉得看别人写的
QUERY， SP，然后再查书会提高快些。很多FUNCTION，光读MANUAL没用，需要看别人怎
么用。 |
|
s******r
发帖数: 1524 | 29 you assume everyone know SQL,
knows how to translate the logic into SQL
knows how to write SQL efficiently
knows how to translate logic to SQL efficiently
knows the difference between different platform
......
Even manual, it takes time to read.
SAS 读一读‘little sas book'就好了，其实interview很无聊 |
|
l****u
发帖数: 199 | 30 蛮多的公司专门提到要会SQL，这个和SAS的SQL有多大的区别啊？
有什么好的资料能补一下SQL的课吗？
Thanks! |
|
d******e
发帖数: 551 | 31 SAS可以做统计分析，相对灵活（可以datastep接着proc sql然后data setp，还容易写
micro）
SQL比较能支持大的数据处理，特别是有强的数据系统的情况下（Teradata, Oracle
SQL, MS SQL server）。如果数据相对不那么大，那mySQL是free的，SAS还挺贵的 |
|
h******n
发帖数: 232 | 32 我个人觉得哈，SQL比SAS,R啥的都简单。google一个sql的syntax背下来，然后wiki一
下看看那几个join，面试应该就够撑得住了。工作以后有实际应用了，两三天就搞定了。
proc sql跟sql很接近。 |
|
s******r
发帖数: 1524 | 33 Are you kidding? After years with SQL, I still find lots of stuff to learn
with SQL.
proc sql; is similar to sql at the very basic base. It may be OK for an
entry level position. It is hard to imagine you can get a senior position
with such answer.
了。 |
|
n*****n
发帖数: 3123 | 34 sql是个标准。SAS proc sql或者microsoft SQL server都是SQL的实现。核心基本上一
样，一些细节的地方会有些差别。既然你在找统计的工作，还是主要看看SAS上的吧. |
|
q**j
发帖数: 10612 | 35 sql是join tables的算法。我的感觉。
这个算法和sas merge用的算法和规矩就很不一样。
但是sas sql和ms sql, my sql的核心算法和概念是一样的。 |
|
a*****3
发帖数: 601 | 36 要是碰上老印 人肯定自信的说自己是database developer. 我曾经见识过一个老印，
无比自信地说SQL就是P/L SQL.
I'm100% 速尔(sure)SQL 就是P/L SQL !! |
|
m***q
发帖数: 96 | 37 不知道他们用的是什么数据类型，job description里没有提到
只是说要求SQL
我只会SAS的SQL。。。
请问SAS/SQL 能够应付多少SQL的问题。。。
谢谢 |
|
s******r
发帖数: 1524 | 38 也没加什么啊。公司，组都能猜出点来。
SAS sql 和SQL架构相似，但function,memmory,connection有很多不同。我很喜欢用
SAS proc sql; connect to (
pure sql); |
|
p****e
发帖数: 165 | 39 请教一下大家，我想把csv文件导入R, 然后对此csv文件用SQL来选取不同的subset, 调
用sqldf package, R就一直在load, 奇慢无比，最后force quit了。
d = read.csv("abc.csv")
newd <- sqldf("select * from d where day = '2012-10-01'", row.names=TRUE)
于是R就卡住了。
我再想是不是需要把csv转化成data frame然后才可以在上面query, 于是就又尝试了这
个：
d = read.csv("abc.csv")
df <- as.data.frame(d)
newd <- sqldf("select * from df where day = '2012-10-01'", row.names=TRUE)
继续卡。。。force quit了
继续尝试，想是不是可以用read.csv.sql，
d <- read.csv.sql("abc.csv", eol "\r")
还是卡。。。force quit了。。。
请大牛们帮帮忙，我如果想用sqldf，... 阅读全帖 |
|
s******3
发帖数: 253 | 40 是SAS Proc sql, 听说和Oracle的sql基本一样，我没有机会接触到oracle的sql。
所以SAS proc sql里不可以用macro吗？我就是比较好奇，谢谢！！！ |
|
E**********e
发帖数: 1736 | 41 sas里的 proc sql是不是只是sql在sas里的部分应用？
sas自学了。 想着最好再学专门的sql，最好也可以考个证。 找工作时发现，很多公司
同时也要求会sql。
谢谢
。 |
|
y********0
发帖数: 638 | 42 sas里的sql只是sql server当中很少的一部分,你如果要考MCSE, 要过5门课,
这个sql是第一门,最基础的. 真要把这个证考下来,并用它找工作的话.
走的完全就是另外一条路了,跟统计没什么大的关系.
软件的话,可以用微软sql server 2008, 网上有下载的. 相关的书也很多. |
|
D*********Y
发帖数: 3382 | 43 以前用SAS会用到 sql procedure。后来发现有些工作要求会SQL，那我想系统地学一学
SQL，大概会花个多少时间呢？可以现在把SQL放到简历上去吗？
最近收到一些recruiter的email要招SAS developer。这是什么样的职位呢？我有6年用
SAS 的经验，是处理数据，跑program的。这样的水平能做SAS developer吗？
谢谢。 |
|
s*****d
发帖数: 267 | 44 能不用Proc SQL 的，就不要使用Proc SQL. 再说一边，所有的问题都可以使用Data
Step解决
以下方法绝对比使用Proc SQL 速度快，而且你的数据越多，速度上的差异越快。你如
果有50万条数据，Proc SQL 得解上一天才能给你结果。使用Data Step可能只要10几
分钟。不信你试试
请给包子
data result (drop=exist);
set youridlist;
/* define a hash for quick lookup */
if _n_=1 then do;
declare hash myhash;
myhash.definekey('id');
myhash.definedata('exist');
myhash.definedone();
end;
if myhash.find() ne 0 then do;
/* this is the first time that we see an id */
... 阅读全帖 |
|
l******9
发帖数: 579 | 45 【 以下文字转载自 Database 讨论区 】
发信人: light009 (light009), 信区: Database
标 题: SQL combine two tables into one table and add a new column
发信站: BBS 未名空间站 (Thu May 8 14:54:50 2014, 美东)
I need to add a column with an int value to the result from a subquery on
SQL.
It is Netezza SQL.
SELECT *
FROM
(
SELECT *
FROM table1
JOIN
table2
ON table1.id1 = table2.id1
GROUP BY table1.id2, table2.id3
) AS tt_a # here, I need to add a new column to tt, c... 阅读全帖 |
|
l******9
发帖数: 579 | 46 【 以下文字转载自 Database 讨论区 】
发信人: light009 (light009), 信区: Database
标 题: keep group of values of SQL procedure in one table
发信站: BBS 未名空间站 (Sat May 24 09:48:08 2014, 美东)
I need to print out a group of values from a procedure on SQL server 2008.
If I use select , it generated a distinct table into the result part of SQL
server 2008 managemetn studio every time the procedure is called.
i need to call the procedure in a loop. I want to print the values into one
table.
Thx!
while
begin
my_proce... 阅读全帖 |
|
h*****4
发帖数: 47 | 47 Data step 能解决的没必要用sql，不让你用的原因是用sql有些issue不会显示在log里
。而且在 batch里run到你又臭又长的含sql的程序，会很慢。有人QC你的东西或者take
over你的work会默默诅咒你…当然除非在用SQL是最佳选择的时候… |
|
发帖数: 1 | 48 最近想学mySQL，自己写SAS就非常喜欢用PROC SQL所以算是有不错的基础，请问PROC
SQL和SQL差别大么。要如何快速学习mySQL呢？我看很多JOB DESCRIPTION上要求SQL，
想快速掌握到能过一个平均难度的面试的程度，谢谢！ |
|
z*******3
发帖数: 13709 | 49 不高
你不是dba
sql了解基本的语法就好了
sql比较恶心的是写store procedure的时候
会比较复杂，但是sp是属于上个世纪的产物
sparksql这些都不难，其实都没有涉及复杂的sql概念
而且sql是有标准的，在全面兼容标准之前
不会搞得太恶心，私货不会太多 |
|
z*******3
发帖数: 13709 | 50 不高
你不是dba
sql了解基本的语法就好了
sql比较恶心的是写store procedure的时候
会比较复杂，但是sp是属于上个世纪的产物
sparksql这些都不难，其实都没有涉及复杂的sql概念
而且sql是有标准的，在全面兼容标准之前
不会搞得太恶心，私货不会太多 |
|
