So Tired !_! 逆水行舟, 不进则退!

15Jun/10

SQL Server与Access、Excel的数据转换(导入导出)

Posted by Nick Xu

熟悉SQL SERVER 2000的数据库管理员都知道,其DTS可以进行数据的导入导出,其实,我们也可以使用Transact-SQL语句进行导入导出操作。在 Transact-SQL语句中,我们主要使用OpenDataSource函数、OPENROWSET 函数,关于函数的详细说明,请参考SQL联机帮助。 利用下述方法,可以十分容易地实现SQL SERVER、ACCESS、EXCEL数据转换,详细说明如下:
一、SQL SERVER 和ACCESS的数据导入导出
常规的数据导入导出:
使用DTS向导迁移你的Access数据到SQL Server,你可以使用这些步骤:
1在SQL SERVER企业管理器中的Tools(工具)菜单上,选择Data Transformation
2Services(数据转换服务),然后选择 czdImport Data(导入数据)。
3在Choose a Data Source(选择数据源)对话框中选择Microsoft Access as the Source,然后键入你的.mdb数据库(.mdb文件扩展名)的文件名或通过浏览寻找该文件。
4在Choose a Destination(选择目标)对话框中,选择Microsoft OLE DB Prov ider for SQL Server,选择数据库服务器,然后单击必要的验证方式。
5在Specify Table Copy(指定表格复制)或Query(查询)对话框中,单击Copy tables(复制表格)。
6在Select Source Tables(选择源表格)对话框中,单击Select All(全部选定)。下一步,完成。
Transact-SQL语句进行导入导出:
1. 在SQL SERVER里查询access数据:
Select * FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0','Data Source="c:\DB.mdb";User ID=Admin;Password=')...表名
2. 将access导入SQL server
在SQL SERVER 里运行:
Select * INTO newtable FROM OPENDATASOURCE ('Microsoft.Jet.OLEDB.4.0',
'Data Source="c:\DB.mdb";User ID=Admin;Password=' )...表名
3. 将SQL SERVER表里的数据插入到Access表中
在SQL SERVER 里运行:
insert into OpenDataSource( 'Microsoft.Jet.OLEDB.4.0', 'Data Source=" c:\DB.mdb";User ID=Admin;Password=')...表名
(列名1,列名2)
select 列名1,列名2 from sql表

实例:
insert into OPENROWSET('Microsoft.Jet.OLEDB.4.0', 'C:\db.mdb';'admin';'', Test)select id,name from Test Insert INTO OPENROWSET('Microsoft.Jet.OLEDB.4.0', 'c:\trade.mdb'; 'admin'; '', 表名)
Select * FROM sqltablename

二、 SQL SERVER 和EXCEL的数据导入导出
1、在SQL SERVER里查询Excel数据:
Select * FROM OpenDataSource('Microsoft.Jet.OLEDB.4.0','Data Source="D:\xiangqu\abc.xls";User ID=Admin;Password=;Extended properties="Excel 8.0;HDR=Yes;IMEX=1;"')...[唯一料件$]

注:
1.这条语句是在SQLServer查询分析器中执行,并且要选择好数据库,否则会把要导入的数据往别的数据库中导了。
2.Table08是数据导入后在SQLServer中的表名,属于新建,所以请确认在导入数据前数据库中没有该表名,否则会提示已存在同一表名。
3.Data Source,不要连在一起写,中间有一空格。
4.E:\1.xls,为Excel所在的绝对路径和数据库名。
5.Excel 5.0,根据不同的Excel版本写5.0或8.0或其它。
6.IMEX=1,是转换成文本输入的意思,非常重要,如果没有,就跟你直接导入效果一样。
7.Sheet1是表名,千万别看到语句中有$就在表名后加上$,因为$是语句要加的,别画蛇添足。
下面是个查询的示例,它通过用于 Jet 的 OLE DB 提供程序查询 Excel 电子表格。
Select * FROM OpenDataSource ( 'Microsoft.Jet.OLEDB.4.0','Data Source="c:\Finance\account.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...xactions
2、将Excel的数据导入SQL server :
Select * into newtable FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0','Data Source="c:\book1.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...[Sheet1$]
实例:
Select * into newtable FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0','Data Source="c:\Finance\account.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...xactions

3、将SQL SERVER中查询到的数据导成一个Excel文件
T-SQL代码:
EXEC master..xp_cmdshell 'bcp 库名.dbo.表名out c:\Temp.xls -c -q -S"servername" -U"sa" -P""'
参数:S 是SQL服务器名;U是用户;P是密码
说明:还可以导出文本文件等多种格式
实例:EXEC master..xp_cmdshell 'bcp saletesttmp.dbo.CusAccount out c:\temp1.xls -c -q -S"pmserver" -U"sa" -P"sa"'
EXEC master..xp_cmdshell 'bcp "Select au_fname, au_lname FROM pubs..authors orDER BY au_lname" queryout C:\ authors.xls -c -Sservername -Usa -Ppassword'
在VB6中应用ADO导出EXCEL文件代码:
Dim cn As New ADODB.Connection
cn.open "Driver={SQL Server};Server=WEBSVR;DataBase=WebMis;UID=sa;WD=123;"cn.execute "master..xp_cmdshell 'bcp "Select col1, col2 FROM 库名.dbo.表名" queryout E:\DT.xls -c -Sservername -Usa -Ppassword'"

4、在SQL SERVER里往Excel插入数据:
insert into OpenDataSource( 'Microsoft.Jet.OLEDB.4.0','Data Source="c:\Temp.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...table1 (A1,A2,A3) values (1,2,3)
T-SQL代码:
Insert INTO OPENDATASOURCE('Microsoft.JET.OLEDB.4.0',
'Extended Properties=Excel 8.0;Data source=C:\training\inventur.xls')...[Filiale1$]
(bestand, produkt) VALUES (20, 'Test')

总结:利用以上语句,我们可以方便地将SQL SERVER、ACCESS和EXCEL电子表格软件中的数据进行转换,为我们提供了极大方便!

PS:SQL Server 2005 会遇到的问题:

SQL Server blocked access to STATEMENT 'OpenRowset/OpenDatasource' of component 'Ad Hoc Distributed Queries' because this component is turned off as part of the security configuration for this server. A system administrator can enable the use of 'Ad Hoc Distributed Queries' by using sp_configure. For more information about enabling 'Ad Hoc Distributed Queries', see "Surface Area Configuration" in SQL Server Books Online. 异常,

--解決辦法:
--使用前: (開啟Ad Hoc Distributed Queries)
EXEC sp_configure 'show advanced options', 1
GO
RECONFIGURE
GO
EXEC sp_configure 'Ad Hoc Distributed Queries', 1
GO
RECONFIGURE
GO
Select * INTO usertable FROM
OPENDATASOURCE ('Microsoft.Jet.OLEDB.4.0',
'Data Source="D:\DB.mdb";User ID=;Password=' )
...usertable
--使用後: (關閉Ad Hoc Distributed Queries)
exec sp_configure 'Ad Hoc Distributed Queries',0
reconfigure
exec sp_configure 'show advanced options',0
reconfigure

25May/10

NHibernate链接access数据库的配置文件

Posted by Nick Xu

NHibernate链接access数 据库的配置文件:

官方没有提供链接access数据的专门的类,建议使用NHibernate.Dialect.SybaseDialect。它可以兼容对access数据库的操作。
方法:在app.config文件中配置如下信息:
<?xml version="1.0" encoding="utf-8" ?>
<hibernate-configuration xmlns="urn:nhibernate-configuration-2.2" >
<session-factory name="masparameter">
<property name="dialect">NHibernate.Dialect.SybaseDialect</property>
<property name="connection.provider">NHibernate.Connection.DriverConnectionProvider</property>
<property name="connection.driver_class">NHibernate.Driver.OleDbDriver</property>
<property name="connection.connection_string">Provider=Microsoft.Jet.OLEDB.4.0;Data Source=|DataDirectory|\WorkPlatform.mdb</property>
<property name="connection.isolation">ReadCommitted</property>
<!-- HBM Mapping Files -->
<mapping assembly="wmadata" />
</session-factory>
</hibernate-configuration>

这样就完成了配置信息。

25May/10

NHibernate搭配Access的问题(完整)

Posted by Nick Xu

近日想学习一下NHibernate,以用在最新的一套大型系统上。想想不如先做一个小网站来练练手,不过之前还是得先看看NHibernate的 使用方法。搜索了几篇入门文章,包括官方网站的First Step,然后就开始写了。本想使用Access数据库,结果是一直失败,一开始是连Configuration都无法生成,后来又是写入数据库错误。后 来改成使用Sql server2000,结果很顺序的就通过了。再改成Access,又没有了头绪。最后经历了千辛万苦啊,终于算是通过了。总结如下:

使用Access数据库的组件在官方下载的NHibernate-contrib文件里,有个NHibernate.JetDriver.dll, 这个文件也是必须的。其实,在app.config文件里加入NHibernate属性的语句是:
<?xml version="1.0" encoding="utf-8" ?>
<configuration>
? <configSections>
??? <section name="nhibernate" type="System.Configuration.NameValueSectionHandler, System, Version=1.0.5000.0, Culture=neutral, PublicKeyToken=b77a5c561934e089"/>
? </configSections>
? <nhibernate>
??? <add key="hibernate.connection.provider" value="NHibernate.Connection.DriverConnectionProvider"/>
??? <add key="hibernate.dialect" value="NHibernate.JetDriver.JetDialect, NHibernate.JetDriver"/>
??? <add key="hibernate.connection.driver_class" value="NHibernate.JetDriver.JetDriver, NHibernate.JetDriver"/>
??? <add key="hibernate.connection.connection_string" value="Provider=Microsoft.Jet.OLEDB.4.0;Data Source=hibtest.mdb"/>
? </nhibernate>
</configuration>

那个dialect和driver_class的值里面前面是类名称,后面是命名空间名称,中间用逗号分开,不可缺少。以前查到的一些资料里都没有 这一步,所以一直失败。

最 后还有一个问题,用户表里面的LastLogon是个日期时间字段,类里面字段的属性也设成日期时间,插入的时候报错,把类里面的字段改成string就 可以了,可能是因为插入的时候没有加引号的问题。还有密码字段如果字段名为Password,同样插入出错,这个应该是字段名跟关键字冲突的问题,看来作 者没有考虑到把字段名括起来的问题。但是我一直没有办法显示出最终要执行的sql语句,所以也一直没有办法确定错误原因。不过有了以上内容,应该足够写完 整个程序了。

测试了一下性能,点击按钮到返回,要2秒多,明显有点慢,做了一个10000个新数据,然后一次写入,用了20秒才写完,有点不可接受了。回头试一 下直接用OleDb写入的速度比较一下吧。

对于昨天的问题,继续研究了一下。经过一阵搜索,受到了另一位仁兄的启发。现在的速度慢,跟多一次DLL调用应该也有不小的关系,为什么不把 NHibernate.JetDriver合并进主模块呢?打开NHibernate的源代码,试着编译了一下,报错,说是签名失败,缺少一个sn文件。 后来找到这个文件是需要自己生成的,使用VS自带的一个工具sn.exe -k NHibernate.snx就可以了,把这个文件放到src目录下,编译通过。

在NHibernate的项目里添加目录 JetDriver,然后把NHibernate-Contrib里面的NHibernate.JetDriver目录里面的源代码一个个添加进来,编 译,通过了。试着调用一下,用昨天那个程序,重新添加引用,成功了,减少了一个DLL文件。

顺便研究了一下JetDriver的源代码,在JetDialect.cs文件里找到了一段:
??public override char CloseQuote
??{
???get { return ''; }
??}

初 步以为这个应该是自动添加在字段名上的修饰,于是把中间改成中括号,结果失败,查看了一下NHibernate输出的SQL,没有起作用,放弃。在 JetDbCommand.cs文件里找到一段CheckParameters,如果字段属性是日期时间字段,那么会自动转换成字符串。既然如此,为什么 我插入日期时间字段的时候还是有问题呢?它的ToString是有格式的,ToString( "dd-MMM-yyyy HH:mm:ss"),把这个格式添加到我自己的程序的转换过程里,结果也失败了,原来如此,这个转换后的格式再往Access里面写的时候没有办法正确 的转换回去了,于是修改这个格式,ToString( "dd/MM/yyyy HH:mm:ss" ),重新编译NHibernate.dll,重新编译测试程序,把字段属性和映射属性都改成日期,成功了。

至于Password字段名字冲 突的问题,虽然让数据库里面的字段不要叫Password可以解决问题,但是毕竟比较丑陋,结果试了一下在映射文件里面的column属性里加上中括号修 饰,也通过了,OK,问题不完美解决。如果想要的话,可以在映射文件的所有字段名上加上中括号,当然,其实只有Username和Password是必须 的。还是没有找到程序中哪里可以修改,自动为字段名添加修饰,难道没有考虑到这个功能?

经过两天的苦战,得出一个结论,NHibernate不适合Access开发,还是放弃吧。

前面很容易的搞定了Driver的问题以后,自以为离成功已经很近了,但是没有想到,真正的困难还在后面。

通 常数据库程序中最常用的一个关系就是一对多的关系,这也是NHibernate推荐使用的关系类型,于是很简单的建了一个数据库,一个Groups表,包 括GroupID和GroupName,一个Items表,包括ItemID和ItemName还有GroupID。通常这个关系可以代表数据库系统中绝 大部分关系类型。比如用户和组,产品和类别,等等。

按照上一次写的Config文件和hbm.xml文件,很快写好了整个系统的框架,不过 对于一对多的关系如何处理还没有思路,看了看别人的文章,都是一个set做One-to-more,另一个做More-to-one,在Group类里定 义了一个Items的变量,变量类型一开始使用IDictionary,在Item类里定义了一个Group类型的变量,代表它所对应的Group,(一 开始定义成了Int型的GroupID,后来发现这是个严重的错误,总是提示无法转换成正确的类型)。结果单独创建了一个Group变量再保存的时候都一 直报错,说数据类型转换错误,后来查了一些英文资料,好像在C#里没有办法把IDictionary转换成NHibernate使用的Set类型,要用 ICollection,但是把Items改成这个类型以后,发现这个类型本身没有Add方法,那怎么把它的Item加进来呢?百思不得其解啊。似乎没有 一篇文章提到这个解决方案。

晚上再努力查找,终于看到一丝线索,NHibernate内部使用的是 Iesi.Collections.ISet接口类型,它派生出了好几种类型,对应不同功能的列表。ISet这个东西C#本身是不具备的,这是这个第三方 库模仿Java做出来的。于是在Group里面加上这个引用,然后把Items改成这个类型,哇,终于通过了,可以添加Group了。开心。

接下来Load一个Group出来,创建一个Item,把这个Group变量赋给Item的Group属性。保存Item,成功了!

但 是看来看去总觉得不是个味,好像那个一对多关系白定义了。因为看人家的说法,应该是定义一个Group,然后定义一个Item,把这个Item添加到 Group的Items列表里,然后只要保存Group,那么这个Item也会自动保存,结果我试来试去不成功,提示一个错误,插入或更新出错,期望1 行,结果0行,可能是别的用户更改或删除的数据等等。

因为一开始做的是一个Web应用程序,结果在配置文件里设成show_sql为 true以后,还是没有办法看到生成的Sql语句,于是新建一个exe项目,代码一样,运行一下,果然看到Sql语句了。奇怪的是,系统生成了两条语句, 一个是插入新的Group,然后调用了一个Select @@identity,然后使用一个Update语句来更新Items表,结果生成的Where语句是ItemID=0。就算这个0是个错误,那也应该生 成Insert语句啊,为什么是Update呢?想了一下,总算是知道这个0是什么意思了,前面的那个Select @@identity对于Access无效,没有返回那个刚刚插入的id,所以就成了0。

这个问题恐怕不是我能解决的了,没有了这个功能,使用NHibernate还有什么意义?如果无法提取关联对象,还要自己负责维护这个关系的话,恐 怕还要出现一些条件语句在系统里,那就真的不如不用了。

等会试一下用Sql Server是不是没有这个问题,还有再试一下提取对象是否能够自动关联起来。

遇到了传说中的人品问题。

今 天终于搞定了NHibernate的一对多问题,不知道是因为它的版本升级了还是真的我的人品问题,反正按照网上看来的代码没有一个可以正确执行的。最终 发现还需要多一步操作,就是对于每个Item都需要一步Session.Save,而不是像网上所说的那样只要Save(Group)就可以自动Save Item。

完整的工作流程:建立 Configuration,Load XML文件(或者AddAssembly),生成SessionFactory, 生成Session,生成Transaction,新建Group,设定属性,Session.Save(Group),(或者Load Group),新建Item,设定属性,特别要指定它的Group属性,跟组对应起来,Session.Save(Item),如果有多个Item,重复 这个过程,然后Transaction.Commit,数据就已经保存进数据库了,Session.Close。

读 取的过程:前面相同,生成Session以后(Factory.OpenSession),Group g=(Group)Session.Load(typeof(Group),GroupID),这样就得到了这个ID所对应的Group对象,它的 Items属性里包含了所有的下级Item,目前我用的是HashedSet来保存的,所以可以使用foreach(Item it in g.Items),然后就可以使用所有的it的属性了。

在Sql Server里调试成功以后,切换到Access数据库,居然发现一切问题都不存在了,完全跟Sql Server等效,难道那个Select @@identity对于Access也同样有效?有待查证。不过既然过了这一关,剩下的问题就都很简单了,只不过字段多一些而已。但是根据它的这个生成 对象的方式来看的话,如果有三个以上的表使用级联的一对多关系,比如一级分类,二级分类,三级分类,然后才是Item,那么在调用生成一级分类对象的时 候,它应该是会搜索所有的数据表,生成所有的级联对象的,这是个很严重的浪费,而且如果要是用在论坛里面,要想显示首页所有的板块,那么它就会同时在数据 库里提取出所有的帖子,这个好像不太现实,继续研究中……

1.测试了两级一对多的关系,写入数据的确变的相当方便了,省却了大量重复的SQL代码的工作。但是当使用Session.Load加一个父对象的 时候,它的子对象,以及这个子对象的所有子对象都会被加载,对于数据库或者网络都是个问题。

解 决方案:给这个一对多的关系在配置文件hbm.xml的set段加上一个属性,lazy="true",这样就变成延迟载入,调入父对象的时候不会自动加 载它的子集,只有当你要使用这个子集的时候(foreach),才会及时生成这个子集,这样就避免了浪费无用的查询时间。但是这样有一个要求,就是 session必须保持活动,不能被Close,否则就无法再去调入新的查询内容了。

2.调入父对象的时候,子对象自动调入,如果用foreach来查询子对象,那么输出的顺序是不固定的,无论在父类中使用ListSet还是 HashedSet,结果都是不固定的。

解 决方案:还没有看到真正解决这个问题的方法,只能手动加载子类,使用Session.Find加HQL语言,可以达到任意控制权限。在一篇文章里看到使用 list代替set,然后在list的里面可以添加一个index属性,标明排序的字段,实体类里面使用IList,但是我没有成功。回头再试。

3. 在使用级联删除的时候,加载一个Group,Session.Delete(Group),然后查看执行的Sql语句,在Items表里居然每一行 Item执行了一次Delete,也就是说它是按照Where ItemID=?来删除的,这样1000条记录就执行了1000次,为什么不使用Where GroupID=?呢,只要一句就搞定了,而且对于这种删除,数据库本身一般都是做了优化的。

4.突然想不起来了,占位,想起来再补。

   
site
site