データベース系SEの脳内データとインデックス 2012-04-30T13:05:40Z elan tag:blog.so-net.ne.jp,2004:elan elan So-netブログ Copyright (c) 2012, elan SQL Server 2012のAlways Onとレプリケーション 2012-04-30T13:05:40Z 2012-04-30 22:04:34+09:00 tag:blog.so-net.ne.jp,2012:elan.52861098 http://msdn.microsoft.com/ja-jp/library/hh710046.aspx
http://msdn.microsoft.com/ja-jp/library/hh710048.aspx
http://msdn.microsoft.com/ja-jp/library/hh403414.aspx

SQL Server 2012のAlwaysOnとレプリケーションを組み合わせて使うことができます。


レプリケーションの勘所はサイジングとメンテナンスにあると思います。
その片方、メンテナンスをBOLで調べてみると色々癖がありそうでした。
特にAvailability Group内でフェイルオーバが起きた場合のパブリッシャ情報に
ポイントがあります。

またディストリビュータはAlwaysOnやミラーリングに含めることが出来ず、
可用性を高めるためにはFailOver Clusterにするしかありません。

レプリケーションとAlwaysOnの組み合わせはトポロジーが複雑なので、
各ビジネスシナリオごとに検証の必要がありそうです。

スポンサードリンク


]]> Windows Developer Day に参加してきました 2012-04-30T13:05:40Z 2012-04-25 22:22:28+09:00 tag:blog.so-net.ne.jp,2012:elan.52762571 私は本職は開発者ではないので、本イベントは完全にスキルとマッチしていたわけではありませんが、
メトロスタイルやWinRTなどかなり興味深い技術であると感じました。

SQL Server や BigDataのセッションもあり、本業でも学ぶことができ、
またシアトル以来の方々やSQLTOのメンバーとも会え、楽しいイベントだったと思います。

一番印象に残ったのは@SQLAzureJPさんのセッションで、gloopsさんの環境や運用を
知ることが出来たことです。
今まで私が経験してきた案件とはまた毛色の違うシステムでとてもおもしろかったです。
ここで得られた知識を今後に生かして・・・・いけたらいいなあ。


スポンサードリンク




]]> SQL Server 2012 Edition別利用可能な機能 2012-04-30T13:05:40Z 2012-04-06 11:19:36+09:00 tag:blog.so-net.ne.jp,2012:elan.52333804 従来はWorkgroup,Standard,Enterprise,Datacenterだったのが
2012からはStandard,BI,Enterpriseになりました。
（ExpressやEvaluationは割愛・・・）

各エディションで使える機能は以下で公開されています。

http://msdn.microsoft.com/ja-jp/library/cc645993.aspx

重要そうなトピックだけまとめます。
・新機能である、AlwaysOn、列ストアインデックスはEnteprise Editionのみ
・データ圧縮、パーティショニングも2008R2までと変わらずEnterpriseのみ
・Oracle パブリッシャによるレプリケーションもEnterpiseのみ
・新機能Distributed Replayは1クライアントのみBIやStandardでもサポート
・Metadata ServiceなどのBI系機能はEnterpiseまたはBIでサポート。Standardは無し

エディション別のマッピングが変わりましたが、基本路線はEntepriseは全部できる、
BIはStandardを包含した上でBI機能を実装しているようです。
なお、ライセンスに関する考え方は以下です。

http://www.microsoft.com/ja-jp/sqlserver/2012/licensing.aspx

Enterpriseにはコアベースのライセンスしか無く、従来のサーバ/CALライセンスはありません。

スポンサードリンク


]]> 1年振り返ってみて 2012-04-30T13:05:40Z 2012-03-31 22:45:52+09:00 tag:blog.so-net.ne.jp,2012:elan.52199494 今年度の思い出と言えば・・・
　SQLTO参加
　MVP受賞
　Global Summit参加
　SQL Server 2012を触った
等々あり、コミュニティ活動というものを知った1年でした。
次年度、明日からですが、は2012のVL販売も始まりますし、
ビジネスサイドでの活躍が求められそうです。2012年度はきっとですが、新しいことをやることになるのではないかと。
マイクロソフト製品なのか、データベースというカテゴリになるのかは不明ですが、
挑戦の1年にしたい次第です。

スポンサードリンク


]]> Visual Studio 2010が入っている環境でSQL Server 2012 を入れる 2012-04-30T13:05:40Z 2012-03-23 01:05:38+09:00 tag:blog.so-net.ne.jp,2012:elan.51757908 VS2010 SP1以上の適用が必要です。
以下のようにインストール前チェックに引っかかります。

WS000018.JPGhttp://www.microsoft.com/ja-jp/sqlserver/2012/product-info/features/feature03.aspx

こちらにあるようにSSMSがVS2010のシェルを使っている関係からだと思います。
私は事前にVS2010のExpressをテストのために入れてあったため
今回のSQL Server 2012のインストール時に引っかかりました。

スポンサードリンク


]]> SQL Server 2000 Books Online の参照は英語のみに 2012-04-30T13:05:40Z 2012-03-21 18:12:53+09:00 tag:blog.so-net.ne.jp,2012:elan.51678616 備忘録をかねて。

2000のBOLが日本語では参照できなくなっていますが、
英語版では情報の確認が可能です。
日本語で調査する必要があればお手元に2000のBOLのインストールが必要です。
なお英語版では7.0も参照可能です。
さすがに6.5は無いか・・・。

http://msdn.microsoft.com/en-us/library/bb418431%28v=sql.10%29.aspx

URLから(v=sql.10)を削除すると2008までにしかアクセスできないので、
本URLを張っておきます。 ]]> Profilerの注意点 2012-04-30T13:05:40Z 2012-03-20 17:39:25+09:00 tag:blog.so-net.ne.jp,2012:elan.51617147 （各種イベントとはクエリの完了やクエリプラン確定、デッドロック、ファイルの自動拡張などです）
しかし、Profilerやトレースは一般的には負荷が高く、なかなか稼働環境で使うのは難しいと言えます。
負荷はトレースファイルを出力するディスクI/Oやバッファリングのメモリ負荷があります。
その他にもProfilerはアクセス効率を高めるためにtempディレクトリへのアクセスが発生します。
一般的にtempディレクトリはシステムドライブにあると思います。
もしプロファイラによる高負荷が予想される状況やシステムディスクの空き容量がシビアな状態では
tempディレクトリの変更を検討しても良いと思います。
http://msdn.microsoft.com/ja-jp/library/ms174203.aspx

なお、トレース情報の採取にはサーバトレースによる方式とProfilerによる方法があります。
Profiler GUIによる運用環境でのトレース採取については以下のblogにまとまっています。

http://blogs.msdn.com/b/jpsql/archive/2011/01/26/do-s-amp-dont-s-profiler-gui.aspx

スポンサードリンク



]]> ミラーリング構成時に考慮すべきポイント 2012-04-30T13:05:41Z 2012-03-19 19:58:42+09:00 tag:blog.so-net.ne.jp,2012:elan.51550956
http://support.microsoft.com/kb/2001270

SQL Serverの高可用性機能として用意されているデータベースミラーリングですが、
ミラーリング固有の考慮点がまとまっているKBです。
ミラーリングではバックグラウンドで動作する各種タスクがあるため、
スレッドやディスクI/O、ネットワーク帯域には気をつける必要があります。
デフォのまま運用していると思わぬところでフェイルオーバが発生する可能性があります、
というお話です。

実際運用していると、ミラーリングのフェイルオーバ後に原因を特定するのは結構難しいので、
普段からパフォーマンスモニタを仕掛けて状況を知っておくこと、あらかじめリソース面での
予防策を打っておくことが大切だと思います。

ミラーリングは2005SP1から実装された機能のためだいぶ馴染みがあるものかもしれませんが
世の中は意外とデフォ設定のインスタンスが多いように感じ、振り返ってみました。

スポンサードリンク


]]> (だいぶ遅くなりましたが)MVP Global Summitに行ってきました 2012-04-30T13:05:41Z 2012-03-12 19:16:29+09:00 tag:blog.so-net.ne.jp,2012:elan.51549193 元々日本のイベントでもあまり顔を出せていないので、知り合いが全く居ない状況でしたが、
ツアーでご一緒していただいた方々、ルームシェアさせていただいたFujieさん、
連日の部屋飲みでご一緒させていただいた皆様、そして何よりMVPリードの方々のおかげで
楽しく、そして刺激的に過ごすことができました。
自blogで勝手ながら御礼申し上げます｡ありがとうございました。
次回のMVP更新がかなり微妙なので、次回参加があるかどうかわかりませんが、
これからも精進していきたいと思います。

なお技術的なコンテンツについては全てNDA（機密保持契約）の元、公開不可能ですので
知り得た内容については口外できません。なにとぞご容赦ください。 ]]> クエリ並列処理の並列度についてお勉強 2012-04-30T13:05:41Z 2012-02-20 01:02:40+09:00 tag:blog.so-net.ne.jp,2012:elan.51989929 調べたことを記載していきます。

SQL ServerはOracleと違い、自動でクエリオプティマイザが並列処理を選択します。
並列処理では1つのクエリを複数スレッドで実行することで効率アップを目指しています。

さてクエリの並列度は以下の条件で決まります。
http://msdn.microsoft.com/ja-jp/library/ms188611.aspx
より
・CPU数
・空きスレッド数
・クエリとインデックスの状況
・行数
・統計情報

また
http://msdn.microsoft.com/ja-jp/library/ms178065.aspx
この情報からクエリ実行時に並列度が決まることがわかります。
なので、実行するタイミングによって並列度が変わる、ということがわかります。

そして1点気になる記載を見つけました。
「動的カーソルの一部であるクエリに対しては必ず直列実行プランを生成します」
つまり動的カーソルだと良くも悪くも直列になるということです。
もし並列で動かしたかったら静的カーソルで動かす、というチューニングもありだなと思います。
（最も今もなおカーソルを使うか、という議論は残りますが）

並列度はその他maxdopというクエリヒントまたはmax degree of parallelismというプロパティでも
制御することが可能で、以下にそのガイドラインがあります。
http://support.microsoft.com/kb/329204/ja

並列度が上がりすぎたが故に起こる問題（スレッド不足や並列処理によるリソース消費）
に対して有効に働きます。既定値は0、つまりCPU数の範囲で自動制御になるので
メニーコア＋OLTP系であれば引き下げを検討してはいかがでしょうか。

今更な情報も多いですが、自分のメモがてら。 ]]> SQL ServerのOracleとの連携機能 1 2012-04-30T13:05:41Z 2012-01-15 22:54:04+09:00 tag:blog.so-net.ne.jp,2012:elan.52199982 その最たる物はリンクサーバであり、結構Oracleリンクサーバをお使いの方は
いらっしゃるんだなあと感じています。Oracleとのリンクサーバは以下のKBを参照すると良いと思います。
http://support.microsoft.com/kb/280106/ja

ただし、記述は多少古いので、今使うのであればそれなりの覚悟が必要です。

http://msdn.microsoft.com/ja-jp/library/ms187072.aspx
マイクロソフトでテストされたドライバは相当古い物ですし、
Oracle社製ドライバの64bitサポートは行っていないようです。

その他Oracleとの関連があるのはOracleパブリッシャを使ったレプリケーション、
SSISによるデータソース指定等があります。
この辺りもいつかまとめたいと思います。

スポンサードリンク


]]> データベース内のテーブルを一気に切り捨てる方法 2012-04-30T13:05:41Z 2011-11-18 20:44:29+09:00 tag:blog.so-net.ne.jp,2012:elan.46651142 世の中にはもっと良いものがあると思います。たぶん・・・。

※本スクリプトの利用は自己責任でお願いします。
　いかなる問題に対しても責任は負いかねます。

※テーブル間の依存関係は考慮していませんので、外部参照キーがあると
　切り捨てができないのでご注意下さい
-- change database name!
use mydb
go

declare @tbname sysname,@message varchar(80),@sqlst nvarchar(4000);

declare cs cursor for select name from sys.tables
open cs
fetch next from cs into @tbname;
while @@FETCH_STATUS=0
begin
	set @sqlst='truncate table ['+ @tbname + ']';
	exec(@sqlst);
	select @message=' truncated: '+@tbname;
	print @message;
	fetch next from cs into @tbname;
end
close cs;
deallocate cs;


スポンサードリンク


]]> で、BIって何？ 2012-04-30T13:05:41Z 2011-11-09 23:57:07+09:00 tag:blog.so-net.ne.jp,2012:elan.46381070 ことが醍醐味じゃないかと想像しています。
だとすると、重要なのはどんなツールを使うかではなくて、
「ビジネスで役に立つ情報」の定義だと思うわけです。

（以下勝手な妄想ですので間違いについては平にご容赦ください）

私のようなRDBMSの実装方法や、機能について掘り下げているエンジニアだと
顧客のビジネスをあまり理解していないため、この「ビジネスで役に立つ情報」が
何かをつかみ損ねていることがBIを学ぶ上でのネックになっている気がしてなりません。

少ない経験からBIっぽい「ビジネスで役に立つ情報」はこんなものがありました。
・時間ごとの売り上げ金額の遷移
・店舗ごと、商品分類ごと、顧客層ごとの売れ筋分析
・拠点ごとの生産量とコストの比較
といったものが挙げられます。

分析の観点を分析軸と言いますが、業界ごとに分析軸はあまり大きく違わないと思われます。
なので、ある業界の業務に精通すると同業でBIプロジェクトを横展開するのはあまり
難しくないのではないでしょうか。

かといって私は業務や業務分析のスペシャリストではないのでサンプルがありませんし、
もしお客様のことを知っていてもここで書くわけに行きません。

ということでせっかく普段SQL Serverを使っているのでサンプルデータベースを
読み解くことから始めようと思います。
PubsがいいのかNorthWindがいいのかAdventureWorksがいいのか・・・。
今ならAdventureWorksだと思いますが意外と複雑な構造になっていた記憶があります。

スポンサードリンク


]]> BIを学ぶ（学びたい） 2012-04-30T13:05:41Z 2011-11-05 01:10:55+09:00 tag:blog.so-net.ne.jp,2012:elan.46213310 ですが、私はBIがさっぱりなのです。
これは困った。
なのでそれまでに自分なりの勉強をしておこうかと思います。
（と言っても書籍やネットでの机上調査が主になると思います）

独断と偏見ご容赦。まずBIってなんでしょうか。
BI=Business Intelligence。これは言葉は知っていました。
そもそもは
「企業内データを分析して経営上の意志決定支援をする手法」
と思っています。

昔はDSS（意志決定支援システム）とか言いましたよね。
そこからデータを蓄積するDWH(Data WareHouse)構築、
分析のためのOLAPやマイニングといったキーワードが
もてはやされてきたように思います。

現在のSQL Serverで言えば
DWHにはデータベースエンジン、FTDWHやPDW
OLAPやマイニングにはAnalysis Services(SSAS)
があります。

でもIntegration Services(SSIS)やReporting Services(SSRS)は一体なんなのでしょうか。
例えばOLTP系システムとDWHではデータの論理構造が違うため、
一般的にはOLTPのDBからDWHへデータロードする際にはETL(Extract Transform Load）
の処理をします。このETL処理をSQL ServerではSSISで実行できます。

分析結果を見るためのツールにExcelが利用されてきたわけですが
（ここでPowerPivotが出てきますが、まだ私がその存在を理解していないのでまた後日）
定型の分析結果を共有するためにSSRSがあるわけです。

ということでBI,つまりはデータ利用に必要な処理とコンポーネントは
データ蓄積（DB）、ETL処理（SSIS）、分析（SSAS）、表示（SSRS）
と棲み分けています。

コンポーネントごとの仕事のおさらいをまずやりました。
今度は実データをどうやって何をしていくのかをじっくり（時間をかけて）
考えてみたいと思います。

スポンサードリンク


]]> 自宅で使っている古いデスクトップ機 2012-04-30T13:05:41Z 2011-10-27 22:51:33+09:00 tag:blog.so-net.ne.jp,2012:elan.45839939 http://www.dell.com/downloads/jp/products/dimen/Dimension4700c.pdf
（PDFファイルが開くのでご注意を）

これが2004年くらいのプロダクトで、もう6～7年くらいは使っている計算です。
最近のソフトウェアを入れるともう遅いこと遅いこと。
メモリやディスク容量は足して何とかごまかしてきましたが、CPUが限界のようです。
換装するくらいなら新しいPCが欲しいなと思います。

コミュニティでお会いする方や同業の人のプライベートを聞くと、みんな結構良いマシンを
お使いのようで、うらやましい限りです。
中にはNASでデータ管理して家族それぞれのマシンから共有で見えるとか、
自宅にRACKがあるとか、マシンが平積みになっているとか、、、

基本自宅のマシンではOracleもSQL Serverも動かさないのであまり気にしていなかったのですが
さすがにそろそろマシンは変えた方が良いかもと思っています。

IEを立ち上げたらCPUが100%に張り付いてファンが止まらなくなり、ふと思ったことでした。

スポンサードリンク


]]> SSMSからsqldumper.exeを使ってフルダンプを作ってみる 2012-04-30T13:05:41Z 2011-10-26 23:21:45+09:00 tag:blog.so-net.ne.jp,2012:elan.45803663 http://msdn.microsoft.com/ja-jp/library/ms175046.aspx

またSQL Serverにはsqldumper.exeというダンプ作成ツールがありますので、サンプルとして、
xp_cmdshellから実行してみます。

まず最初にxp_cmdshellを使えるように設定します。

sp_configure 'show advanced options', 1
go
reconfigure
go

sp_configure 'xp_cmdshell',1
go
reconfigure
go

次にsqldumper.exeの引数を確認します。

Flags:
dbgbreak = 0x0001
nominidump = 0x0002
validate_image = 0x0004
referenced_memory = 0x0008
all_memory = 0x0010
dump_all_threads = 0x0020
match_file_name = 0x0040
no_longer_used_flag = 0x0080
verbose = 0x0100
wait_at_exit = 0x0200
send_to_watson = 0x0400
defaultflags = 0x0800
maximumdump = 0x1000
mini_and_maxdump = 0x2000
force_send_to_watson= 0x4000
full_filtered_dump = 0x8000

MiniDumpFlags:
Normal = 0x0000
WithDataSegs = 0x0001
WithFullMemory = 0x0002
WithHandleData = 0x0004
FilterMemory = 0x0008
ScanMemory = 0x0010
WithUnloadedModules = 0x0020
WithIndirectlyReferencedMemory = 0x0040
FilterModulePaths = 0x0080
WithProcessThreadData = 0x0100
WithPrivateReadWriteMemory = 0x0200
WithoutOptionalData = 0x0400
WithFullMemoryInfo = 0x0800
WithThreadInfo = 0x1000

最後にxp_cmdshellから実行します。
(PIDはタスクマネージャからsqlservr.exeのIDを確認しておきます）

EXEC xp_cmdshell 'c:\"Program Files"\"Microsoft SQL Server"\100\Shared\sqldumper.exe PID 0 0x8000',no_output;

こうすることでダンプが生成されます。
EXEC sp_cmdshell 'cd'の実行結果は　C:\windows\system32なので、システムフォルダに
ダンプが生成されているのがわかります。

スポンサードリンク



]]> SQL Serverのログオントリガーを使う 2012-04-30T13:05:41Z 2011-10-26 23:14:26+09:00 tag:blog.so-net.ne.jp,2012:elan.45803410 http://msdn.microsoft.com/ja-jp/library/bb326598.aspx

これを使うことでログオンの監査や同時セッション数の管理が可能です。
実際使う時に下手なトリガーを作ると、ログオン操作そのものが失敗してしまうことがあります。

2011-10-26 22:03:54.88 ログオン エラー: 17892、重大度: 20、状態: 1。
2011-10-26 22:03:54.88 ログオン Logon failed for login 'test' due to trigger execution. [クライアント: ]

このときログオントリガーを削除するユーザがログオンできず、トリガーの削除ができなくなってしまいます。
そこで、このときはsqlcmdから以下のようにして管理者権限を使って接続してトリガーを削除しましょう。

C:\> sqlcmd.exe -S admin:servername -U username -P password
1>drop trigger connection_trigger on ALL Server;
2>go
作成のポイントはブックスオンラインのサンプルを流用すると、

CREATE TRIGGER connection_limit_trigger
ON ALL SERVER WITH EXECUTE AS 'login_test'
FOR LOGON
AS
BEGIN
IF ORIGINAL_LOGIN()= 'login_test' AND
(SELECT COUNT(*) FROM sys.dm_exec_sessions
WHERE is_user_process = 1 AND
original_login_name = 'login_test') > 3
ROLLBACK;
END;

BEGINからENDのブロックがあり、この中のステートメントが
結果セットを返さないように作成することです。
結果セットが返るとトリガー実行に失敗し、以下のエラーがエラーログに出力されます。

2011-10-26 22:33:32.18 spid52 エラー: 575、重大度: 16、状態: 1。
2011-10-26 22:33:32.18 spid52 LOGON トリガーから結果セットが返されました。結果セットを返さないように LOGON トリガーを変更してください。

スポンサードリンク




]]> 近況報告とSQLTO第三回勉強会のお知らせ 2012-04-30T13:05:41Z 2011-10-17 23:57:41+09:00 tag:blog.so-net.ne.jp,2012:elan.45440287 トラブル対応、マネジメント、案件対応、セミナー講師、等等・・・
忙しくなると blog が手につかなくなってしまいます。
もちろん現場で知ったこと身についたことたくさんあるので機会を見て
お話できればなあと思います。

ここ最近の話題ではコードネーム Denali が SQL Server 2012 になるようですね。
新しい世代に分類されそうですし、そろそろ全然違う名前を襲名してもい
いんじゃないかと思っていました。

さて、ある意味本業の SQLTO 第三回勉強会のお知らせです。
http://event.sqlto.net/?p=188

今回は SQL Server 2012 Day です。
日本マイクロソフト　エヴァンジェリストの井上様、
SQLTO スタッフの Masayuki_Ozawa さん、
SQLTO 代表 tenki28 さんがスピーカです。
新機能紹介が目白押しですので皆様奮ってご参加ください。
＃この投稿を行った時点で6名様の空き席があります。

]]> 一括ログ復旧モデルでのバックアップ 2012-04-30T13:05:41Z 2011-10-17 23:46:36+09:00 tag:blog.so-net.ne.jp,2012:elan.45439994 SQL Serverの復旧モデルは「完全」「一括ログ」「単純」の3つが選択できます。
それぞれメリットデメリットがありますが、ここでは一括ログを選んだときの話しです。
一括ログではbulk insert等に代表される一括操作時に、トランザクションログに
1つ1つのレコード変更を記録せず、一括操作を行ったことだけを記録します。
そのため、一般的には大量データの操作が行われる一括操作時のトランザクションログの
肥大化を防ぐ効果があります。
その一方で一括ログ操作の記録だけが残るので、STOPATを使った時刻指定での
リカバリができなくなる制限事項があります。
そこで一括ログ操作をしたデータはどのようにしてバックアップ運用に組み込まれるかです。
結論だけ言うと、一括操作で変更されたエクステントはトランザクションログのバックアップに
同梱することでバックアップ取得をします。
つまりは、トランザクションログのバックアップが変更されたエクステントの分だけ多くなります。
変更されたエクステントは内部的にはBCM(一括変更マップ）を使ってトラッキングできます。

よって一括ログ選択時のメリットは一括操作時のトランザクションログ肥大化を抑止でき、
そのトレードオフとしてログバックアップ時にバックアップファイルが大きくなる可能性があります。

http://msdn.microsoft.com/ja-jp/library/ms190692.aspx
http://msdn.microsoft.com/ja-jp/library/ms190950.aspx

スポンサードリンク



]]> 2011/7/23　SQLTO 第一回勉強会の資料をアップロードしました 2012-04-30T13:05:41Z 2011-07-31 22:40:24+09:00 tag:blog.so-net.ne.jp,2012:elan.41298729 遅くなりましたが、私が担当したインデックス基礎の資料をアップしました。

こちらからダウンロードしてください。

アンケートや懇親会でフィードバックいただいた内容は今後に生かしていきたいと思います。
何かございましたらコメント欄もしくはtwitterで是非ご連絡ください。
個人的な振り返りと反省をしますと、
　・トークの準備不足であったこと
　・話しを広げるべき所、掘り下げるべき所があったこと
　・自己紹介を忘れたこと
　・チャレンジドリンク（私はワイン）を忘れたこと
　・資料がケバイ事
が挙げられます。次回以降の反省材料です。

スポンサードリンク




]]>