2011年7月26日火曜日

SSDがヤバい その3 SSDあれこれ

■ SSDの速度の秘密
別に秘密でも何でもありませんが、SSDの中には NANDフラッシュメモリだけが入っているわけではありません。

□ コントローラーチップ
SSDの性能と寿命を制御する、一番大切な部品と言って良いでしょう。コントローラーの進化が MLCフラッシュメモリの進化を支えています。
ウェアレベリングや読込、書込みの並列化、書き込み回数の上限の管理などを行っています。
Marvell社(Crucial, Intel)や SandForce社(Vertex)などが有名です。
尚、Crucialは Micron Technology社の SSD製造販売の子会社ですが、Micron Technologyと Intelが共同で設立した IM Technology社で製造された NANDフラッシュメモリを使用しています。つまり、Crucialと Intelが使っている技術は、コントローラーチップもNANDフラッシュメモリも同じものとなります。
※ Intelは以前は自前のコントローラーを使っていましたが、最新の510シリーズではMarvell社のコントローラーを使用しています。

□ キャッシュメモリ
16~64MB程度のDRAMを搭載して、読み書き性能を上げるために使っています。後のSSDの特性のところで述べますが、書込みをするために必須のパーツです。IO性能のパフォーマンスアップにも効いてきます。

□ NANDフラッシュメモリ
フラッシュメモリそのものです。最近は 25nmプロセスを使った製品も出ており、高速化、大容量化に寄与しています。


■ フラッシュメモリ SSDの特性を理解する

□ 消費電力
フラッシュメモリは消費電力が桁違いに小さくできています。容量辺りの消費電力を考えると MLCが有利です。
通常の 3.5" HDDが10w前後ですが、SSDの場合アイドル時 1W以下、リード値2W程度です。

□ 書込みがだんだん遅くなるのは何故?
フラッシュメモリの特性として、メモリにデータが書き込まれていると上書きでの書込みは出来ません。従って使い始めのデータが空っぽの時は良いのですが、だんだんデータが書き込まれてくると、データの消去+データの書込みの2つの動作を行う必要があるため、だんだん書込みに時間がかかるようになることになります。ちなみにデータの消去には書き込み処理の100倍くらいの時間がかかります。またデータの読み書きの単位は2~4KB程度ですが、データを消去する場合は例えば 128KB単位で行われます。ですので 1バイトの書き換えでも 128KBの消去と書込みが必要になります。そのために SSDには DRAMのキャッシュメモリが積まれており、上記1バイトの書き換えは次のようなステップで行われます。
128KBのフラッシュメモリ上のデータを DRAMにコピー (読込が 32~64回)
フラッシュメモリ上のデータの消去
DRAM上の1バイトの書き換え
128KBのデータの書き戻し (書込みが 32~64回)

これらの動作を改善するために TRIM機能が使われます。最近は TRIM機能をサポートするSSDが多く出てきています。

□ MLCの寿命は?
SLCの10分の1から 20分の1と書きましたが、実際はどれくらいあるのでしょうか。
Crucialの c300を例にとると書込み上限は 72TBでした。これは毎日 40GBの書込みをして上限に達するまで 5年間かかる大きさなのですが、DBの OLTP部分など更新の激しいデータを格納するとなると、かなり足りないかな というサイズです。

□ MLCのMTBFは?
Crucialの c300で MTBFは 200万時間でした。
HDDよりもかなり良い値なのではないでしょうか。(可動部が無いので当たり前ですが)


--
ここまで SSDの種類や特性などについて見てきましたが、結論としては MLCを使用した安価なSSDでもコントローラー機能の向上により、性能・寿命が著しく伸びています。使い方をきちんと考えて使う分にはエンタープライズ用途でも十分使えるレベルになってきていると言えます。

例えばDWHで使用するデータは、SSDに向いていると言えます。
  • データ書込みは追記書込みが主で、後は読み出しだけ。
  • 過去数年の巨大なデータを使用するが、分析するときは大量のデータに高速にアクセスが必要。
ここまで見てきたように、SSDの容量と価格は急激なスピードで進化しています。今1,000万円を出して必要な容量を確保するより、今は 500万円で直近必要な分のSSD容量をそろえ、来年もう500万円出してSSDだけを追加するとなると、同じ金額でも高速・大容量のストレージを手に入れることが出来ます。

p.s.
SSDは HDDと同じくコントローラーのファームウェアアップデートがあります。不具合修正はもちろん、性能アップしたり省電力になったりするので、時々ホームページをチェックしましょう。

2011年7月23日土曜日

SSDがヤバい その2 フラッシュメモリベースSSD

前回に引き続き、今回はフラッシュメモリベースのSSDについて


■ SLCフラッシュメモリベース 企業向けSSD

NANDフラッシュメモリは DRAMと違い電源が供給されていなくてもデータを保持できる不揮発性メモリであるため、より通常のディスクドライブと同じように扱えるといえます。そのなかでも SLC(Single Level Cell)型は、後で説明する MLC(Multi Level Cell)型と比較して
  • 書込み速度が早い
  • 書き換え可能な上限回数が多い (MLCの10~20倍とか)
  • データ保持期間が長い (寿命が長い)
  • しかし容量が少なく、単位容量あたりの価格が高い
という特徴があります。ですので速度や寿命を重視し、値段は気にしない場合は MLCではなく SLCを選択します。
(現在では SSD内部のコントローラーも性能が良くなってきているので、SSDとしての速度差は昔ほどではありません。寿命が一番の差別化ポイントとなりつつあります)

2008年11月には、インテルから SLCを使った X25-Eシリーズ、MLCを使った X25-Mシリーズが、同じ時期に発売されていますので、それらを比較してみましょう。
尚、この製品は SATA2接続ですが 2011年の第一4半期まで売られていた、バリバリ現役です。



ReadWrite価格発売時期
X25-E(SLC) 32GB250MB/s170MB/s8.0万円2008.11 (2009.1には 4.3万円)
X25-E(SLC) 64GB250MB/s170MB/s8.0万円2009.2
X25-M(MLC) 80GB240MB/s 70MB/s8.0万円2008.9 (2009.1には 4.0万円)
X25-M(MLC) 160GB240MB/s 70MB/s8.0万円2009.1


同じ値段だと容量に2.5倍ほどの差があります。SLCは価格がどうしても高くなってしまうため、寿命を重視する企業向けとなります。

また、今年の第3四半期には容量 200/400GB、PCIe接続でなんと Read 2200MB/s Write 1800MB/sの SLC使用 Intel 720シリーズ(コードネーム Ramsdale)が発売される予定です。速度の秘密は 512MBの DRAMキャッシュ。すごく高そう。


■ MLCフラッシュメモリベース コンシューマー向け? SSD

SSDが現在のように一般化したのは MLCフラッシュメモリを使用した低価格の SSDが、コントローラーの向上により耐久性、パフォーマンス、容量共に進化したことが大きいといえます。
エポックメイキングな MLCベース SSD達を列挙すると、



ReadWrite価格発売時期
Intel X25-M(MLC)
80GB
240MB/s 70MB/s8.0万円2008.9 (2009.1には 4.0万円)
Intel X25-M(MLC)
160GB
240MB/s 70MB/s8.0万円2009.1
Crucial ReadSSD C300
120GB
355MB/s215MB/s4.0万円2010.3 (現在は 1.8万円) SATA3接続
Crucial ReadSSD C300
256GB
355MB/s215MB/s8.0万円2010.3 (現在は 3.7万円) SATA3接続
OCZ Vertex3
120GB
530MB/s450MB/s3.0万円2011.3 (現在は 2.4万円) SATA3接続



これら以外にも読み書き 500MB/sを越える SSDが続々発売されています。SATA3のバス幅は 600MB/sですので、既にバス幅の限界に近い性能が出ています。ベンチマークをするとほぼスペック通りの性能が出ています。

このSSDはコンシューマー向けと書きましたが、上記に触れたとおり MLCの弱点を補う機能を持つ SSDが増えており、使い方を間違えなければ、業務でも十分使用に耐える製品に変わりました。

実は今、これらの MLC SSDを業務あるいはエンタープライズ向けに使うためのリサーチをしています。近々成果は発表できると思いますので、お楽しみに。


次回は SSDの使い方に関する注意についてまとめてみます。

2011年7月15日金曜日

SSDがヤバい

普通の人が SSD(Solid State Drive)を使い始めたのは、本当につい最近、ここ1~2年前位からではないでしょうか。一昔前までは早いけれど高価なストレージで、一般人には手が出せないシロモノでした。
それが、この1~2年での、速度の向上価格の下落大容量化半端ではないスピードで進んでおり、かつそのスピードはまだ加速していると言えます。

半導体を記憶媒体として使うという SSDの概念自体はコンピューターの黎明期からあるのだけれども (というか、きっと HDDより古いと思う。コアメモリとか言っても最近の人は知らないと思いますけど… 僕も本物を触っていた人は知ってますが、実物は見たことが無い (^^; )、実際に SSDというものがあると知ったのは10年程前でしょうか。
そこから数年を経て、実際の現場にSSDが現れ始めます。
SSDの歴史と特性についておさらいしてみましょう。


■ DRAMベース エンタープライズ向けSSD

うちの会社のOracle検証メールマガジンでも、2007年に富士ゼロックスの GigaExpressという DRAMベースのSSDを借りて、Oracleを高速化する検証を行っています。

GigaExpressは 1Uサイズの筐体に容量は 8GB~32GB、PCIe1.0 x 4レーンの外部インターフェースで接続されます。スペック上は 650MB/sの読み取り性能を持っていますが、実測値は318MB/sでした。(マシン性能に依存するので、実測値はあくまで社内で計測した値です)
検証時の結論は、以下のようでした。
1. IOネックのデータベースの性能向上にはかなり有効である。
2. ただし容量の問題があるので REDOや UNDOに使用するなど構成を考える必要がある。
3. DRAMベースなので電源瞬断や機器故障に対する対策が必須。

この時の販売定価は 200万円 ~ 500万円で、10GBあたりの価格に直すと 155万円 ~ 250万円です。


また、最近でも売っているのが Texs Memory Systemsの Ramsanシリーズです。
Ramsanシリーズの DRAMベースの Ramsan-440という製品は、4.5GB/sの外部帯域幅(あくまでI/Fのスペック。実測値は不明)を持ちますが、256MBの最小構成で 2,720万円とのこと。10GBあたりの価格は 106万 !!! (2年前の記事の価格なので、今はもっと安くなっているのかしら…)
また消費電力もかなり強烈で 650W !! でした。

この製品の場合、GigaExpressと異なり、電源遮断に対応するために内蔵バッテリーや DRAM上のデータをバックアップするHDDやフラッシュメモリを備えているのが価格を押し上げている要因となっているでしょう。
(※ Ramsanにはフラッシュメモリを使用したモデルもあります)

ここまでをまとめると、DRAMベースのSSDは、アクセスは確かに早いのですが、容量が限られていることからデータ特性に応じたきちんとした物理設計が必須であること、価格がバカ高いので簡単には購入できないこと、容量に応じて消費電力が非常に大きくなることなどが言えます。なので、あえてエンタープライズ向け と位置づけました。

2720万 というと、そんなものかと感じるかもしれませんが、10GBあたり 100万円を越えているわけですから、だったらメモリが沢山載るサーバーにしてRAMディスクとして使ったり、Oracleのバッファとして使ったほうがよっぽど良いのではと思ってしまいます。アキバのメモリだったら 10GBで 5000円位です。さすがにメーカー製は高いと思いますが、20倍としても 10万円です。

今日はここまで。
次回はアキバでも買える SLCフラッシュベースの SSDについて書きます。

ご 無 沙 汰 し て お り ま し た

ご無沙汰しておりました。

かなり間が空いてしまいましたが、その間は、会社のブログを投稿したり(このブログの焼き直しですが)、新しい事業を立ち上げるべく奔走したり、髪型を変えたりしておりました。

書きかけの TPC-Hシリーズは、会社のブログで続けることにして、こちらのブログには日々調べたり、考えたりしたことをほぼリアルタイムで書いていくことにします。

とりあえずは Commodity HW Innovation シリーズと題して、コンシューマー向けPCパーツが、今大変なことになっていることを、使い方さえ間違わなければエンタープライズンズでも使えるようになっていることを、書いていこうかと。



2011年4月11日月曜日

TPC-H USD/QphH を計算する

TPC-H検証の続き、ですが、
今後は QphHだけでなく、USD/QphHも出そうと思うので、今日はそのための準備。

値段の出し方は TPC BENCHMARK H Standard Specification の Clause 7: PRICING に定義されていますが、簡単に書くと
ハードウェアとソフトウェアの価格 + 3年間の保守(24x365)
が、システムの値段となります。

Oracleの価格を調べるなんて10年以上やってない。
今回のCPUは AMD Phenom II X6 1100T (3.3 GHz/6 core) なので、Core係数が0.5で 3CPU分。
これを Named User Plusライセンスで計算すると 813万(税込) !!! 年間サポートが 179万(税込) ! 3年分で 1,350万。 マジー!? 12万のPCで動かすのにですよーー!
サポートフィーは更に値上げされるとかいう話も...

この計算合ってますか?
しかし、こんな高い製品をみんな良く買ってますね。ごめんなさい。世間知らずでした。

これに HW価格 12万円、保守は入っていませんが、3年間の間には壊れる部品もあると思うので 8万円を追加して、合計 20万円が HW価格。

両方足して 1,370万円が、システム価格となりました。

あと、検証の途中では Partitioning Optionと Advanced Compressionを使うつもりなので、必要な時にシステム価格に反映させます。

今までの検証結果をまとめると、(為替レートは 85円/ドル)


blocksizeLinux I/O SchedulerQphH@32GBUSD/QphH@32GBPrice(Yen)
8KBcfq974163.051350万円
32KBcfq986161.041350万円
32KBnoop4,70733.731350万円

33ドル/QphHまで来たので、先日書いた

  • 1000GBで 140,181 QphH 12.15 USD/QphH
  • 3000GBで 198,907 QphH 16.58 USD/QphH

にも、もうそろそろ手が届きそうかな?

2011年4月8日金曜日

[memo] Oracle Linux 6 に Gridをインストールする... (その2) ...も玉砕

Oracle Linux 6に Oracle 11gR2を導入しようとしてハマった話の続き。
前回はこちら。


ASM環境を構築して create databaseしたところまでは出来たのですが、実際にデータをロードして selectしてみたら Corrupt Blockのエラーが多発してしまいました。
この状況はまだクリア出来ておらず、現在進行形です。
以下に状況をまとめていきます。


Oracle Linux 6 (x86_64)
Oracle Database 11.2.0.2

現象としては普通に selectすると alertlogに
Hex dump of (file 5, block 1119186) in trace file
/home/oracle/app/oracle/diag/rdbms/orcl/orcl/trace/orcl_p004_17683.trc
Corrupt block relative dba: 0x015113d2 (file 5, block 1119186)
Bad header found during user buffer read
Data in bad block:
 type: 6 format: 2 rdba: 0x015d409a
 last change scn: 0x0000.000f1bbd seq: 0x2 flg: 0x04
 spare1: 0x0 spare2: 0x0 spare3: 0x0
 consistency value in tail: 0x1bbd0602
 check value in block header: 0xd126
 computed block checksum: 0x0
Reading datafile '+DATA/orcl/datafile/tpch_8k.263.747829685' for corruption at
rdba: 0x015113d2 (file 5, block 1119186)
Read datafile mirror 'DATA_0002' (file 5, block 1119186) found valid data
のメッセージが延々と続きます。
Corrupt Blockがあったのでミラーから読んだよ、というものです。
ちなみに ASMの冗長性は normalです。

調査開始。

今回の環境では iSCSIで接続しているディスクたちを ASMディスクとして使用しています。
[root@node00 ~]# iscsiadm -m session
iser: [13] 10.2.0.135:3260,1 iqn.1995-07.com.insight-tec.node15:storage.raid0
iser: [14] 10.2.0.134:3260,1 iqn.1995-07.com.insight-tec.node14:storage.raid0
iser: [15] 10.1.0.133:3260,1 iqn.1995-07.com.insight-tec.node13:storage.raid0
iser: [16] 10.1.0.131:3260,1 iqn.1995-07.com.insight-tec.node11:storage.raid0
iser: [17] 10.2.0.136:3260,1 iqn.1995-07.com.insight-tec.node16:storage.raid0
iser: [18] 10.1.0.132:3260,1 iqn.1995-07.com.insight-tec.node12:storage.raid0

[root@node00 ~]# oracleasm listdisks
VOL1
VOL2
VOL3
VOL4
VOL5
VOL6
※ ここで iscsiadmの結果の一番左に tcpではなく iserと表示されているに気づきました? iSER(iSCSI Extention for RDMA)は、iSCSIのデータ転送を TCPではなく RDMA(Remote DMA)を使うことで高速化する技術です。そのあたりの詳しいことは後日まとめるつもり。

そのディスクたちの状況を調べていきます。

SQL> select GROUP_NUMBER, DISK_NUMBER, MOUNT_STATUS, HEADER_STATUS, STATE, REDUNDANCY, FAILGROUP, PATH from v$asm_disk;

G D MOUNT_S HEADER_STATU STATE    REDUNDA FAILGROUP    PATH
- - ------- ------------ -------- ------- ------------ ---------------------------
1 5 CACHED  MEMBER       NORMAL   UNKNOWN DATA_0005    /dev/oracleasm/disks/VOL6
1 4 CACHED  MEMBER       NORMAL   UNKNOWN DATA_0004    /dev/oracleasm/disks/VOL5
1 3 CACHED  MEMBER       NORMAL   UNKNOWN DATA_0003    /dev/oracleasm/disks/VOL4
1 2 CACHED  MEMBER       NORMAL   UNKNOWN DATA_0002    /dev/oracleasm/disks/VOL3
1 1 CACHED  MEMBER       NORMAL   UNKNOWN DATA_0001    /dev/oracleasm/disks/VOL2
1 0 CACHED  MEMBER       NORMAL   UNKNOWN DATA_0000    /dev/oracleasm/disks/VOL1

SQL> select DISK_NUMBER, HOT_USED_MB+COLD_USED_MB USED_MB, READS, WRITES, READ_ERRS, WRITE_ERRS from v$asm_disk;

DISK_NUMBER    USED_MB      READS     WRITES  READ_ERRS WRITE_ERRS
----------- ---------- ---------- ---------- ---------- ----------
          5      11035      18319      63000          0          0
          4      11035      16104      61260          0          0
          3      11038      15517      64942          0          0
          2      11038      15802      66461          0          0
          1      11034      12914      67519          0          0
          0      11040      16818      66523          0          0 
READ_ERRS, WRITE_ERRS共に 0なので、ASM的なエラーは検知していないよう。
エラー内容もレイヤーとしては ASMではなく datablockのエラーに見えます。

今回報告されたブロックのダンプを取ってみます。
SQL> alter system dump datafile 5 block 1119186;

それと、トレースに吐き出されているブロックダンプを比較する。

これがトレースに吐き出されていた情報
Corrupt block relative dba: 0x015113d2 (file 5, block 1119186)
7F5048652000 0000A206 015D409A 000F1BBD 04020000  [.....@].........]
7F5048652010 0000D126 00000001 000122E0 000F0AAF  [&........"......]
....
7F5048653FF0 74756F62 65687420 65747320 1BBD0602  [bout the ste....]
Bad header found during user buffer read
Data in bad block:
 type: 6 format: 2 rdba: 0x015d409a
 last change scn: 0x0000.000f1bbd seq: 0x2 flg: 0x04
 spare1: 0x0 spare2: 0x0 spare3: 0x0
 consistency value in tail: 0x1bbd0602
 check value in block header: 0xd126
 computed block checksum: 0x0
Reading datafile '+DATA/orcl/datafile/tpch_8k.263.747829685' for corruption at rdba: 0x015113d2 (file 5, block 1119186)

これが自分でダンプした情報
Start dump data blocks tsn: 6 file#:5 minblk 1119186 maxblk 1119186
Block dump from cache:
Dump of buffer cache at level 4 for tsn=6, rdba=22090706
Block dump from disk:
buffer tsn: 6 rdba: 0x015113d2 (5/1119186)
scn: 0x0000.000f19dd seq: 0x02 flg: 0x04 tail: 0x19dd0602
frmt: 0x02 chkval: 0x54c9 type: 0x06=trans data
Hex dump of block: st=0, typ_found=1
Dump of memory from 0x00007FF47C991A00 to 0x00007FF47C993A00
7FF47C991A00 0000A206 015113D2 000F19DD 04020000  [......Q.........]
7FF47C991A10 000054C9 00000001 000122E0 000F0AAE  [.T......."......]
....
7FF47C9939F0 73202E73 6E656C69 65722074 19DD0602  [s. silent re....]

データの中身から Consistency value, checksum, 果てには SCNまでまるっきり異なります。当然ですが、エラーが出てからデータの更新はしていません。ミラーから読み込んだデータで上書きされたとしか考えられません。あるいは、コマンドの実行方法を間違えているのか?

今回問題のテーブルに select count(*) をかけるのですが、毎回 Corruptと報告されるブロックアドレスが異なります。ミラーデータから修復されているとしたら、そのうちエラーは出なくなりそうなものですが、何度実行しても同じくらいの数のブロックがエラーと報告されます。

dbverifyかけてみました。

$ dbv USERID=sys/*** FILE='+DATA/orcl/datafile/tpch_8k.263.747829685' FEEDBACK=100
...
Total Pages Marked Corrupt   : 6
...
$ dbv USERID=sys/*** FILE='+DATA/orcl/datafile/tpch_8k.263.747829685' FEEDBACK=100
...
Total Pages Marked Corrupt   : 13
...

何度やっても Corrupt Blockが消えないし、毎回異なるブロックが報告されるという状況は変わらず。読みながら、ブロックを修復しつつ、他のブロックを壊している ような感じです。

ここで、一応諦めました。

ASMは、OS Versionや Oracle Versionを、非常にセンシティブに選びます。
きっと 11gR2が Oracle Linux 6対応するときは、新しい必須パッチが出るのだと予想。


ここまでの収穫

ASM内部情報についてまとめたサイトを見つけました。
11gR1 から 11gR2で ASMの内部構造がかなり変更されているのがわかります。

ASM Metadata and Internals

2011年4月7日木曜日

[memo] Oracle Linux 6 に Gridをインストールする...

Oracle Linux 6 + Oracle 11gR2(11.2.0.2)で ASM環境を構築する必要があったので、
何の気なしに片手間で作り始めたら、かなりハマりました。
忘れないうちに、Oracle Linux 5.6 の時との違いについてポイントをまとめておきます。

ちなみに、このポイントをクリアしても、動作するわけでありません っっ
あるいは、解決方法知っている人がいたら大募集。

更に、Oracle 11gR2は、まだ Oracle Linux 6を正式サポートしていませんので、チャレンジャーな感じです。


Oracle Linux 6
E-Deliveryからダウンロード
デフォルトの Unbreakable Enterprise Kernelを導入
導入するときに oracleasm-support-2.1.5-1.el6.x86_64 は、必ず入れる。

逆にこれ以外は oracleasm関連パッケージはありませんでした。


Oracle Grid Infrastructure 11.2.0.2.0
ASMディスクの構成を行い、インストーラを実行。構成チェックで root.shを実行するとエラーになる。
# .../root.sh
...
ohasd failed to start
Failed to start the Clusterware. Last 20 lines of the alert log follow:
2011-04-01 11:55:49.329
[client(25625)]CRS-2101:The OLR was formatted using version 3.
2011-04-01 11:55:55.191
[client(25654)]CRS-1001:The OCR was formatted using version 3.
[client(25696)]CRS-10001:CRS-6021: No msg for has:crs-6021 [l][unlimited]
[client(25697)]CRS-10001:CRS-6021: No msg for has:crs-6021 [n][65536]

ohasd failed to start at /home/oracle/app/oracle/product/11.2.0/grid/crs/install/roothas.pl line 325.
/home/oracle/app/oracle/product/11.2.0/grid/perl/bin/perl -I/home/oracle/app/oracle/product/11.2.0/grid/perl/lib -I/home/oracle/app/oracle/product/11.2.0/grid/crs/install /home/oracle/app/oracle/product/11.2.0/grid/crs/install/roothas.pl execution failed.
#
CRS-06021: Could not set system resource limits for Clusterware: "ulimit -string string".
メッセージからすると ulimit -l と -n の変更が出来ないと言っている。
裏で取得していた strace(1)でも同じエラーが出ていた。
setrlimit( RLIMIT_MEMLOCK,{rlim_cur=RLIM_INFINITY,rlim_max=RLIM_INFINITY})
 = -1 EPERM (Operation not permitted)
setrlimit( RLIMIT_NOFILE,{rlim_cur=64*1024,rlim_max=64*1024})
 = -1 EPERM (Operation not permitted)

/etc/security/limits.confに以下を追記する
* soft nofile 2048
* hard nofile 131072
* soft memlock 64
* hard memlock unlimited




ulimitのエラーは出なくなったが、相変わらず同じ場所でエラーとなる。
root.shに strace(1)をかけて見てみると
ctsctl.binのプロセスが /var/tmp/.oracle/sOHASD_UI_SOCKET というソケットファイルが出来るのを待っている様子が見て取れる。
12964 socket(PF_FILE, SOCK_STREAM, 0)   = 5
12964 access("/var/tmp/.oracle/sOHASD_UI_SOCKET", F_OK) = -1 ENOENT (No such file or directory)
....
CRS-04124:Oracle High Availability Services startup failed.を出力
....
nanosleep(...)
...この繰り返し...

OHASが立ち上がっていないのが原因か。
なので ohasd.binというプロセスを見ていくと、
12969 mknod("/var/tmp/.oracle/npohasd", S_IFIFO|0666) = 0
12969 open("/var/tmp/.oracle/npohasd", O_WRONLY <unfinished ...>
ここが最後の行になっている。NamedPipeの open(2)が終了していない???
じゃあ、ここから吸いだしてあげたらいいじゃないか、ということで
# dd if=/var/tmp/.oracle/npohasd
を実行したら、ohasd.binが動き出した!!
一応必要なプロセスが全部動き始めたようで roo.shの実行が終了しました。

後でググったら、 CRS-4639: Could not contact Oracle High Availability Services

の資料でも ddコマンド使う という方法が載っていました。前のバージョンですが。
ddコマンドで動かすというのは、かなり乱暴だと思いますが、それが対応策で載っているあたりがオラクルです。syslogdが動作していないと発生する、というような記述もあるので、時間があれば後で調べてみようと思います。

ohasdが /var/tmp/.oracle/npohasdの open(2)で止まっていたら、dd(1)で先にすすめることが出来る。

ちなみにOS再起動するたびに dd(1)を実行しています。。トホホ


Oracle Database 11.2.0.2.0
Database自体の導入はスムーズに進みました。
また、今回のデータベースは SYSTEM表領域などはファイルシステム上に、ユーザーデータだけをASM上に作成しています。
で、データを入れてパフォーマンスを測りだしたら、Corrupt Blockのエラーが多発。。。。

データのロード方法などをいくつか試していますが、今のところ、ある程度以上のデータ量だと確実に再現しています。

詳細は次回で。