32nd Diary(2008-10-03)

トップ «前の日記(2008-10-02 (Thursday)) 最新次の日記(2008-10-04 (Saturday))» 編集

2008-10-03 (Friday) [長年日記]

■ OSC 2008 Tokyo/Fall

というわけで、きています！

Business Dayだけど普通に有給使ってるけどな。っつーか、技術者の好奇心に理解がないとこれだから・・・いつか解決する問題だと信じたい。

朝は@LINDさんたち、スタッフに紛れながら会場準備しちゃったりなんかしてね（笑）。なんか何か抜けきらないんだよね。純粋にお客さんとしているなんてことできない。みんな協力してこそのオープンソースコミュニティだよね！！

■ 仮想化環境におけるベンチマーク結果報告

シトリックス・システムズ・ジャパンと協力して仮想化環境についてのベンチマーク

資料請求 / PDF or PPT
- miyahara /at/ VirtualTech.jp

設計・導入・運用保守
- ベンダーニュートラルにさまざまなシステムから提案する
- セカンドオピニオンも積極的に導入

仮想化環境設計のポイント
- 目的の明確化
  - 既存環境の移行
  - 新規システム構築
- 重視するのは
  - コスト
  - 機能
  - 性能

ハードウェア選定のポイント
- CPU
- メモリ
- ストレージ

ストレージの選定が難しい

FC接続: 高速だが気軽ではない
iSCSI: 小規模向けに人気急上昇
NFS接続: 扱いやすい
DRBD: 2ノードで冗長化できる

ベンチマークではユーザ環境にあわせて行うべき

VMmark
- DBやWebなど、複数のVMを1セット（タイルとよぶ）にして、ハードウェアのキャパシティを測定
SPECweb, SPEC*
- 業界標準のベンチマークを多数提供
- ライセンスの購入が必要
  - そんなに高くはない
Iometer
- ディスクIOを測定するベンチマーク
ab(Apache Bench)
- Apacheの性能測定用

ベンチマーク負荷作業は外部から行う

仮想マシン内では時間測定が不正確
内部で実行する場合でも、時間は外部から実行時に取得する

キャッシュバッファの影響を考慮

レイヤーが一段階増えることで構造が変わり、キャッシュが増える場合もある、つまり、見かけ上の性能が物理サーバを越える場合がある
扱うデータ量や、VM数が増えればキャッシュがきかなくなり、性能低下を起こす場合もある

ベンチマークまとめ
- 仮想化によるオーバーヘッドはかなり少なくなってきた
- ストレージによる性能がネックになりやすい
- メモリを多く搭載することでピーク性能をあげることができる

最高性能よりも必要性能を見積もることが重要

■ Mondo Rescueでシステムバックアップ/リストアのすすめ

Mondo Rescueのメリット

システム再開までの時間短縮
リストア先は同一サーバでなくてもよい
- ただし、カーネルモジュールの調整は必要
- マイグレーションのように使うことができる

Mondo Rescueの特徴

稼働中のシステムを停止せず、丸ごとバックアップできる
- リモートファイルサーバにバックアップすることもできる
バックアップ環境に応じて細かいバックアップを行える
cdrecord, growisofsにてISOイメージを作成できる
作成したメディアを検証することができる
ACL, ファイルパーミッション, Symbolic linkなどのファイル特性も復旧できる
リストア環境に応じて細かいリストアを行う

Mondo Rescueの運用例

システムバックアップ・障害時のリストア
- クラスタシステムの復旧
  - 煩雑なクラスタ設定を即時に復旧

単一マシンへのシステム複製（クローン）

大量なマシンへの複製
- ロードバランサ配下のWebサーバ
  - サーバを増設し、すぐにスケールすることができる

■ AMDソフトウェアストラテジと仮想化

Mondo Rescueのデモがあまりに暇なので（ついさっき説明したフルバックアップとフルリストアなんてデモしなくていいよ。質疑応答をしなさい。）途中で退出して、大急ぎでAMDの講演会場へ。すでにMondo Rescueのデモが規定の時間を10分くらいオーバーしていたので、AMDの講演は終わっていた。

せめて、配付資料だけでもいただけないか・・・と問い合わせてみたら、「今回の講演内容はNDAの内容も含んでいたので、紙の資料は用意してないんですよ。8割くらいの情報は弊社のサイトで確認できますので、すみませんがご了承ください。」

はいはい、社会人としてのオレ。オワタ、オワタ。ちょー、がっくし。明らかに出るセッション間違えたわ・・・こっち出とくんだったぁぁぁぁぁ！！！！！！

■ オープンソースでシステム監視！統合監視ソフトウェアZABBIX

システム運用管理の現状と課題

安価なIAサーバ単価の低下
- 管理台数の増加
コスト削減による人手不足

効率よくシステムを監視する方法はないだろうか

効率よいシステム管理とは

システムの「見える化」

導入事例

ZABBIX導入前

システム規模
- サーバ 50台
- ネットワーク機器 10台

監視方法
- スクリプトで障害検知
- 障害発生時は担当者へメール
- MRTGを用いてネットワークトラフィックをグラフ化

ZABBIX導入前の問題点

スクリプト・設定ファイルの数が多い
目的によって使用するツール・配置場所が異なる

監視システム自体の全体像の把握、構成管理が煩雑

障害が発生した通知のみ

過去の情報の蓄積がないため、傾向の分析などができない

ZABBIX導入後

スクリプトファイルの削減
監視ツールの一元化
監視設定の一元化
監視データの一元管理と長期保存

運用管理負荷軽減・システム全体の見通しがよくなった

ZABBIX概要

ZABBIX = 統合監視
HinemOS = 統合運用管理

HinemOSのようにジョブ管理やスケジューラはない
監視のみに目的を絞ることで簡易な設定で統合監視できる

統合監視の定義

監視機能
表示機能
障害検知・通知機能

統合監視ソフトウェア

オープンソース

Nagios
BigBrother(Hobbit)
Hinemos

商用ソフトウェア

JP1/NNM
WebSAM
System Walker

オープンソース製品の課題

設定や設定管理が煩雑
設定をテキストエディタで行うなどLinuxの知識を要する
大規模システムでの利用が困難

商用製品

非常に高価
高機能だが、不要な機能が多い

ZABBIXの特徴

オープンソースソフトウェア
さまざまなOSに対応した専用エージェント
SNMP v1, v2, v3 に対応
エージェントレスの監視に対応
Webインターフェースから選択式による監視設定・表示が可能
柔軟に設定可能な監視・障害検知・通知機能
マップ・グラフ・複数グラフの表示機能
監視設定・収集データをRDBMSで一元的に管理可能
テンプレートによる監視・障害検知・グラフ設定の管理
ユーザスクリプトによる監視項目の拡張機能

ZABBIX動作環境

ZABBIX Server

MySQL
PostgreSQL
Oracle
SQLite

管理者はApache + PHPで表示や設定を行う

Client

ZABBIX Agent
SNMP
ping・ポート監視

ZABBIX対応プラットフォーム

ZABBIX ServerがWindowsやNetwareで動かない
他はZABBIX ServerもZABBIX Agentも動作する

Solaris, AIX, HP-UXなどもサポート

ZABBIX Agentの基本機能

基本監視項目

CPU使用率
ディスク使用率
メモリ使用率
ネットワーク使用率
ポート監視
プロセス監視
ログ監視
ファイル監視

など

監視項目を独自に拡張することもできる

表示機能

監視データの表示
障害発生所の一覧表示
グラフ表示
マップ表示
スクリーン機能（レポート作成機能）

通知機能

メールによる通知
通知先・障害レベルの設定が可能
- 通知するユーザやグループを設定可能
- 通知する障害レベルを設定可能
スクリプトの実行
- 自動でプロセスを再起動
- 特定アプリケーションを実行

まとめ

ZABBIXは中小規模のシステム監視に最適

商用製品は高価
統合監視に特化したシンプルな製品

シェルスクリプト・MRTGの置き換えができる

複数のツール・設定を一元管理
過去のデータを蓄積・傾向分析ができる

情報源

ThinkIT

統合監視ツールZABBIX事始め
オープンソース統合監視ツール導入指南

Software Design 2008年 5月号・6月号

「統合監視ツールZABBIX　〜そのポテンシャルを探る〜」

Q and A

インポートとエクスポートをWebでできる
データベースを利用しているのでこれを移行しても大丈夫

■ 高可用性iSCSIターゲットをOSSで作る！

drdb-kmp-smp
iscsitarget
kernel-source
gcc
linux-ha
- Heartbeat
- chkconfig heartbeat on
STONITH
- スプリットブレインを防ぐ
- 死にかけたマシンの電源を確実に落とす
  - HP iLO
  - IBM BladeHPA
  - DELL BMI

あとは

ハンズオン的にiSCSIの使い方を説明

ジャンケンに勝ってSuSE LinuxのマスコットGeekoの人形をもらった！！

■ 話題のHadoopとかって、なんなのよ？

分散ファイルシステムの概要

分散ファイルシステムとは、ネットワークファイルシステムの一種であり、単一のファイルシステムが複数の物理コンピュータノードに分散して存在する形態のものを指す。

クライアントからは複数のコンピュータがみえず、あるファイルシステムにファイルがあるようなシステムにしかみえない。

通常のファイルシステム

ファイルシステムはコンピュータのリソースを操作するための、オペレーティングシステムが持つ機能のひとつ。

ext2, ext3, ReiserFS, FAT, NTFS

分散ファイルシステム

複数のコンピュータから構成されるファイルシステム

分散ファイルシステムが必要とされる背景

高速演算処理やデータアクセスの実行に対するニーズが高まっている
HW構成は安価なPCサーバを大量に並列に並べたクラスタシステム

スケールアップ
- 高価になりがち

スケールアウト
- 管理性に難あり

データのニーズ
- 年々高まり、それにつれて要求されるストレージ容量もテラバイト級からペタバイト・エクサバイト級といった具合に指数関数的に増えている

分散ファイルシステムの出現

安価なハードウェアを用いてスケーラブルで高速性、耐障害性、信頼性の高い分散ファイルシステムが出現

簡単に分散ファイルシステムを構築できるようなフレームワークが出現

Lustre File System

CLuster File System社によって開発されたオープンソースソフトウェアの分散ファイルシステム
Lustreは大規模システムの構築を目的として設計されている
オブジェクト指向のストレージシステム

Lustreの構成要素
- OSC - Object Storage Client - ユーザからファイルのread/write要求を受け、実際にファイルのread/writeが行われるまでの作業を、MDSやOSTとの間で実施する。
- MGS - ManaGement Server - Lustreファイルシステムを構成するクラスタの情報を管理する。
- MDS - Meta Data Server - MDSはファイルシステムのの位置情報を管理している。
- MDT - Meta Data Target - MDTはMDSで管理されているストレージである。
- OSS - Object Storage Server - OSSはストレージを管理しているサーバである。OSSではClientからの要求に従ってファイルをストレージに書き込む処理やデータをClientに送信する処理を行う。
- OST - Object Storage Target - OSTはOSSで管理されているストレージである。ファイルやデータはOSTにread/writeされている。

Lustre 構成要素・相互関係

スケーラビリティの実装
- メタデータとデータの分離
- スケーラブルなメタデータ
- スケーラブルなデータ
- 効率的なロック制御
- オブジェクト指向アーキテクチャ

Lustreの特徴

冗長性はハードウェアで担保している
OSTの数を増やすことでI/Oの論理帯域を増やすことができる
同じくOSTの数を増やすことでI/O性能はほぼリニアに向上する
テラバイトクラスのファイルシステムに対応
POSIX APIをサポートしているため、既存のアプリケーションに変更不要
- 多くの短いトランザクションより、少なめの長いトランザクションが得意
- 特定の物理ディスクにI/Oが集中するようなトランザクションは苦手
クライアントは現在Linuxをサポートしている。Solaris版を開発中

Lustreの性能

File I/O % of raw bandwidth: > 90%
Achieved single OSS I/O: > 2.5GB/s
Achieved single client I/O: > 2.0GB/s
Single GigE end-to-endd throughput: 118 MB/s
Achieved aggregate i/O: 130 GB/s
Metadata transaction rate: 15,000 ops/s
Maximum clients supported: 25,000
Maximum file/file system size: 1.25PB / > 32PB

Hadoop

Hadoopの特徴

拡張性
- ペタバイトクラスのデータを格納・処理するためのフレームワーク
経済性
- 安価なPCを利用
効率性
- 効率的な並列処理による高速化
信頼性
- 自動的にデータの複数コピーを作成することで高信頼性を確保
  - データを細かなブロックに分散しレプリケートする

Hadoopの設計

現在は2000ノードクラスで実行
- 将来は10,000ノードクラスを目標
ハードウェアの故障を前提に設計
- 各々のノードがデータの一部を保存

Hadoopの構成要素

HDFS(Hadoop Distributed File System): Javaで実装されたオープンソースの分散ファイルシステム
Hadoop Map/Redue: Javaで実装されたオープンソースの分散処理フレームワーク
hBase: Javaで実装されたオープンソースの分散型・列指向なデータストア

Hadoopの構成

ファイルはブロックに分割されそれぞれレプリケーションされる
- 複数のDataNodeをRackとして扱う
- ブロックは複数のRackにまたがってレプリケーションされる

重要な概念

Hadoop: JobやTaskを実行し、データを並列・分散環境に保存するシステム全般のこと
Map/Reduce: Hadoopで実行するプログラムが採用しているプログラミングスタイル。inputが複数に分割され、独立して処理される。個々の処理の結果がグループとして集められ処理される。
Job: ひとつのMap/Reduceプログラムを実行するために必要なクラスやライブラリを集めたもの。通常はひとつのjarファイルとして集められ、「Jobファイル」と呼ばれる。
Task: 個々のmapやreduceの処理を実行するプログラム。JobTrackerが選択したTaskTrackerノードで実行される。
HDFS(Hadoop Distributed File System): Hadoopプログラムのinputとouputファイルを格納する方法。high input/output speed

特徴

汎用のファイルシステムではない
- インタラクティブな使用よりバッチシステムでの使用向き
- 書き込みよりも読み込みに強い
大きいサイズのファイルアクセスを得意とする
- Gbyte - Tbyte クラス
HDFSはJavaで実装されている

Name Node

NameNodeにはHDFSのメタデータが格納されている
データはNameNodeの中には流れない
ファイルシステムの名前空間を管理
クライアントがファイルへのアクセスを制御

Data Node

ファイルはひとつ以上のブロックに分割され、ひとつのDataNodesに分割される。
NameNodeはファイルのOpen/Close/renameなどのファイルシステム名前空間操作を行う。
DataNodeはNameNodeからの指示でブロックの作成・削除・レプリケートを行う。

メタデータの保全とFsImage, EditLog

FsImageとEditLogはHDFSの中心データ構造
- これらが破損するとHDFSが機能できないことがありうる
- NamenodeはFsImageとEditLogの複数のコピーを維持するように構成されることがある
- FsImageとEditLogへのどんな更新でFsImageとEditLogsの各々が同期して更新されるトリガーになる
- FsImageとEditLogの複数を同期する処理はNameNodeの名前空間業務の作業効率を低下させる可能性があるが、許容範囲といえる
- Namenodeが起動されるときには最新の一貫したFsImageとEditLogを選ぶ

その他のファイルシステム

Google File System

Namenodeの考えがない

Red Hat Global File System

16TBまでのサポート

まとめ

性能・信頼性が向上し、現場で使えるようになってきている
システムの構成上、構築やノードの管理が大変

■ Mozilla と探る Web 近未来〜 Firefox 3.1 の果たす役割〜

みんなGoogle Chrome使ってる？

取材が増えているがFirefoxについての取材が少ない・・・

すべてを知っている人は、誰もいない・・・ - Nobody knows anything. by Mozilla Corp CEO John Lily

アメリカのITの現状を表している一言

Mozillaとは

グローバルなオープンソースプロジェクト
AOLから離脱
中間責任法人

ブラウザ

InternetExplorer 72% - ビジネス
Opera - サービス・サポート
Safari 7% - ビジョン
Chrome 1% - Webアプリ・優秀な人材
Firefox 20% - Chaordな組織体
- オープンソース組織体
- ボランティアベースの開発

Mozillaは、ソフトウェア開発組織として "Chaordic system" を目指す

複雑なものを作るときに秩序とカオスの両方の特性を統合したシステム
- さまざまな発言や意見を受け入れる
- コミットできる人間を絞り込むなど

Firefox 3.1 - aka.dynamis

Shiretoko - Firefox 3.1のコードネーム

Firefox 1 - ブラウザに選択肢を提供
Firefox 2 - ブラウザの革新をリード
Firefox 3 - アプリケーションプラットフォームへ

Webアプリケーション

http://280slides.com/

お絵かき

JavaScript + Canvas

既成概念

高度なデザインはFlash
RIAは専用のプラグインで
Webでxxxはできない
JSのコードが膨大に必要

新機能

タブ切り替えで縮小プレビュー
全タブからの一覧表示と検索
タグ名の自動補完
ブックマークの一括編集
スマートロケーションバーの改善
プライベートブラウジングモード
HTML5 <audio> <video>
Ogg Vorbis/Theora デコーダ搭載
ドラッグ & ドロップAPI
クロスサイトXMLHttpRequest
ダウンロードフォント(@font-face)
<script defer="defer">で遅延評価
Canvasでさまざまな機能が追加される
CSS3メディアクエリーなど
CSS3 text-shadow, box-shadow, colum-rule
TraceMonkey - New JavaScript Engine
JSON native support - converting to DOM, Offline Cache

Canvasのデモ

回転する矩形の中で映像再生などができる

TraceMonkey

SpiderMonkey => TraceMonkey
Adobeから貢献されたTamarinベース
新しいタイプのJITコンパイラを搭載
- 空間的な局所性を配慮したコンパイル
Andreas Gal(UC)らの研究成果を反映
少ないメモリで高速な処理を実現
目標はC言語などに匹敵する処理速度
Chromeが得意と詠っている再帰処理も速くなる

これからブラウザで

Picasa
PhotoShop
GarageBand
Font Edit
Movie?

Firefox 3.1 - デスクトップの置き換えへ

Fennec - Mobile Firefox
Ubiquity

告知

11月16日にFx Developer Conferenceを開催予定

質問

んーっと。JITということで、中間言語のようなものを扱ってJavaScript以外の言語をサポートする予定とかありませんか？と質問してみた。

回答は。そういった仕組みはいまのところないが、内部的にはPythonのエンジンを持っているらしい。ただ、ひとつのエンジンが枝分かれしているわけではなく、完全に独立したエンジンとして実装されている。という話だ。

うーん。RubyとかRubyとかRubyとか使えるようにならないかなぁ・・・っても、他のブラウザもサポートしないと使えないので、ダメだよなぁ・・・

■ 今日のつぶやき

10-03 04:50 > [32nd tumblr.] だるまさんが転んにゃ‐ニコニコ動画(秋) http://tinyurl.com/4f6e7b
10-03 06:43 > MacでRubyのtrunkをビルド。しかし、現地に電源あるかわからんので、ここいらで自重しとこう。
10-03 07:56 > 会社に行ってメールの処理をしてからでた。
10-03 07:57 > 今電車の中でRubyのtrunkをテストしているところ。なんとはなしにe-mobileを使っているが、便利だなぁ・・・
10-03 07:59 > やはりWILLCOMはWILLCOM COREのサービスがどれくらいのものかを確認するまで音声のみの用途で使うことにしよう。
10-03 08:00 > っちゅーわけで、OSC 2008 Tokyo/Fall いきまっせ！！よろしゅうお願いします！！！！！
10-03 08:06 > OSC参加する方たち、よろしくお願いしま〜す！！　http://search.twitter.com/search?q=OSC
10-03 08:23 > んあー。BigDecimalの精度についての問題を直したつもりでいたけど、なんかダメじゃん。固定した高い精度に対して固定した値を用意して比較すればいいのか。
10-03 08:25 > /usr/bin/vim で :r が使えなくてしょんぼり。
10-03 08:34 > はてな重くね？
10-03 08:35 > 参照は軽いけど、書き込みが遅い状態になってるみたい
10-03 08:39 > 寝るわ。
10-03 08:43 > [32nd Diary] 今日のつぶやき http://tinyurl.com/3kru8y
10-03 10:00 > OSC fallで OSC 2007 Tokyo/Fallがトップにくるのはどうなんだろう・・・
10-03 10:02 > 仮想化環境におけるベンチマーク結果報告のセッションだな。まずは。
10-03 10:04 > 二本目のセッションはMondo Rescue と AMDソフトウェアストラテジと仮想化のセッションで迷ったが、職場の理解はなさそーなので前者を聞くことにした。自分がやりたいこと、知りたいことを知らなきゃはじまらない。
10-03 10:04 > @hatomura おはようさんでーす。
10-03 10:07 > @mihochannel これでーす。http://tinyurl.com/3wpmxv
10-03 10:08 > @mihochannel OSC 2008 Tokyo/Fallというやつです。Tokyo/Springということで、春と秋の二回に開催しているOpenSourceConferenceというお祭り的イベントです。
10-03 10:11 > とりあえず、朝一はスタッフに紛れて会場作りをしていたりｗｗｗｗ
10-03 10:17 > ロギングするかな。
10-03 11:52 > Mondo Rescueのデモが暇すぎる
10-03 11:52 > if=/dev/zero of=/dev/sda とかやって。立ち上がらないの確認してリストアとかしてんの。めんどくせー。どっかいくかな。
10-03 11:53 > [32nd Diary] 仮想化環境におけるベンチマーク結果報告 http://tinyurl.com/54a38r
10-03 11:53 > [32nd Diary] OSC 2008 Tokyo/Fall http://tinyurl.com/523528
10-03 11:54 > [32nd Diary] Mondo Rescueでシステムバックアップ/リストアのすすめ http://tinyurl.com/4ygcl3
10-03 12:41 > @mihochannel やは。あげますよー。なんらかの手段で（笑
10-03 12:45 > よくわかんないけど、真面目なオレを配信してみる。　http://www.ustream.tv/channel/takano32
10-03 12:46 > Broadcasting live now! See me at http://ustream.tv/channel/takano32
10-03 12:46 > これからZABBIXのセッションだったっけな。
10-03 12:47 > 今のうちに日記でも更新してみるか。
10-03 12:47 > @mihochannel ほーい。了解でーす。
10-03 12:53 > 気ままに更新してみた。ハッキリ言ってくやしい。セッションの選択をミスったぁぁぁぁぁ。　http://tinyurl.com/4h3yze
10-03 13:46 > [32nd Diary] AMDソフトウェアストラテジと仮想化 http://tinyurl.com/4h3yze
10-03 13:47 > オープンソースでシステム監視！統合監視ソフトウェアZABBIX http://tinyurl.com/4eekmf
10-03 14:43 > [32nd Diary] オープンソースでシステム監視！統合監視ソフトウェアZABBIX http://tinyurl.com/4eekmf
10-03 14:43 > [32nd tumblr.] DRBD:What is DRBD http://tinyurl.com/4bf9e4
10-03 14:43 > [32nd tumblr.] “iLO（Integrated Lights-Out）とは、HP ProLiantサーバ、Integrityサーバ、HP9000サーバのエントリモデル.. http://tinyurl.com/4wmzhs
10-03 14:43 > [32nd tumblr.] iSCSI - Wikipedia http://tinyurl.com/4xs4sp
10-03 15:40 > Hadoopの話を聞いてるんだが、FreeNetとかを思い出すような仕組みだなぁ。わかりやすく言うと、ファイルが紛失しないWinnyネットワーク？みたいな？
10-03 15:41 > レプリケートの数をアプリケーションが決めることができるってのがでかいな。
10-03 15:45 > [32nd Diary] 高可用性iSCSIターゲットをOSSで作る！ http://tinyurl.com/3tccdk
10-03 16:02 > Mozilla Japanの話を聞いている。Google Chrome使ってる？」吹いたｗｗｗ
10-03 16:02 > Google Chromeと競合するのはMozillaのプロダクトだとPrism？かな？
10-03 16:04 > Mozilla Corp CEO John Lily - Nobody knows anything.
10-03 16:41 > [32nd Diary] 話題のHadoopとかって、なんなのよ？ http://tinyurl.com/46lmlf
10-03 17:01 > さて、すべてのセッションが終わったぞ。
10-03 17:02 > ちょい、出入り口でアンケートに答えながら野良の飲み会がないかみてみるかぁ。
10-03 17:44 > [32nd Diary] Mozilla と探る Web 近未来〜 Firefox 3.1 の果たす役割〜 http://tinyurl.com/4brypl

Tags: Twitter

[ツッコミを入れる]

[]

本日のPingbacks(全0件)