テンプレートテスト
ブログの説明
ブログの説明2
menu
keyboard_arrow_up
Top
search
close
home
ホーム
computer
PC一般
construction
開発環境・ツール
code
プログラミング
home
ホーム
computer
PC一般
construction
開発環境・ツール
code
プログラミング
ラベル
InfluxDB
の投稿を表示しています。
すべての投稿を表示
ラベル
InfluxDB
の投稿を表示しています。
すべての投稿を表示
2020/02/07
Grafana で凡例をフィールド名にする
update
event_note
label
Grafana
label
InfluxDB
InfluxDB のデータに対して Grafana でパネルを作成したとき、グラフの凡例は `メジャーメント名.集約関数` となりますが、これをフィールド名にする方法です。
## 問題点 通常は以下のように凡例が `メジャーメント名.集約関数` で表示されます。
一応 `alias` で任意の名前をつけることができるので、そこにフィールド名を入力すれば表示を変えることはできますが、それでもメジャーメント名は必ず先頭についてしまいます。
これを、先頭にメジャーメント名がつかないようにして、フィールド名だけを表示するようにします。 ## ALIAS BY に表示したい名前を入力する 1つのフィールドしか表示していないのであれば、これがもっとも簡単です。
### 複数のフィールドを表示している場合 1つのクエリで複数のフィールドを表示している場合、上記の方法だとすべての凡例が `ALIAS BY` で設定した名前になってしまいます。
この場合、以下のようにクエリを分けることで一応対応できます。
しかし、1つのクエリで複数のフィールドを表示している場合は、後述するように `$col` を使う必要があります。 ## ALIAS BY に $col を指定する `ALIAS BY` で指定できる置換パターンの一つに `$col` があります。 - https://grafana.com/docs/grafana/latest/features/datasources/influxdb/ ただし、`$col` を指定した場合に表示されるのは、フィールドではなく集約関数の名前です。
InfluxDB は必ず集約関数を必要とするので、集約関数をなしにすることはできません。 従って、結局全てのフィールドに `alias` を設定してやる必要があります。 そうすれば、凡例が各フィールドの `alias` で入力した値に置換されます。
うーん・・・、フィールド名を表示したいだけなのに結構面倒ですね。 普通に考えて凡例はフィールド名がデフォルトであるべきだと思うんですけどね。
## 参考 URL - https://github.com/grafana/grafana/issues/4655
Read more
2019/06/25
Chronograf で OAuth 認証を行う
update
event_note
label
Chronograf
label
InfluxDB
Chronograf はデフォルトでは認証を行いません。
ユーザーを登録して認証を行いたいなと思いましたが、現時点では OAuth 認証にしか対応していないようです。 - https://docs.influxdata.com/chronograf/v1.7/administration/managing-security/ - https://community.influxdata.com/t/creating-user-for-login-into-chronograf/1009 ちなみに、Chronograf の UI でユーザー登録を行えますが、これは Chronograf ではなく InfluxDB のユーザー登録のようです。 OAuth 認証に使用するサービスはいろいろ選べるようですが、ここでは例として、GitHub アカウントでの OAuth 認証を設定してみます。 ## GitHub アカウントでの OAuth 認証 やり方は以下に書いてあるので、この通りにやるだけなんですけどね。 - https://docs.influxdata.com/chronograf/v1.7/administration/managing-security/#creating-github-oauth-2-0-applications ### GitHub の設定 GitHub にログインし、Settings > Developer settings > OAuth Apps > Register a new application を選択します。 以下のように Chronograf の URL などを入力して Register application をクリックします。
すると `Client ID` と `Client Secret` が表示されるので、これを Chronograf 側に設定します。 ### Chronograf の設定 docker-compose を使っているので、`docker-compose.yml` に設定を追加します。 Chronograf の箇所に以下のように環境変数を追加して起動します。 ```yml environment: - GH_CLIENT_ID=取得した Client ID - GH_CLIENT_SECRET=取得した Client Secret - TOKEN_SECRET=Super5uperUdn3verGu355! ``` `TOKEN_SECRET` は任意の文字列で良いそうです。 この状態で Chronograf を起動してアクセスすると以下のような画面が表示され、GitHub アカウントでログインできるようになります。
## 参考 URL - https://docs.influxdata.com/chronograf/v1.7/administration/managing-security/ - https://community.influxdata.com/t/creating-user-for-login-into-chronograf/1009 - https://qiita.com/taniyam/items/734ac53e1419a708e12d
Read more
2019/06/23
Chronograf を使ってみた
update
event_note
label
Chronograf
label
InfluxDB
以前、InfluxDB を用意し、C# でデータを書き込むプログラムを作成してみましたが、 - [InfluxDB を docker-compose で動かしてみる](https://kuttsun.blogspot.com/2019/06/influxdb-docker-compose.html) - [[C#] InfluxDB へのデータ書き込み](https://kuttsun.blogspot.com/2019/06/influxdb-net.html) データが用意できたら次はそれを可視化したくなるので、まずは InfluxDB 用の可視化ツールである Chronograf を使ってみました。 (追々 Grafana なども使ってみたいと思います。)
Chronograf のインストールについてですが、[InfluxDB のインストール](https://kuttsun.blogspot.com/2019/06/influxdb-docker-compose.html)の時に `docker-compose.yml` に一緒に書いていたので、省略します。 ## 初回起動 Chronograf に初めてアクセスしたら、まずは InfluxDB への接続画面が表示されます。
Get Started をクリックすると、InfluxDB への接続設定画面に移ります。
`Connection Name` は何でも構いません。 また、InfluxDB はデフォルトではユーザー認証を行わないので、`Username` と `Password` は空欄で構いません。 `Connection URL` には InfluxDB の URL を入力すればいいのですが、今回の私の場合、`docker-compose.yml` で `links` で関連付けていたので、Docker のコンテナ名で指定しています。 次に Dashboard の作成画面になりますが、後からでも作成できるので、今回は Skip しました。
次に Kapacitor の接続設定画面が表示されますが、Kapacitor は使っていないので、これも Skip しました。
以上で完了です。 View All Connections をクリックします。
## とりあえずデータをみたい サイドバーから Explore を選択し、 Database, Measurements, Fields, をポチポチ選択してくだけでグラフが表示されました。 楽ちん。
## Dashboard の作成 以前の記事で作成したデータを例として、`CPU` と `Network` のグラフを表示するダッシュボードを作成してみます。 まずはサイドバーで Dashboard を選択し、Create Dashboard をクリックします。
新規にグラフを作成するため、`Add Data` をクリックします。
グラフの作成画面になります。 画面左上でグラフの名前を入力します。 クエリは自分で入力してもいいですが、Database, Measurements, Fields をポチポチ選択していくだけでもできます。 ここでは CPU の全 Fields を選択します。 完了したら画面右上のボタンをクリックします。
これで1つ目として `CPU` のグラフが出来ました。 次に `Network` のグラフを作成します。 画面上部の `Add a Cell to Dashboard` のボタンをクリックします。(文字はマウスオーバーで表示されます)
先ほどと同様に、グラフの名前を入力し、今回は Network の全 Fields まで選択したら画面右上のボタンをクリックします。
これで2つ目のグラフができました。 2つの情報を1画面で見れて便利です。
### テンプレート変数について クエリ入力画面に `:dashboardTime:` という文字がありましたが、これはテンプレート変数というものです。 `:dashboardTime:` の場合は、画面右上で選択した時間に応じて動的に値が設定されます。
`Show Templete Values` をクリックすると、現在の設定によってどのようなクエリになるかを確認できます。
この例では `Past 24h` を選択しているため、現在日時から 24 時間を引いた `now() - 24h` という値がクエリに反映されることになります。
自分でクエリを編集することで、テンプレート変数ではなく固定値に変更できます。
## 参考 URL - https://hawksnowlog.blogspot.com/2017/08/first-chronograf-on-macos.html
Read more
2019/06/22
image
NO IMAGE
[C#] InfluxDB へのデータ書き込み
update
event_note
label
C#
label
InfluxDB
C# で作成したアプリケーションから InfluxDB をデータを書き込んでみました。
まずは .NET 用のクライアントを探してみました。 一応以下が公式のクライアントになるようです。 - [influxdb-csharp](https://github.com/influxdata/influxdb-csharp) しかし、微妙なので、もっと使いやすそうなクライアントを探した結果、以下を使うことにしてみました。 - [InfluxData.Net](https://github.com/pootzko/InfluxData.Net) ## 基本的な使い方 [GitHub](https://github.com/pootzko/InfluxData.Net) で解説されているので、そちらを参照したほうが早いかと。 ## とりあえず適当なデータを作成 InfluxDB を用意してみたものの、とりあえずデータがないと Chronograf や Grafana を試すこともできないので、C# で適当なデータ入れるプログラムを作成してみました。 ### 用意したデータ - `CPU の状態` と `ネットワーク使用量` を記録する想定(Measurement で区別) - CPU と EtherNet はそれぞれ2つあると想定(Tags で区別) - 値はランダム - 30秒ごとにデータを記録している想定で1日分のデータを書き込む 時間の間隔などはデータの書き込み量に応じて適当に決めています。 ### サンプルコード ```cs static async Task Main(string[] args) { var randam = new Random(); var influxDbClient = new InfluxDbClient("http://localhost:8086/", "root", "root", InfluxDbVersion.Latest); // データベースの新規作成 var dbName = "TestDb"; var response = await influxDbClient.Database.CreateDatabaseAsync(dbName); // とりあえず適当なデータを1日分書き込む var dataTimeBase = DateTime.Today.AddDays(-1);// データの書き込み開始日時(昨日からにする) var interval = 30;// 30秒ごとにデータを記録する var count = 24 * 60 * 60 / interval;// 1日分の書き込み回数 var lastProc = 0; var proc = 0; for (int i = 0; i < count; i++) { await influxDbClient.Client.WriteAsync(CreateCpuPoint(1, i), dbName); await influxDbClient.Client.WriteAsync(CreateCpuPoint(2, i), dbName); await influxDbClient.Client.WriteAsync(CreateNetworkPoint(1, i), dbName); await influxDbClient.Client.WriteAsync(CreateNetworkPoint(2, i), dbName); // 書き込む量が多いので、進捗率を表示する proc = i * 100 / count; if (proc != lastProc) { Console.WriteLine($"{proc}% ({i}/{count})"); lastProc = proc; } } Console.WriteLine("Completed"); Console.ReadLine(); // CPU の状態を作成 Point CreateCpuPoint(int id, int index) { return new Point() { // 所属する Measurement の名前 Name = "CPU", Tags = new Dictionary
() { { "CpuId", id }, }, Fields = new Dictionary
() { { "Used", randam.Next(0, 100) },// CPU 使用率 { "Temperature", randam.Next(10, 50) },// 温度 }, // タイムスタンプを指定しなかった場合はサーバー側のタイムスタンプで記録される Timestamp = dataTimeBase.AddSeconds(index * interval),// 時間をずらして記録 }; } // ネットワーク使用量を作成 Point CreateNetworkPoint(int id, int index) { return new Point() { // 所属する Measurement の名前 Name = "Network", Tags = new Dictionary
() { { "EthernetId", id }, }, Fields = new Dictionary
() { { "Send", randam.Next(0, 10000) },// 送信量 { "Recv", randam.Next(0, 10000) },// 受信量 }, // タイムスタンプを指定しなかった場合はサーバー側のタイムスタンプで記録される Timestamp = dataTimeBase.AddSeconds(index * interval),// 時間をずらして記録 }; } } ```
## 参考 URL - https://github.com/pootzko/InfluxData.Net
Read more
2019/06/21
image
NO IMAGE
InfluxDB の概念
update
event_note
label
InfluxDB
今まで RDBMS しか使ったことがないので、InfluxDB の基本的な概念についてメモしておきます。
公式のドキュメントは以下です。 - https://docs.influxdata.com/influxdb/v1.7/concepts/ また、他には以下のページが体系的にまとめられていて分かりやすかったです。 - http://devconnected.com/the-definitive-guide-to-influxdb-in-2019/ これらをベースにまとめていますが、間違ったことを書いているかもしれないので、その場合は指摘していただけると助かります。 **現在勉強中なので、適宜更新していくと思います。** ## 時系列データベース InfluxDB は時系列データベースの1つです。 時系列データベース (Time Series Database : TSDB) とはその名の通り、時系列データを扱うのに特化した DB で、NoSQL の一種だそうです。 具体的には以下のように時系列で変化していくようなデータを扱う場合に使われることが多いそうです。 - イベントログ - センサー情報 RDBMS と比較した場合の TSDB の特徴は、例えば以下のようなものがあるらしいです。 - スキーマレスなため、データの増減に柔軟に対応できる - 古いデータを自動で削除することができる - 時間ごとの処理を定義できる ## 用語 公式にも説明があります。 - https://docs.influxdata.com/influxdb/v1.7/concepts/key_concepts/ ### Database RDBMS では Database はテーブルの集まりであり、Database 自体が1つのインスタンスのことを指します。 InfluxDB でも基本的な概念は同じですが、以下の点が異なるようです。 - 1つの InfluxDB インスタンスで複数の Database をホストできる - Database は複数の Measurement をホストする うーん、いまいちピンとこない・・・。 ### Tags と Fields 値が格納される場所で、RDBMS でいえばカラムに相当します。 この2つの一番の違いは、Tags にはインデックスが付加され、Fields にはインデックスが付加されないことです。 Tags は、Measurement におけるデータを定義する付加情報と見なすことができます。 Tags はデータに関する追加情報を提供しますが、データそのものは提供しません。 一方、Fields はただのデータです。 Tags と Fields の使い分けは以下のような感じらしいです。 - RDBMS でインデックスされるようなデータは `Tags` - Measurement に対する付加的な情報は `Tags` - それ以外は `Fields` Tags と Fields はどちらもキー・バリュー (`key=value`) で定義され、それぞれ `Tags Key` `Tags Value` `Fields Key` `Fields Value` と呼ばれます。 また複数のキー・バリューをまとめてセットと呼び、それぞれ `Tags Set` `Fields Set` と呼ばれます。 つまり、以下です。 - `Tags Set` は `Tags Key` `Tags Value` のコレクション - `Fields Set` は `Fields Key` `Fields Value` のコレクション ### Timestamp 日時です。 時系列データベースでは全ての情報に Timestamp が存在します。 ### Point ある時刻におけるデータの集まりで、以下のデータから構成されます。 - Timestamp - 所属する Measurement - Tags Set (必須ではない) - Fields Set Point は RDBMS でいえばレコードに相当します。 InfluxDB ではこの Point でデータを格納していくようです。 ### Measurement Tags, Fields, TimeStamp のコンテナであり、RDBMS でいえばテーブルに相当します。 (しかし、後述の Series も RDBMS のテーブルだと説明しているサイトもあり、いまいちよくわかりません。) Measurement の名前はそこに含まれる Fields を説明したものにするようです。 ### Retention policy データの保存期間のことです。 デフォルトは `autogen` で、永続的に保存されるようになっているそうです。 ### Series Tags, Measurement, Retention policy の組み合わせで定義されるデータ系列のことです。 例えば、特定の Tags で複数の Measurement からデータ系列を抽出するというような使い方をするようです。 ## 実際に使っていくにあたり ### Measurement と Tags の使い分け 例えばリソースモニターのようなものを考えたとき、以下のようにするのが望ましいようです。 - `CPU` `メモリー` `ネットワーク` などの区別は Measurement で行う - `CPU1` `CPU2` のような区別は Tags で行う
## 参考 URL - https://docs.influxdata.com/influxdb/v1.7/concepts/ - https://blog.web-apps.tech/play_influxdb/ - http://devconnected.com/the-definitive-guide-to-influxdb-in-2019/ - https://blue1st-tech.hateblo.jp/entry/2016/10/18/232018 - https://kakakakakku.hatenablog.com/entry/2018/03/11/224442 - https://yakst.com/ja/posts/4931 - https://kapibara-sos.net/archives/705 - https://qiita.com/dedepi92/items/eaf9f012cc79f784f2d5 - https://yakst.com/ja/posts/4931
Read more
2019/06/19
image
NO IMAGE
InfluxDB を docker-compose で動かしてみる
update
event_note
label
Chronograf
label
Docker
label
Grafana
label
InfluxDB
時系列データベースの InfluxDB を使ってみたかったので、docker-compose を使って試してみました。まぁよくあるやつです。
## 環境 - Docker for Windows 2.0.0.3 - InfluxDB 1.7.6 ### UI について InfluxDB 1.3 以降、Web UI はサポートされなくなったようです。 (Docker コンテナを起動してもアクセスできず、何故だろうとちょっとはまってしまった・・・) その代わり、InfluxDB 専用の可視化ツールとして Chronograf というのが提供されているようです。 他には Grafana などがよく使われるようですね。 ## docker-compose.yml `docker-compose.yml` のサンプルです。 可視化ツールとして Chronograf と Grafana の両方を設定していますが、普通はどちらかしか使わないと思うので、必要に応じて使わないほうを削除してください。 ```yml version: '3.1' services: influxdb: container_name: influxdb image: influxdb ports: - "8086:8086" volumes: - influxdb:/var/lib/influxdb chronograf: container_name: chronograf image: chronograf ports: - "8888:8888" links: - influxdb volumes: - chronograf:/var/lib/chronograf grafana: container_name: grafana image: grafana/grafana links: - influxdb ports: - "3000:3000" volumes: - grafana:/var/lib/grafana volumes: influxdb: chronograf: grafana: ``` InfluxDB へのデータ読み書きや、可視化ツールの使い方については別途記事を書こうと思います。 - [[C#] InfluxDB へのデータ書き込み](https://kuttsun.blogspot.com/2019/06/influxdb-net.html) - [Chronograf を使ってみた](https://kuttsun.blogspot.com/2019/06/chronograf.html) ## InfluxDB へ接続できない場合 私の場合ですが、`docker-compose.yml` で links で各サービスを関連付けていたので、Chronograf や Grafana で InfluxDB へ接続する場合は、localhost などではなく、Docker のコンテナ名で指定しないと繋がりませんでした。
## 参考 URL - https://qiita.com/tukiyo3/items/2037a7da02eb29307764 - https://qiita.com/chroju/items/355f3c6da9f8c4867ba5 - https://blue1st-tech.hateblo.jp/entry/2016/07/04/014614 - https://kapibara-sos.net/archives/698 - https://hawksnowlog.blogspot.com/2017/08/first-chronograf-on-macos.html - https://qiita.com/kanegoon/items/5ade64336d389feea4bc
Read more
前の投稿
ホーム
Translate
Popular Posts
ASP.NET Core で AdminLTE を使用する
TortoiseGit でコミットメッセージを変更する
TortoiseGit でリモートリポジトリのタグを削除する
image
NO IMAGE
ASP.NET Core におけるフロントエンドのパッケージ管理
image
NO IMAGE
C# と C/C++ のライブラリを混在させる場合の構成
image
NO IMAGE
[C#] Dictionary の キーがタプルの場合に JSON へのシリアライズとデシリアライズを行う方法
image
NO IMAGE
TortoiseGit でブランチ間の差分を見る
image
NO IMAGE
ASP.NET Core (.NET Core) でバックグランドタスクを起動する
image
NO IMAGE
.NET アプリケーションを XCOPY 配置で配布する
image
NO IMAGE
TestLink で LDAP 認証を行う
Labels
.NET Core
31
.NET Framework
17
.NET Standard
2
AdminLTE
1
Apache
3
AppVeyor
2
AsciiDoc
3
ASP.NET Core
55
Atom
4
AWS
2
AWS Cloud9
4
blockdiag
1
Blogger
10
Bootstrap
3
C/C++
6
C#
106
CentOS
3
Chrome
1
Chronograf
3
Codecov
1
CSS
1
Docker
28
DokuWiki
4
Doxygen
1
draw.io
1
Electron.NET
2
Entity Framework Core
9
Excel
2
FFmpeg
2
Firefox
5
Git
12
GitBook
4
GitBucket
7
GitHub
7
GitLab
30
Go
1
Google
1
Google Cloud Platform
1
Grafana
5
HTML
5
IIS
8
InfluxDB
6
JavaScript
7
Jenkins
7
Linux
25
Log4View
1
MahApps.Metro
3
MaterialDesignInXamlToolkit
1
MVC
1
MVVM
6
NLog
3
Node.js
3
npm
1
OpenSSL
3
ownCloud
2
Pine Script
1
PlantUML
5
PowerShell
7
Prism
2
Python
11
Razor
3
Redmine
30
remark.js
2
rocketchat
4
Ruby
3
SignalR
1
Socket.IO
1
SonarQube
5
Sphinx
10
SQL Server
5
SQLite
1
t
1
TestLink
2
Tomcat
2
TortoiseGit
10
TortoiseSVN
2
Trading View
1
Travis CI
1
Ubuntu
13
Visual Studio
39
Visual Studio Code
9
Vue.js
8
Windows
56
Windows 10
4
Windows ADK
1
Windows API
2
Windows Embedded
4
wkhtmltopdf
2
Word
3
WPF
12
WSL
1
Xamarin
1
xUnit
5
アプリケーション
1
デザインパターン
1
テスト
3
バッチファイル
2
ぴよ
3
プログラミング
3
ライセンス
1
ラベル
3
ラベル1
2
英語
2
雑記
1
書籍
1
数学
1
正規表現
1
Blog Archive
▼
2022
(1)
▼
2月
(1)
例えばボタンをクリックしたときに重い処理を実行する場合など、そのまま処理すると GUI が固まって...
►
2021
(24)
►
5月
(7)
►
4月
(8)
►
3月
(2)
►
2月
(2)
►
1月
(5)
►
2020
(60)
►
12月
(1)
►
11月
(3)
►
10月
(3)
►
9月
(3)
►
8月
(3)
►
7月
(7)
►
6月
(7)
►
5月
(2)
►
4月
(6)
►
3月
(6)
►
2月
(7)
►
1月
(12)
►
2019
(92)
►
12月
(13)
►
11月
(9)
►
10月
(3)
►
9月
(2)
►
8月
(3)
►
7月
(5)
►
6月
(11)
►
5月
(6)
►
4月
(17)
►
3月
(9)
►
2月
(6)
►
1月
(8)
►
2018
(100)
►
12月
(1)
►
11月
(11)
►
10月
(8)
►
9月
(6)
►
8月
(10)
►
7月
(10)
►
6月
(8)
►
5月
(9)
►
4月
(8)
►
3月
(14)
►
2月
(4)
►
1月
(11)
►
2017
(117)
►
12月
(14)
►
11月
(20)
►
10月
(17)
►
9月
(19)
►
8月
(10)
►
7月
(8)
►
6月
(3)
►
5月
(6)
►
4月
(5)
►
3月
(2)
►
2月
(8)
►
1月
(5)
►
2016
(91)
►
12月
(5)
►
11月
(9)
►
10月
(11)
►
9月
(9)
►
8月
(6)
►
7月
(14)
►
6月
(14)
►
5月
(11)
►
4月
(10)
►
3月
(2)
►
2015
(23)
►
12月
(4)
►
11月
(2)
►
10月
(8)
►
9月
(8)
►
7月
(1)
►
2013
(3)
►
11月
(1)
►
9月
(1)
►
7月
(1)
►
2012
(2)
►
7月
(1)
►
6月
(1)
►
2011
(1)
►
9月
(1)
►
2009
(1)
►
7月
(1)
►
2008
(2)
►
11月
(1)
►
7月
(1)
►
2007
(3)
►
10月
(3)