kubernetes meetup tokyo #3


オープニング:
slack.kubernetes.io
#jp-users
#jp-events

1:jyoshise
k8sの上でcloud foundary
ライフサイクル管理を行いサービス提供するための仕組みとは。
HPEはk8sベースのCaaSプラットフォームを構築。Cloud foundary自体をコンテナサービスとして提供。

Helion Control Plane
= k8s + 認証基盤 + Helion Service manager
残りはコンテナ化したサービスになる

リポジトリとひも付き、コミットされたら自動デプロイ

TerraformがopenstackのAPIを叩く

volumeはGlusterfs
deployment利用。deployment.ymlのもう一段上のラッパーみたいな感じ。

ログはflight recorder podに集められて、logstashなどに送られる。

2:Z lab
kubernetes as a service
数万台のnode
非同期でサーバー構築
フェイルオーバー、処理を中断しても再開可能
specとstatusの差分検知、同期、差分反映

k8sをフレームワークとして利用
ThirdPartyResource
Informer Framework
Rate Limiting Queue

Controllerはpodとしてデプロイ。ユーザーはアプリ開発に専念できる
gcloud containerを自前で作成

3:
kube-awsのメンテナ
コンテナ、podの監視にdatadog
クラスタ内の問題児用のダッシュボードを作成
kube-dnsやfluentdなど
ロギングはfluentdとstackdriver。楽をする。stackdriverは取りこぼしない
s6-overlayのinit processでlogrotateやfluentdのpodを設定
multi-azで構成、社内サービスとも連携
コンテナイメージはなんでもok、k8sが担当じゃなくても大丈夫。node追加や削除はk8s担当じゃなくてもできるようにする
kubectlは全員使えるようにする
cluster-autoscaler pendingになっているpodが動いているノードの所属asgのサイズ調整をする
asgがzoneマタギのとき、どっちのazにnodeが増えるかわかんない
asgをmulti-azにするとscalingできない

kops or kube-aws

etcdはquorumベース、最低3台。tokyoリージョンだけどユーザーには2azしか公開されてない
1a に1台、1bに2台だと、2台死んだときにサービス停止になる

logrotate

copytruncateなし:ログローテートした後にコンテナログがでなくなる
copytruncateあり:ログローテート中のログが消える

kube-dnsが不安定、数日に一度podがいくつか落ちる
数分で復旧するが、名前解決ミスるようになってしまうのでnodeを作り直さないといけない

private subnet上にclusterを作成すればよい

kubectl drainして全podをgraceful stopしている

logrotatewaitみたいな設定をfluentdにいれればcopytruncateなしでok
NodePortでService立てて、LBは別途(k8sの管理外)で作ってる
テスト環境はminukube

LT:
tkusumi

kubecon
podのscalerはcpuとram両方が必要
metaparticle
マスターをkubectlでいじる
2000nodeが限界:v1.4
kubecton2017: 12月

tatsuhiro_t
ingress controller + nghttpx controller

superbrothers

1.5のいいところ
kubeletで認証・認可機能が追加
kubectl get rs nginx -o yaml | jq ‘.status.conditions.message’
とかでpodのeventから失敗した理由が取得できる
kubectl apply –pruneで不要なdeploymentを削除できる

serviceでクラスタ外のサービスを設定できる: externalname
minikubeなどで使う

cluster-proportional-autoscalerをつかうと、node台数でスケールorノットを設定できる

kubectl drain
pod distruptiojn budgetリソースを使うと、最低限サービス維持に必要なレプリカ数を下回らないようになる

Ladicle

opentracing:各種分散トレーシングを実行
openstackを全部コンテナ化、問題の検証ができない
全部見れる

hiroyuki_Dev

1日数十テラ
前処理系ETLをk8sで構築, RSに連携
dockerで複数サーバーの管理したいが、負荷分散、並列、自動リカバリ、コンテナの一括分散制御

kubectl exec をUIからできるようになる
これはまだリリースされてないdemoらしい

シェアする

  • このエントリーをはてなブックマークに追加

フォローする