Google Container Engine (GKE, Kubernetes) を使ってサービスを外部公開する
こんにちは、@s_tsukaです。
今回はGKEを触ってみました。Kubernetesは以前にちょこっと触ってPod立てたくらいで知識が止まってます。
実際にGKE, Kubernetesを使うとなるとこれを使って何らかの仕事をさせたいわけで、特にWebアプリ、Webサービスの場合外部に公開する必要が出てきます。今回はその外部公開まわりを中心に試していきます。
今回はnginxを立てて、それを独自ドメインでアクセスできるようにするのが目標です。
こちらのサイトを参考にさせていただきました。正直やってることはほぼ同じなので、こちらのサイトを見たほうがいいかもしれません。
Kubernetesクラスタを立てる
gcloud container clusters create nginx-example --zone asia-east1-a --num-nodes 2 --machine-type g1-small
この後使うkubectlコマンドはクラスタの操作コマンドなのでクラスタ自体はgcloudコマンドで作成。GUIからやってもOKです。
nginxコンテナ(Pod)を動かす
nginxを動かすための設定ファイルを作成します。
最近ではkind:Deploymentが高機能で良いようですね。
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: nginx-deployment
spec:
replicas: 3
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx:1.11.8
ports:
- containerPort: 80
以下のコマンドを実行します。
kubectl create -f nginx-deployment.yaml --record
これでPodは動いたはずなので確認してみます。
$ kubectl get pods
NAME READY STATUS RESTARTS AGE
nginx-deployment-3181428067-1b03w 1/1 Running 0 2m
nginx-deployment-3181428067-6673x 1/1 Running 0 2m
nginx-deployment-3181428067-jd546 1/1 Running 0 2m
$ kubectl get deployments
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
nginx-deployment 3 3 3 3 2m
ちゃんと動いているようです。
クラスタのWebUIも一応見てみます。
GKEのWebコンソール上でクラスタに接続と出るので、この指示通りに従います。自分の場合はproject名がtsukaby1となっているので、このあたりは各自自分の設定でやりましょう。
あとURLもブラウザに直入力で行くとUnauthorizedになるので、上記のリンクから辿ったほうが良いです。
CUIでわかってたことですが、ちゃんと３つポッドが起動していますね。DC/OSのような何やら期待感が高まるGUIで良いですね。
IPを作る
LBのServiceを作ってExternalIPを割り当ててもらいます。
$ kubectl expose deployment nginx-deployment --port=80 --type="LoadBalancer"
service "nginx-deployment" exposed
$ kubectl get services
NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes 10.247.240.1 <none> 443/TCP 28m
nginx-deployment 10.247.246.196 <pending> 80:31059/TCP 16s
# 少し待つ
$ kubectl get services
NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes 10.247.240.1 <none> 443/TCP 29m
nginx-deployment 10.247.246.196 104.155.237.186 80:31059/TCP 1m
はじめは
GCPのコンソール上でも確認できます。IPが作られてますね。
curlでアクセスできるか確認してみましょう。
$ curl http://104.155.237.186
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
body {
width: 35em;
margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif;
}
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>
<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>
<p><em>Thank you for using nginx.</em></p>
</body>
</html>
きました。成功です！
独自ドメイン(Aレコード登録)
正直Global IPさえ出せれば後はDNSの話な気もしますが、一応独自ドメインも設定しておきます。
自分が持っているtsukaby.comはAWSで買っていて、そちらのRoute53で一通り登録しています。なのでそこでAレコードを追加します。
$ curl -I http://nginx.tsukaby.com
HTTP/1.1 200 OK
Server: nginx/1.11.8
Date: Sun, 12 Mar 2017 17:27:22 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 27 Dec 2016 14:23:08 GMT
Connection: keep-alive
ETag: "5862794c-264"
Accept-Ranges: bytes
追加後にcurlしたところちゃんと接続できました。
これで一通りアプリを公開できるところまで行けましたが、実際に運用すると遭遇しそうな他の操作についても確認していきます。
アプリ（コンテナ）のバージョンアップ
上記のcurlでServer: nginx/1.11.8とありますが、実際には作ったアプリなどはバージョンアップがあると思います。nginxで言うと2017/03/13現在、1.11.9のimageも存在します。そこでバージョンアップをしてみます。
Kubernetesのkind: Deploymentについては以下が詳しいです。ありがたや
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: nginx-deployment
spec:
replicas: 3
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx:1.11.9
ports:
- containerPort: 80
ファイルをもう１つ作って1.11.9とします。
以下のコマンドを実行します。
$ kubectl apply -f nginx-deployment2.yaml --record
deployment "nginx-deployment" configured
$ kubectl get pods
NAME READY STATUS RESTARTS AGE
nginx-deployment-3262692708-9zf20 1/1 Running 0 2m
nginx-deployment-3262692708-br016 1/1 Running 0 2m
nginx-deployment-3262692708-wv2mx 1/1 Running 0 2m
AGEが2mで若くなりました。早速curlで確認してみます。
[tsukaby@tsukamac gke2]% curl -I http://nginx.tsukaby.com
HTTP/1.1 200 OK
Server: nginx/1.11.9
Date: Sun, 12 Mar 2017 17:41:36 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 24 Jan 2017 14:02:19 GMT
Connection: keep-alive
ETag: "58875e6b-264"
Accept-Ranges: bytes
1.11.9になりました。バージョンアップ成功です。
他のアプリも動かす
実際の運用でどうなるかはわかりませんが、１つのクラスタで他の種類のdocker containerを動かしたいシーンは少なからずあると思います。それを想定して、nginxに加えてghost(軽量blog)も動かしてみます。
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: ghost-deployment
spec:
replicas: 1
template:
metadata:
labels:
app: ghost
spec:
containers:
- name: ghost
image: ghost:0.11.7
ports:
- containerPort: 2368
$ kubectl create -f ./ghost-deployment.yaml
deployment "ghost-deployment" created
$ kubectl expose deployment ghost-deployment --port=80 --target-port=2368 --type="LoadBalancer"
service "ghost-deployment" exposed
$ kubectl get service | grep ghost
ghost-deployment 10.247.249.181 104.199.218.54 80:30688/TCP 2m
$ curl -I http://104.199.218.54
HTTP/1.1 200 OK
X-Powered-By: Express
Cache-Control: public, max-age=0
Content-Type: text/html; charset=utf-8
Content-Length: 4524
ETag: W/"11ac-mtweQYo68TX0ynctU+jNcg"
Vary: Accept-Encoding
Date: Sun, 12 Mar 2017 18:27:10 GMT
Connection: keep-alive
GhostはnginxのExpressというフレームワークを使っているのでX-Powered-Byで正しいことが確認できました。
nginxもghostもどちらもLBを作りましたが別々のものですし、IPも別で。target portもghostの方は2368を見るようにしているので(Ghost imageは2368で開けてる)正しく到達できます。
Scale
Podを増やしてScaleするのと、クラスタのサイズ自体をScaleさせるので2種類あります。これは冒頭にも紹介したこちらの記事で十分実験されているので今回は省略します。
まとめ
KubernetesクラスタをGKE上に作成しました。
nginxをKubernetes上で立ち上げました。
nginxをLB Service配下に設定し、LBのGlobal IPを独自ドメインと紐付けてnginxをドメインで参照できるようにしました。
他のPodも立ち上げて１つのクラスタで複数のアプリを共存させました。
Kubernetes、GKE、デプロイも設定ファイルを適用するだけで簡単ですね。今後も他の機能をチェックしていこうと思います。