Kong自定义golang插件在kubernetes设置中不起作用

分享于2022年07月17日 go kong kong-plugin kubernetes kubernetes-helm 问答
【问题标题】:Kong自定义golang插件在kubernetes设置中不起作用(Kong custom golang plugin not working in kubernetes setup)
【发布时间】:2022-06-11 00:27:24
【问题描述】:

我按照来自 github repo https://github.com/redhwannacef/youtube-tutorials/tree/main/kong-gateway-custom-plugin 的示例编写了名为 go-wait 的自定义 golang kong 插件

唯一的区别是我创建了一个自定义 docker 映像,因此 kong 默认情况下会在其 /usr/local/bin 目录中包含提到的插件 这是dockerfile

FROM golang:1.18.3-alpine as pluginbuild
COPY ./charts/custom-plugins/ /app/custom-plugins
RUN cd /app/custom-plugins && \
    for d in ./*/ ; do (cd "$d" && go mod tidy && GOOS=linux GOARCH=amd64 go build .); done

RUN mkdir /app/all-plugin-execs && cd /app/custom-plugins && \
    find . -type f -not -name "*.*" | xargs -i cp {} /app/all-plugin-execs/

FROM kong:2.8

COPY --from=pluginbuild /app/all-plugin-execs/ /usr/local/bin/
COPY --from=pluginbuild /app/all-plugin-execs/ /usr/local/bin/plugin-ref/

# Loop through the plugin-ref directory and create an entry for all of them in 
# both KONG_PLUGINS and KONG_PLUGINSERVER_NAMES env vars respectively
# Additionally append `bundled` to KONG_PLUGINS list as without it any unused plugin will case Kong to error out

#### Example Env vars for a plugin named `go-wait`
# ENV KONG_PLUGINS=go-wait
# ENV KONG_PLUGINSERVER_NAMES=go-wait
# ENV KONG_PLUGINSERVER_GO_WAIT_QUERY_CMD="/usr/local/bin/go-wait -dump"
####
RUN cd /usr/local/bin/plugin-ref/ && \
    PLUGINS=$(ls | tr '\n' ',') && PLUGINS=${PLUGINS::-1} && \
    echo -e "KONG_PLUGINS=bundled,$PLUGINS\nKONG_PLUGINSERVER_NAMES=$PLUGINS" >> ~/.bashrc

# Loop through the plugin-ref directory and create an entry for QUERY_CMD entries needed to load the plugin
# format KONG_PLUGINSERVER_EG_PLUGIN_QUERY_CMD if the plugin name is `eg-plugin` and it should point to the 
# plugin followed by `-dump` argument
RUN cd /usr/local/bin/plugin-ref/ && \
    for f in *; do echo "$f" | tr "[:lower:]" "[:upper:]" | tr '-' '_' | \
    xargs -I {} sh -c "echo 'KONG_PLUGINSERVER_{}_QUERY_CMD=' && echo '\"/usr/local/bin/{} -dump\"' | tr [:upper:] [:lower:] | tr '_' '-'" | \
    sed -e '$!N;s/\n//' | xargs -i echo "{}" >> ~/.bashrc; done

这在 docker-compose 文件和 docker 容器中运行良好。但是当我尝试在 kubernetes 环境中使用相同的图像和 kong-ingress-controller 时,我开始在入口控制器中遇到错误 "failed to fill-in defaults for plugin: go-wait" ,最终无法启用它。

有没有人尝试在他们的 kubernetes/helm kong 设置中包含 go 插件。如果是这样,请对此有所了解

  • 我已经尝试过了,希望您在环境变量中添加插件名称,以便在入口启动或 docker 映像时启用它。
  • env 变量是在图像中自动创建的,尽管我确实尝试在 env: 头盔值的部分以及 @HarshManvar 中明确提及它们

【解决方案1】:

更新:找到了我正在寻找的答案,以及设置图像生成的环境变量,在 kong helm 图表本身的 _helpers.tpl 文件中进行了修改。 原因是在部署图表中,配置需要在 values-custom.yml 中配置插件,用于覆盖默认设置。

但是 helm 图表似乎特定于通过 configMaps 加载的值和插件,结果证明这是一个巨大的瓶颈,因为您在 golang 中为 kong 生成的任何二进制插件都将超过允许的最大限制Kubernetes 中的 configMaps。 这就是我开始努力让插件成为我形象的一部分的全部原因。

TL;博士 我能够将 repo 克隆到我的本地系统,对以下补丁进行更改,以便从值加载插件,而无需将它们与 lua 插件组合在一起。 (致谢: thatbenguy 来自讨论 https://discuss.konghq.com/t/how-to-load-go-plugins-using-kong-helm-chart/5717/10 的回答)

--- a/charts/kong/templates/_helpers.tpl
+++ b/charts/kong/templates/_helpers.tpl
@@ -530,6 +530,9 @@ The name of the service used for the ingress controller's validation webhook

 {{- define "kong.plugins" -}}
 {{ $myList := list "bundled" }}
+{{- range .Values.plugins.goPlugins -}}
+{{- $myList = append $myList .pluginName -}}
+{{- end -}}
 {{- range .Values.plugins.configMaps -}}
 {{- $myList = append $myList .pluginName -}}
 {{- end -}}

将以下块添加到我的 values-custom.yml 中,我很高兴。

希望这可以帮助其他尝试在 golang 中为 kong 编写自定义插件以用于 helm 图表的人。

env:
  database: "off"
  plugins: bundled,go-wait
  pluginserver_names: go-wait
  pluginserver_go_wait_query_cmd: "/usr/local/bin/go-wait -dump"
  

plugins:
  goPlugins:
    - pluginName: "go-wait"

注意 :请记住,这一切仍然取决于您在图像中是否有预构建的自定义 kong 插件,在我的情况下,我已经从上述 dockerfile 内容(有问题)构建了一个图像并推送了它到我自己的 docker hub repo 并使用以下块替换 values-custom.yml 中的图像

image:
  repository: chalukyaj/kong-custom-image
  tag: "1.0.1"