gitlab | 伪架构师

从头开始：Redmine 和 Gitlab 的集成和联动

Wed, 01 Mar 2017 19:47:58 +0800

本文的操作将达成如下目的：

在 Redmine 中查看 GitLab 仓库中的变更。
Redmine 中更新 Gitlab 仓库。
利用 Git Commit Log 改变 Redmine 中的 Issue 状态。

工作环境

该过程在 Kubernetes 环境中完成。

Redmine：sameersbn/redmine:3.3.1 Gitlab：官方镜像

Redmine 设置

系统仓库设置

以管理员身份登入 Redmine，进入 Administration -> Repositories（settings?tab=repositories）。

SCM

Enabled SCM 中，我们要使用的 Gitlab，因此需要启用 Git 。如果 Git 不可选，则需要确认是否安装了 git，并在 Redmine 的 configuuration.yml 中进行设置。
Fetch commits automatically：True，这个选项只是在用户打开仓库页面时候会获取仓库内容，别想多了。
Enable WS for repository management：True
Repository management WS API key：这里需要生成一个 API Key，用于后面的 WebHook 触发。

Commit 信息设置

Referencing keywords：引用关键字，保持缺省即可，在 Commit 信息中加入 refs #1，信息中会有到 #1 Issue 的连接。
下面的表格中可以根据 Commit log 中的关键字对 Issue 进行更新（状态和进度），例如填写 fixed fixed %60 的话，代表 Commit 信息中如果出现 fixed #1，则会把 Issue #1 更新为 Fixed，进度推进到 60%。

为项目获取 Git 仓库

在 Redmine 能访问得到的路径中，使用 git 命令克隆仓库：git clone --mirror git@github.com:git_user/project.git

项目仓库设置

进入项目的仓库设置页面（projects/[project-id]/settings/repositories）
添加仓库
路径指向上个步骤中的本地仓库的位置。
保存。
在 projects/[project-id]/repository 中，现在就可以看到版本库和文件了，并可以进行 diff 等操作。

安装插件

接下来安装 Redmin 插件

该插件将在 Redmine 中运行，用来响应来自 Gitlab 的 Webhook Post 请求。

Github：https://github.com/phlegx/redmine_gitlab_hook

下载到 Redmine 的插件目录之后，重启 Redmine 即完成安装。

可以在 Redmine 的 admin/plugins 中看到这一新安装的插件。

进入 settings/plugin/redmine_gitlab_hook，选中 All branches。

Gitlab 设置

Gitlab 的设置分两步，第一是将 Issue 管理功能从内置模块转为使用 Redmine，第二是利用 Webhook 在发生事件的时候，引发 Redmine 的仓库更新。

Issue

进入 Gitlab 的项目服务设置页面：[project-url]/services，找到 redmine 的设置：

Active：True
Trigger：Push
Project url：Redmine 中相关的项目地址，例如http://redmine.local/projects/sample-project
Issues url：一般是 Project url + issues，例如http://redmine.local/projects/sample-project/issues
New issue url：通常是 Issues url + new，例如http://redmine.local/projects/sample-project/issues/new

保存退出后，该项目的 Issue 相关连接就会转向 Redmine 中。（挺 Low 的。。）

Webhook

Webhook 是 Gitlab 的事件触发系统，这里我们借助这一功能，同 Redmine 的 Gitlab 插件协作，触发 Redmine 的自动更新。

浏览项目的 Webhook 页面：[project-url]/hooks，新建一个，URL 栏目填写 http://redmine-url/gitlab_hook?project_id=[project-id]&key=[repository-token]，key 部分就是前文中提到的 Repository Token。

测试

Git clone 代码之后，进行修改，提交 Comment 中写入 fixed #1，看 Redmine 中的这一 Issue 是否发生更新。

为 Gitlab 和 Jenkins 添加 InfluxDB 支持

Sun, 26 Feb 2017 09:59:19 +0800

概述

量化和监控对现在的开发运维工作的重要性是毋庸置疑的。在大肆鼓吹 DevOps 的今天，一体化的数据采集和可视化展示就尤为重要了。

为了能在同一视图下对 Jenkins 和 Gitlab 的操作进行监控，本来写了一些数据采集的脚本，后发现这两个系统都有实现向 InfluxDB 发送指标数据的能力，虽说结构和数据的细致程度可能不及定制脚本，但懒人方案始终是更快的解决办法。

非常对不起各位的是，下面的内容主要是堆代码了。

环境准备

Docker

为方便部署，这里采用 Docker 作为执行环境，过程中需要下载一些镜像，所以这里可能要配置代理或者其他途径来获得镜像文件并导入。

这里假设宿主机 IP 为 10.211.55.5

网络

因为几个组件之间互相需要访问，因此我们首先用如下命令创建一个虚拟网络：

docker network create devops

InfluxDB

启动

首先启动我们的 InfluxDB，因为 GitLab 只能连接 InfluxDB 的 udp 端口，而官方版本的镜像并未提供这一功能的方便设置，所以这里采用了一个第三方镜像。

这也是 DockerHub 上的常态 —— 嫡出被庶出灭了。

#!/bin/sh
docker run -d --name=influxdb \
--restart=always \
--network=devops \
-v /var/volume/influxdb:/data \
-p 20002:8083 \
-p 20003:8086 \
-p 20004:8089/udp \
-e UDP_PORT=8089 \
-e UDP_DB=gitlab \
appcelerator/influxdb

稍微做一下解释：

使用了上文创建的虚拟网络
镜像为 appcelerator/influxdb
宿主机上的 /var/volume/influxdb 目录被加载到容器的 /data 目录，用于数据存储的持久化。
开放了三个端口：
- 8083：管理界面，可用浏览器访问
- 8086：HTTP API
- 8089：UDP 端口
UDP 端口对应的数据库名为 gitlab

初始化

镜像成功启动之后，就可以使用浏览器打开 http://10.211.55.5:20002，用户名密码缺省为 admin，主机和端口分别为 10.211.55.5 和 20003，这些填写结束后，就可以对 influxdb 进行管理了。

分别为 gitlab 和 jenkins 创建数据库：

CREATE DATABASE "gitlab"
CREATE DATABASE "jenkins"

Gitlab

启动

类似的，我们用如下脚本启动 Gitlab：

#!/bin/sh
docker run -d --name=gitlab \
--restart=always \
--network=devops \
-v /var/volume/gitlab/data:/var/opt/gitlab \
-v /var/volume/gitlab/conf:/etc/gitlab \
-v /var/volume/gitlab/log:/var/log/gitlab \
-p 21001:80 \
gitlab/gitlab-ce

跟前面的 InfluxDB 类似，或者说更加简单，连环境变量也不需要了。映射端口为 21001，加入同一个网络。

配置

浏览器登录页面之后，进入 URL： http://10.211.55.5:21001/admin/application_settings，对 Gitlab 进行设置。

在 Metrics 一节，会看到 InfluxDB 的配置信息，选中 Enable 之后，只需要填写主机和 UDP 端口即可，因为有虚拟网络的配置，这里主机我们直接填写 influxdb，端口就是 8089 了。

变更配置后，利用 docker kill/rm 命令停止 gitlab，并重新启动。

验证

接下来我们可以选择一个项目进行 commit/push 操作，然后进入前面提到的 InfluxDB 控制台。页面右上角的数据库选择 gitlab，在查询输入框中输入 SHOW MEASUREMENTS 并执行，会看到 gitlab 在这一数据库中建立了各个数据表。

继续输入 select * from events，会看到我们刚刚进行的提交记录。

Jenkins

启动

这里用了我自己的 Jenkins 镜像，完成的还是映射端口、挂接存储的任务。

#!/bin/sh
docker run -d --name=jenkins \
--restart=always \
--network=devops \
-v /var/volume/jenkins/data:/data/jenkins \
-v /var/volume/jenkins/maven:/data/maven \
-v /var/volume/jenkins/sonar:/data/sonar \
-v /var/volume/jenkins/kube:/data/kube \
-v /var/volume/jenkins/robot:/data/robot \
-p 21003:8080 \
dustise/jenkins

配置

启动之后访问http://10.211.55.5:21003，对 Jenkins 进行配置。

http://10.211.55.5:21003/pluginManager/available 在这一界面查找 InfluxDB 插件，进行安装启用。

InfluxDB 插件启用之后，就可以在 http://10.211.55.5:21003/configure 找到其配置内容，这里也就是设置一个 InfluxDB 连接到我们之前启动的数据库。

点击 New InfluxDB Target 按钮，在弹出的输入项目中，URL 填写为 http://influxdb:8086，用户名密码同上，数据库为 jenkins。

retentionPolicy 一项可以清空。

exposeExceptions 这一项目表示，向 InfluxDB 汇报数据的任务如果失败，是否标记所属 Build 过程为失败。

验证

首先我们创建一个新的 FreeStyle 项目，内容很简单，执行一个 echo "Hello world"。

在构建后步骤中，可以看到 Post Build Actions 新增了 Publish build data to InfluDB的动作。

添加这一动作之后，选择我们刚才建立的 InfluxDB Target。

Job 创建完成，就可以开始 Build 了。

Build 成功之后，我们可以在 InfluxDB 控制台上，切换到 Jenkins 数据库，执行 SHOW MEASUREMENTS，可以看到 Jenkins 创建的数据表。运行 SELECT * FROM jenkins_data 进行查询，就会看到我们刚才的 Build 数据。

Robot 等插件也会将结果插入 InfluxDB

展示

有了这些数据，我们就可以以项目为单位，利用 Grafana 或者其他可视化工具，对结果进行叠加和展示了。

利用 Gitlab 为 Sonarqube 提供单点登录服务

Sun, 29 Jan 2017 05:31:41 +0800

Gitlab 很贴心的提供了一个 Oauth 2 功能，可以作为 CI/CD 工具链的认证中心来使用。

Sonarqube 的官方插件只有一个 Github 的支持插件，因此这一功能需要借助第三方插件来完成。

实验环境

Gitlab 地址：http://10.211.55.75:32021
Sonarqube 地址：https://10.211.55.75:32032/

这里需要注意的是，要使用这一功能，Sonarqube 必须使用 https 协议提供服务。

Gitlab 设置

访问 admin/applications/new，新建应用接入。

填写应用信息和地址之后提交，Gitlab 会显式 App ID 和 Token。

Sonarqube 设置

http://10.211.55.75:32021/admin/applications

插件下载后，复制到 Sonarqube 的 plugins 目录中（一般在 $SONARHOME/extensions/plugins 目录下），然后重启 Sonarqube。

Sonarqube 重启之后，在 updatecenter/installed 会看到新的 GitLab Auth 插件，启用之后，可以进行后续设置。

访问路径 settings?category=gitlab，会看到 Gitlab 认证的设置。

这里建议打开允许注册的选项，如果一个用户账号在 Gitlab 中存在，却不存在于 Sonarqube 中，打开这一功能就可以自动进行账号的传播。

测试

新的登录界面如图所示：

点击 Gitlab 图标会进入 Gitlab 认证界面，跟其他 Oauth 情况类似，就无需继续介绍了。