业务缓存之可行性？

2021年1月8日

| 字数 1888

| Architecture

1 Preface 在业务系统中，为了提高服务的性能，降低平均时延，一个常用的手段：增加cache。鲁迅:-）人们发明一种方法解决一个问题，而几乎总是会引入另一个问题。那么可能会问：Cache 要加在哪里，要缓存多久，才会更有效? 下面就拿一个例子，来展开看看。 2 分析一般而言，需要对执行频率高，耗时占比大的逻辑，优先增加Cache。但是要注意：增加 Cache 不能影响到业务的正确性。适用场景：数据变化不频繁，因为一旦数据发生变化，Cache可能产生不一致。对于不一致，还需要设计一个合理的失效时间，在业务可接受的误差之内增加c……

阅读全文

基于 go 的 wireshark 插件实现方案

2020年12月8日

| 字数 1040

| 开发者手册

1 背景在业务服务重构过程中，发现后台一些RPC服务，使用的自定义的应用层协议（七层）。为了方便验证重构逻辑，想在在海量的请求中，快速找到某一类业务请求包。 2 思考一般来说简单的协议使用 lua 实现即可，但是遇到 pb/thrift 等 tlv 类型的协议就比较麻烦了；比较友好的是，目前有 lua-protobuf 这样的库，可以在lua中解析PB协议, 只需要提供proto即可；但是对于内部的 tlv 协议，由于本人不太会使用lua去封装c库；突然萌生了一个想法，能不能用 golang 来开发 wireshark 插件？是否可以让 lua5.2 直接调用cgo？ 3 定制目标（okr）定位: 本地的报文分析工具 1 当业务……

阅读全文

wireshark lua 插件tcp报文分段(desegment)？

2020年12月5日

| 字数 591

| 开发者手册

缘起我们知道一般网路中以太网的帧长度不超过 1500字节(MTU)，所以单个 tcp segment 最大为1460；如果我们业务报文超过 1420 字节(tcp payload)，就会被分成多个 segment。那么如何在编写 wireshark 插件时，拿到一个完整的业务报文呢？解决办法通过goolge，发现解决办法非常简单，只需要为pinfo.desegment_len 还需要的字节长度即可。 1 2 3 4 5 6 7 8 9 10 11 -- 在入口处 function slicer.dissector(tvb, pinfo, tree) ... local pdu_length = get_pdu_length(...) if pdu_length > tvb:len() then pinfo.desegment_len = pdu_length - tvb:len() else do_dissection(tvb, pifo, tree) end return end 如果不知道明确的长度，那我们也可以: 1 pinfo.desegment_len = DESEGMENT_ONE_MORE_SEGMENT 总结通过 wireshark lua 插件的编写，发现很……

阅读全文

wireshark lua 插件之 tvb():string()

2020年12月5日

| 字数 482

| 开发者手册

缘起最近在编写 lua 插件时，遇到一个问题：发现tvb中的字节码，传入 lua-protobuf 中，部分报文解码失败。于是经过一顿debug，最后将字节码写入文件，对比 lua-protobuf 中的字节码和 tvb 中的字节码，发现不一致。解决办法通过 goolge 找到了如下一篇文章，wireshark-lua-stringbyte-error 不应该使用 tvb_range:string() 这个方法默认是带字符集转换的，要想将原始的bytes转为 lua string，需要使用raw方法。 1 2 -- local lua_str = tvb_range:string() local lua_str = tvb_range:raw(tvb_range:offset(), tvb_range:len()) 总结这个问题，本质还是没有仔细阅读 wireshark lua 插件关于 tvb 的API文档导致的。有时候遇到问题，我们可以先通过 google……

阅读全文

wireshark插件，如何关联请求应答(如ping协议)？

2020年12月5日

| 字数 2558

| 开发者手册

缘起最近工作中，接触的内部协议比较多(项目历史原因)，于是想编写 wireshark plugin，来辅助分析业务报文，从中寻找包含特定请求的报文。遇到一个问题，如何对请求和应答进行关联，我知道 wireshark 解析 ping 协议，是支持ping-pong相互跳转的。于是想自己写的协议插件，也具有这种功能，于是开始google。在 wireshark 社区找到了sindy大神的这段回答，很受启发。原文如下: The dissector code has no access to pinfo of any other packet than the one currently dissected. If some transaction ID exists in modbus which allows you to match requests and responses, you may use two global tables indexed by this transaction ID and store the frame.number of the currently dissected packet to the appropriate table (request{transactionId} or response{transactionId}) during the first pass of the dissector (after loading the file, all packets are dissected in sequence). Whenever……

阅读全文

Go 必须知道的 18 个Go开发库

2020年11月17日

| 字数 2071

| 开发者手册

包含各种使用场景的Go第三方列表。随着时间的推移，Go语言爱好者已经创建并共享了许多Go框架和库。这些库有不同的功能，从微服务开发到构建web应用程序! 备注：在Go语言中我们都称第三方库为package（包）。配置文件处理库配置文件通常以各种格式编写，如JSON和YAML。Go有一个非常有用的包，它使读取和写入各种格式的配置文件成为小菜一碟。 1、Viper：这是一个关于Go应用程序配置处理的完整解决方案，包括12-Factor应用程序。它作用在应用程序中，可以处理所有类型的配置文件和格式。可以读……

阅读全文

Go 常用的包推荐 (持续更新)

2020年11月17日

| 字数 994

| 开发者手册

更新日志 2023-12-15 增加 cron, automaxprocs, goquery 常用库介绍 2022-09-05 更新 goup v0.5.2 使用说明 2022-02-13 增加 goup 使用 2021-06-10 增加 go-set 使用 2020-11-17 初始版本 1 Go 常用工具包推荐 1 stringer 为枚举量生成String()方法 go install golang.org/x/tools/cmd/stringer 2 pretty 格式化打印任意 go 对象，开发测试打印大对象，非常有用 (这样就不用json.Marshal再打印) go install github.com/kylelemons/godebug 3 GoMock 2 调试工具 Delve 源码调试工具安装： go install github.com/go-delve/delve/cmd/dlv@latest 快速上手： 1 2 3 $ dlv debug main.go $ > break main.main $ > continue 3 常用开发库 1 http-router 高性能、可扩展的HTTP路由 2 easyjson 高性能的Json Marshaler, 适用于有schema的Json数据 3 set set集合数据结构，基于原生 map 实现 4 测试框架 1 goconvey 简单易用的go测试框架，……

阅读全文

g++ -Wall 不会提示 narrow-cast 的警告

2020年11月6日

| 字数 989

| 开发者手册

Preface 最近在使用 go 重构C++旧项目, 发现一个旧代码的bug，很有意思；下面展示一下简化的代码: 1 2 3 4 int64_t ip = 12345678; std::string str; str = ip; std::cout << "str = " << str << std::endl; // str = N 我的第一感觉是: 第三行应该编译报错吧，于是写了个hello world，然后g++ -Wall ...，竟然编译过了还能正常运行, 神奇吧。于是探其究竟，原来string重载了赋值符号=, 支持单个字符 char 的赋值，int64在这里发生了窄转换。源码如下： 1 2 3 4 basic_string& operator=(_CharT __c) { this->assign(1, __c); return *this; } 这就解释了为啥输出字符"N"， int64转换成 char，仅保留了最低的一个字节……

阅读全文

Eureka 服务注册与发现-原理分析

2020年5月25日

| 字数 4905

| Architecture

1 Preface

Eureka 是Netflix开发的服务发现框架，本身是一个基于REST的服务。

SpringCloud将它集成在其子项目spring-cloud-netflix中，以实现SpringCloud的服务注册与发现功能。

在 Spring 全家桶中, Eureka 是一个微服务注册中心，主要提供服务的注册与发现，另一个功能就是服务配置获取。

2 Eureka 核心概念

Eureka 作为 Spring Cloud 体系中核心、默认的注册中心组件，研究它的运行机制，有助于我们在工作中更好地使用它。

下图: 服务注册+调用示意图，服务提供者和服务的消费者，本质上也是 Eureka Client 角色。
整体上可以分为两个主体：Eureka Server 和 Eureka Client。

……

阅读全文

Git 项目仓库中的 OWNERS 文件

2020年5月21日

| 字数 1284

| 开发者手册

1 Git 在开发中的常用术语在团队开发过程中，我们经常会看到如下术语(terms)，下面记录一下： terms means 翻译 WIP Work in progress, do not merge yet. 开发中 LGTM Looks good to me. Riview 完别人的 PR，没有问题，可以合并了 PTAL Please take a look. 帮我看下，一般都是请别人 review 自己的 PR CC Carbon copy 一般代表抄送别人的意思 RFC request for comments. 我觉得这个想法很好, 我们来一起讨论下 IIRC if I recall correctly. 如果我没记错 ACK acknowledgement. 我确认了或者我接受了,我承认了 NACK/NAK negative acknowledgement. 我不同意 2 OWNERS 文件 k8s 使用 owners 文件的灵感来自于Chromium OWNERS文件 owners 文件主要是为了解决代码审查过程中的问题：项目中代码审查的速度, 受到能够审查代码的……

阅读全文

程序员的冷浪漫

业务缓存之可行性？

基于 go 的 wireshark 插件实现方案

wireshark lua 插件tcp报文分段(desegment)？

wireshark lua 插件之 tvb():string()

wireshark插件，如何关联请求应答(如ping协议)？

Go 必须知道的 18 个Go开发库

Go 常用的包推荐 (持续更新)

g++ -Wall 不会提示 narrow-cast 的警告

Eureka 服务注册与发现-原理分析

1 Preface

2 Eureka 核心概念

Git 项目仓库中的 OWNERS 文件

最近文章

分类

友情链接

标签

其它