Home

cgo实践

工作里遇到一个问题,想把mysql的crc直接封装一下让go来调用,因为查表的crc计算性能实在是不快,对我们这种文件系统的大报文计算来看,crc容易变成瓶颈。大概性能对比如下: 两线程crc32查表 O2优化 time_elapsed:471.474976s total_size_m : 200000.000000M crc rate : 424.200684m/s 两线程crc64指令 O2优化 time_elapsed:24.877853s total_size_m : 200000.000000M crc rate : 8039.278809m/s c这一端的计算比较容易,go的crc默认是查表, 所以存在不兼容的问题。出于兼容和性能考虑,用cgo封装一下。 首先在...

Read more

关于Paxos和Raft的一些思考

最近在总结一些协议这么设计的原因,比较杂,纯做记录: 选主过程相当于Paxos的prepare过程: 选出的Leader得到了多数派的同意,相当于Paxos一阶段完成,由于当前Term下投过票的Server保证不再接受小于等于当前Term的,所以保证了选主最终只能选出一个。 不同于Paxos的地方在于这一轮Term下,follower除非Lease过期,否则不会发起新的选主,也就是发起Epoc更大的提案。Raft可以认为MultiPaxos的一种应用,MultiPaxos可以认为是合并了Prepare阶段的SingleDegreePaxos. raft读一致性和选主timeout raft协议本身由于主只是续约了follower的l...

Read more

刘鹏《移动时代的营销与变现》笔记

上次见刘鹏老师可能还是搜狐实习的时候,后来刘鹏走了,峰扬走了,整个团队改做推荐系统,最后又回到效果广告,算是绕了一个圈吧。买了本计算广告,更多的是给自己一个念想,念念不忘必有回响么。 主要记录几个知识点或者观点: 竞价的历史性作用、gd广告和竞价广告的诞生原因 保量(guarantee delivery)广告相对于品牌广告(CPT),主要解决了流量浪费的问题,CPM的售卖方式相对增加了广告流量的利用率(比如按照性别的售卖,大致可以增加20-25%的收益)。然而保量广告相对来讲对流量的利用并不极致,大部分gd系统都面临超卖或者保守售卖的问题,可能会导致补量或者浪费,在线流量分配和优化也是个比较复杂的问题。所以才有了竞价广告,根据Nash均衡,广告价格是出价方博弈的结果...

Read more

记录一个网络库设计的bug

今天遇到一个设计上没考虑好的问题,记录一下。 之前Libeasy的逻辑如果一个连接上有超时的报文的话,整个连接会destroy掉。考虑网络拥塞的情况,如果AB两个报文同时在等待发送,A报文先进入发送队列(链表,非TCP发送buffer),B后进入,而A超时时间长,B立即超时,那么清理掉B的待发送报文的时候,如果destroy掉连接,那么本来可以发送出去的A报文就被强制失败了。 考虑这种情况做了一点修改,让超时的报文被清理掉的时候不会destroy连接。这样编码的时候需要指定一个报文被编码出来的buffer是属于哪个会话(session)的,同时记录一下每个session对应的最后一个buffer位置。清理的时候可以从上述位置回溯到不属于当前session的buffer或者到头部为止...

Read more

关于最近的一些事情

最近其实是乏善可陈的,项目差不多写完,修修补补,提升下性能。其他的事情诸多不顺,看房价蹭蹭的涨,看工资慢慢的爬,感情纠结一团,其他的么,牙疼,估计牙周炎犯了。 然后今天炎泼说要走了,陈闯二话没说也跟着走了,先知先觉的后知后觉的都有各自的想法,只是我比较懵逼,可能最近事情多了,精力都不在这上面。每个人有自己的选择,目前看互联网差不多进入稳定期了,风口还有,但是能飞起来的猪不多了,剩下的人,要么在大公司朝九晚五,要么在创业公司等期权等上市,少数人还追求着理想,不过最后如果没有回到前面两个状态的话,一般是创业去了。 工作几年觉得介于目的性明确和不明确之间吧。做技术的明显分了两派,以KPI为核心的和以兴趣为核心的,很多时候这两个不是不兼容的。目的明确的,一切跟个人发展不相关的都推掉,目的不...

Read more

go生成xml的时候特殊字符转义的问题

最近在做http返回的时候发现go的xml生成(marshal)会把引号转义,如下: <?xml version="1.0" encoding="UTF-8"?> <Part> <PartNumber>1</PartNumber> <LastModified>2016-03-18T08:24:25.000Z</LastModified> <ETag>&#34;0c78aef83f66abc1fa1e8477f296d394&#34;</ETag> <Size>12121</Size> </Part> ...

Read more

vim编译错误:PyUnicodeUCS4_AsEncodedString

换了个ubuntu的环境想编译一下vim,为了防止不兼容手动编译了python2.7,之后把改过的vim源码放上去编译发现有问题: undefined symbol: PyUnicodeUCS4_AsEncodedString 于是换回标准的vim源码还是一样的问题,我擦嘞。上网搜一下说Python模式是UnicodeUCS2的支持,从源码里面直接grep一下这个函数发现是有的: Include/unicodeobject.h:# define PyUnicode_AsEncodedString PyUnicodeUCS4_AsEncodedString 那只可能是没有开启编译选项了,./configure –help发现有如下一项: –enable-uni...

Read more

libev源码分析

本文源码以libev4.20为准,其他版本大同小异。 libev是广泛使用的事件库,是一个功能强大的reactor,可以把Timer、IO、进程线程事件放在一个统一的框架下进行管理。如果有其他的事件触发需求也可以改libev源码把该事件加入libev的框架中(当前前提是得理解libev的设计)。有文章说libev性能比libevent好,没实验过,但是从源码角度看,libev要更简洁,当然更费解一点。作者为了追求代码的整洁和统一使用了大量的宏,造成了阅读的不便。这里我们从宏观分析一下libev的设计实现,然后穿插分析一些小的trick。旨在学习总结libev设计中优雅的地方。 基本概念 首先是一些主要的概念和数据结构。 libev通过定义watcher来关注一个事件,并且把事件...

Read more