Home

工作里遇到一个问题，想把mysql的crc直接封装一下让go来调用，因为查表的crc计算性能实在是不快，对我们这种文件系统的大报文计算来看，crc容易变成瓶颈。大概性能对比如下： 两线程crc32查表 O2优化 time_elapsed:471.474976s total_size_m : 200000.000000M crc rate : 424.200684m/s 两线程crc64指令 O2优化 time_elapsed:24.877853s total_size_m : 200000.000000M crc rate : 8039.278809m/s c这一端的计算比较容易，go的crc默认是查表， 所以存在不兼容的问题。出于兼容和性能考虑，用cgo封装一下。 首先在...

最近在总结一些协议这么设计的原因，比较杂，纯做记录： 选主过程相当于Paxos的prepare过程： 选出的Leader得到了多数派的同意，相当于Paxos一阶段完成，由于当前Term下投过票的Server保证不再接受小于等于当前Term的，所以保证了选主最终只能选出一个。 不同于Paxos的地方在于这一轮Term下，follower除非Lease过期，否则不会发起新的选主，也就是发起Epoc更大的提案。Raft可以认为MultiPaxos的一种应用，MultiPaxos可以认为是合并了Prepare阶段的SingleDegreePaxos. raft读一致性和选主timeout raft协议本身由于主只是续约了follower的l...

上次见刘鹏老师可能还是搜狐实习的时候，后来刘鹏走了，峰扬走了，整个团队改做推荐系统，最后又回到效果广告，算是绕了一个圈吧。买了本计算广告，更多的是给自己一个念想，念念不忘必有回响么。 主要记录几个知识点或者观点： 竞价的历史性作用、gd广告和竞价广告的诞生原因 保量（guarantee delivery）广告相对于品牌广告（CPT），主要解决了流量浪费的问题，CPM的售卖方式相对增加了广告流量的利用率（比如按照性别的售卖，大致可以增加20-25%的收益）。然而保量广告相对来讲对流量的利用并不极致，大部分gd系统都面临超卖或者保守售卖的问题，可能会导致补量或者浪费，在线流量分配和优化也是个比较复杂的问题。所以才有了竞价广告，根据Nash均衡，广告价格是出价方博弈的结果...

今天遇到一个设计上没考虑好的问题，记录一下。 之前Libeasy的逻辑如果一个连接上有超时的报文的话，整个连接会destroy掉。考虑网络拥塞的情况，如果AB两个报文同时在等待发送，A报文先进入发送队列（链表，非TCP发送buffer），B后进入，而A超时时间长，B立即超时，那么清理掉B的待发送报文的时候，如果destroy掉连接，那么本来可以发送出去的A报文就被强制失败了。 考虑这种情况做了一点修改，让超时的报文被清理掉的时候不会destroy连接。这样编码的时候需要指定一个报文被编码出来的buffer是属于哪个会话（session）的，同时记录一下每个session对应的最后一个buffer位置。清理的时候可以从上述位置回溯到不属于当前session的buffer或者到头部为止...

最近其实是乏善可陈的，项目差不多写完，修修补补，提升下性能。其他的事情诸多不顺，看房价蹭蹭的涨，看工资慢慢的爬，感情纠结一团，其他的么，牙疼，估计牙周炎犯了。 然后今天炎泼说要走了，陈闯二话没说也跟着走了，先知先觉的后知后觉的都有各自的想法，只是我比较懵逼，可能最近事情多了，精力都不在这上面。每个人有自己的选择，目前看互联网差不多进入稳定期了，风口还有，但是能飞起来的猪不多了，剩下的人，要么在大公司朝九晚五，要么在创业公司等期权等上市，少数人还追求着理想，不过最后如果没有回到前面两个状态的话，一般是创业去了。 工作几年觉得介于目的性明确和不明确之间吧。做技术的明显分了两派，以KPI为核心的和以兴趣为核心的，很多时候这两个不是不兼容的。目的明确的，一切跟个人发展不相关的都推掉，目的不...

最近在做http返回的时候发现go的xml生成（marshal）会把引号转义，如下： <?xml version="1.0" encoding="UTF-8"?> <Part> <PartNumber>1</PartNumber> <LastModified>2016-03-18T08:24:25.000Z</LastModified> <ETag>&#34;0c78aef83f66abc1fa1e8477f296d394&#34;</ETag> <Size>12121</Size> </Part> ...

换了个ubuntu的环境想编译一下vim，为了防止不兼容手动编译了python2.7，之后把改过的vim源码放上去编译发现有问题： undefined symbol: PyUnicodeUCS4_AsEncodedString 于是换回标准的vim源码还是一样的问题，我擦嘞。上网搜一下说Python模式是UnicodeUCS2的支持，从源码里面直接grep一下这个函数发现是有的： Include/unicodeobject.h:# define PyUnicode_AsEncodedString PyUnicodeUCS4_AsEncodedString 那只可能是没有开启编译选项了，./configure –help发现有如下一项： –enable-uni...

本文源码以libev4.20为准，其他版本大同小异。 libev是广泛使用的事件库，是一个功能强大的reactor，可以把Timer、IO、进程线程事件放在一个统一的框架下进行管理。如果有其他的事件触发需求也可以改libev源码把该事件加入libev的框架中（当前前提是得理解libev的设计）。有文章说libev性能比libevent好，没实验过，但是从源码角度看，libev要更简洁，当然更费解一点。作者为了追求代码的整洁和统一使用了大量的宏，造成了阅读的不便。这里我们从宏观分析一下libev的设计实现，然后穿插分析一些小的trick。旨在学习总结libev设计中优雅的地方。 基本概念 首先是一些主要的概念和数据结构。 libev通过定义watcher来关注一个事件，并且把事件...