关于 .Net 开发下的分布式缓存设计
http://www.itjxue.com 2007-10-28 23:44 来源:IT教学网 点击次数:
最近拜读了代振军同学写的关于.Net开发下的Discuz!NT的缓存设计的一篇文章Discuz!NT 缓存设计简析 [原创]，颇有些想法，姑且写在这里让大家拍砖吧。;)
缓存真是个好东西，在大型的系统中可以有效地提升系统的速度，此乃废话就不多说了，在.Net 平台下面我把缓存从功用大致分为两类，数据对象缓存和页面输出缓存. 对于数据缓存来讲是由System.Web.Caching.Cache这个类来实现，可以从上下文对象Context.Cache 来获取这个对象的引用.而页面/控件输出缓存则是由.Net环境在运行时依据头部的缓存申明来控制缓存策略. 本文主要论证与数据缓存相关的一些应用与问题.
文中代同学提到了"无法跨Web园共享数据的问题"，虽然提到解决方案就是使用XML文件来存放缓存的键值，这里有一个疑惑，就是.Net的Web园既然是进程独立的又何来共享之说呢，真要是这样的话即便是通过XML文档写入缓存键值缓存的对象也不能同时在两个进程中共享，而这里获得的好处仅是避免了在其它的进程中读到了已在当前进程中失效的“脏”缓存数据，这样的话开几个Web园就会产生几个缓存的对象对系统资源的利用系就比较低了. 如果是用Web场布署的话浪费就更多了,也许是还少有论坛达到这样的规模故不在设计能力的范围中吧.CommunityServer也是使用了这个系统对象，并对它作了一些包装形成了CommunityServer.Components.CSCache这个类，还是不错的，可以在项目中选择使用.
基于这个类的应注实现还有EnterpriseLibrary的CacheBlock里面的NullBackingStore方式,但是为了满足多进程/服务器共程缓存数据的需求EntLib还提供了将SQL SERVER作为后端存储设备的方案，这样在性能要求不是太严，客户端连接不是太多的情况下也可以使用这种方式.只需要将EntLib 配置为共享数据库分区的工作方式即可，所有的CacheManager实例都有对缓存块的读写权，当然你也可配置为只允许一个实例写，其它的来读.
那么还有没有更好的办法呢，其实是有的. 不过我很奇怪在.Net平台下居然没有“原生态”的分布式缓存解决方案，也许是俺孤陋寡闻吧，有哪位达人知道的请分享。还好我们有Memcached这东西，它在PHP平台上已经取得了巨大的成功，是优秀的分布式缓存解决方案，可以参看这篇文章 , 大型的站点上应该必不可少吧.有举的同学可以去看看, 另外还想好一个思路, 就是在EntLib的基础上作扩展实现IBackingStore 接口从BaseBackingStore派生一个实现出来，再经由Remoting或者ICE这样的分布式中间件技术应该也可以实现的类似的功能吧.
用XML作为缓存键的存储方式倒是一个不错的想法，这样在批量移除缓存项的时候就不需要作扫描而直接得到相应的缓存键值，跟分布式缓存作一个整合应当是一个不错的方案。
好了，让我们再回头看看Discuz!NT在页面缓存上有些什么高招.
总的说来我是不怎么喜欢.Net2.0提供的页面输出缓存功能，主要是不能手动地控制页面缓存的过期，而使有缓存依赖项似乎也有点不爽。事实上使用数据绑定控件相对来说是比较消耗资源的，同样的数据我用StringBuilder直接拼出来输出速度要快不少，测试代码比较简单我这里就不给了，大家可以自己去测去，Discuz!NT在设计中也大量地采用了这样的方法(怪不得速度这么快呢;))。一般来讲模版被保存后后台会在aspx目录生成对应的页面文件, 比如你有一个页面，上面需要显示一个来访者的姓名,它的伪代码看起来可能是这个样子
模版文件内容show.html:
|
以下为引用的内容： <html> <body> Hello, Your name is <% yourname %> </body> </html> 生成的文件 show.aspx templateBuilder.AppendLine("<html>"); templateBuilder.AppendLine("<body>"); templateBuilder.AppendLine("Hello, Your name is " + this.yourname); templateBuilder.AppendLine("</body>"); templateBuilder.AppendLine("</html>"); |
生成的文件 show.aspx
|
以下为引用的内容：
templateBuilder.AppendLine(""); |
这里的this.yourname对应着相应页面后台类里面的一个属性，由程序在运行时进行初始化赋值，这样最后得到的页面执行结果就可以从这个templateBuilder对象的ToString()方法得到, templateBuilder也就是一个页面后台类里面的StringBuilder类的实例，最后在页面执行完毕后的OnLoad事件中根据不同的页面类型，如首页，频道首页，内容页等, 使用不同的缓存策略将页面执行结果的HTML代码插入到缓存中，下一个请求进来的时候在进入页面生命周期之前的HttpModule(这里面还包含地址重写功能代码)中判断这个缓存是否有效，直接从内存读取缓存发回客户端.这样速度当然就快了, 页面上看到的执行时间自然是0ms. 不过对于登陆用户来说由于要显示不同的登陆信息所以不能使用匿名的缓存文件版本，所以说一旦你登陆页面才会真正执行一次，但是上面要显示的数据都有独立的缓存项，所以仅仅是重新组装一次页面代码罢了，速度还是比较快的,在官方论坛上看到首页加载时间是15ms, 够快的了. 愚以为连这个时间其实也是可以再节省节省的. 比如用户登陆信息这部分东西可以生成一段JS, 在向浏览器发出了匿名用户的缓存版本时再判断如果用户登陆了就追加这样一段JS代码，在里面去把相应的HTML替换掉就可以了，也可以使用AJAX技术在客户端去取，这样就解决了已登陆用户和未登陆用户在共享缓存版本上的问题，至少在首页这一级是可以的吧，其它的主要页面不好说应该也差不多，俺对论坛程序的流程不是很了解.
从另一个角度讲已登陆用户不应该速度比匿名用户还慢吧~~~;)
HOHO，终于完成了，先写这些吧。聊点别的`~~总体上看俺觉得实用的就是最好的，不要说DNT的设计有多烂多烂，层次结构多不合理，代码多不OO，但是在这样一个特定的应用环境下它提供了一种相对灵活和高速的解决的方案，我觉得就是一个正确的选择。量体裁衣做出来的东西虽然可维护可重用性较差还是有它的好处的，俺自己也比较倾向于这种针对性很强的解决方案思路，希望DNT能做得更好~~~正如BlogEngine这样的程序，它几乎将很多的数据都Load到内存里面，数据存储默认的也是XML的存储方式，你很难去讲它是一个糟糕的程序，因为它有特定的应用场景，合适的才是最好的~~~~
本文基于DNT 2.0 RC1, 不当之处请大家斧正, 谢谢.