最近我们有个服务的时延(Latency)略微上涨，gc时间上涨了一倍，dump出java堆(Heap)之后用Mat分析发现，有份cache数据占据了20%+的堆内存，拥有上千万个小对象。然而这部分数据只是部分逻辑会用到，所以它占据这么大的堆内空间显得有些不值，并且会影响到gc进而影响到服务的时延。
当然也有一些其他数据也占用比较多的堆内空间，但做优化总是先拿大头开刀。 当然把这份数据去掉是不可能了，因为上面还承载着几个比较重要的业务逻辑。既然数据放到java 堆内影响gc，是否可以放到堆外？答案是肯定的，这也是我写这篇博客的目的。就是用Ehcahe把数据移动到堆外，ehcahe甚至可以把数据放到磁盘、放到远端服务器。
如何使用
首先是导入ehcache包，如果你用maven等包管理工具就很简单了，否则你就得手动下载jar，然后导入到你的项目里 。
ehcache的使用也很简单，大概可以分为4步骤，和把大象关进冰箱一样简单。
1. 创建cache manager
2. 创建cache
3. 使用
4. 关闭cache
// 第一步
CacheManager cacheManager = CacheManagerBuilder.newCacheManagerBuilder()
.withCache("preConfigured",
CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class, ResourcePoolsBuilder.heap(10)))
.build();
cacheManager.init();
//第二步
Cache<Long, String> preConfigured =
cacheManager.getCache("preConfigured", Long.class, String.class);
Cache<Long, String> myCache = cacheManager.createCache("myCache",
CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class, ResourcePoolsBuilder.heap(10)));
//第三步
myCache.put(1L, "da one!");
String value = myCache.get(1L);
cacheManager.removeCache("preConfigured");
//第四步
cacheManager.close();
上文代码中，build cacheManager时也同时创建了一个名为 "preConfigured"的cache，也可以在cacheManager创建完后再创建cache，比如后面的“myCache"。之后使用就如同使用普通的map一样。 但非常关键的一点，如果cache不再用了，要记得删掉，cacheManager也要及得及时close掉，否则容易导致内存泄露，为什么之后会说到。
在createCache时，需要指定3个参数，分别是cache里key value的class，和一份存储配置ResourcePools。 这是因为ehcache支持多级存储(这也是它最大的特性)，你可以配置部分数据优先存储在堆内，存不下就存堆外，再存不下可以存在磁盘。 所以它需要知道key和value的class，用来对K-V做序列化和反序列化，方便多层级之间数据传输。
因为存在对象的序列化和反序列化，你就不得不考虑下性能问题，因为序列化和反序列化都是需要时间的。但所幸的是有个局部性法则让你不用太多担心。ehcache里默认cache策略是LRU，它优先把数据优先存堆(heap)里的，内存中存不下以及被LUR淘汰下来的数据会被ehcache序列化后存入堆外或者磁盘。LRU策略会逐步把低频使用的数据往下层存储淘汰，从而保证高频数据尽可能都在上层存储中。
像上面ehcahe这种多层级的设计，可以再尽可能少的影响性能的情况下减少堆内内存的使用，也可以减少内存的使用。 但有个可能的风险点，java语言本身其实是不太希望用户使用堆外的空间的，因为堆外空间脱离的JVM的控制，JVM无法对其做GC，可能会有内存泄露的风险。ehcache不得不让用户去考虑内存空间释放的问题，虽然很简单调用下removeCahce()和close()就行，但依旧有内存泄露的风险。
多级存储
上面已经提到了Ehcache的多级存储，共支持4个级别的存储。
1. 堆
2. 堆外
3. 磁盘
4. 集群
如果分别使用上面四中存储，Ehcache提供一个个CacheConfigurationBuilder来创建相关配置。
CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class,
ResourcePoolsBuilder.newResourcePoolsBuilder().offheap(2, MemoryUnit.GB)).build(); // 1
ResourcePoolsBuilder.newResourcePoolsBuilder().heap(10, EntryUnit.ENTRIES); // 2
// or
ResourcePoolsBuilder.heap(10);
// or
ResourcePoolsBuilder.newResourcePoolsBuilder().heap(10, MemoryUnit.MB);
可以使用CacheConfigurationBuilder来创建cache配置，分别用heap() 和offheap()来指定堆存储和堆外存储配置，这两个方法都支持指定存储实例数或者存储空间的大小。上面代码中1指定最大存储2gb，2表最多存储10个实例，超过了就会用默认的LRU策略往下层淘汰。
如果要使用磁盘存储，在cache创建是需要先指定存储的路径和文件名，使用示例如下。
PersistentCacheManager persistentCacheManager = CacheManagerBuilder.newCacheManagerBuilder()
.with(CacheManagerBuilder.persistence(new File(getStoragePath(), "myData")))
.withCache("persistent-cache", CacheConfigurationBuilder.newCacheConfigurationBuilder(Long.class, String.class,
ResourcePoolsBuilder.newResourcePoolsBuilder().disk(10, MemoryUnit.MB, true))
)
.build(true);
persistentCacheManager.close();
集群存储方式配置参考文档cluster cache
这些存储策略可以随意组合，比如以下的使用方式都是支持的。
- 堆 + 堆外
- 堆 + 堆外 + 磁盘
- 堆 + 堆外 + 集群
- 堆 + 磁盘
- 堆 + 集群
更多资料可以参考官方文档
