少数派

马兄周末也不闲着？确切讲，哈德米就像大土司的孩子一样。大土司想让它健康成长。
[引用原文已无法访问]

大土司老了，一般来说重要的选型，都只能在自己熟悉的选项里选。对于新鲜的东西，留给你们年轻人去研究了。特别像哈德米这种系统，都是真金白银的买卖，我是绝对不会冒任何自己把控不了的风险的。
[引用原文已无法访问]

恭喜哈德米复活

如果是个妹子，岂不是要嫁给大土司？

其实unix比大土司熟悉的人，肯定是不少的。但这些人未必对数据库熟悉，即便他对数据库的熟悉程度可以比肩大土司，那么程序开发水平未必还能像大土司一样游刃有余。

如此看来，大土司推开窗户这么一看，大土司的综合技术水平，几乎是凤毛麟角了。这一点，无论你们如何褒奖都不为过。
当然了，做股票水平嘛，一般得很。承蒙朋友们夸奖，实在是诚惶诚恐。

现在nosql已经很主流了，在大数据方面比较有优势，大土司可以考虑下[引用原文已无法访问]

凌晨3点实在睡不着，老惦记哈德米的事情。于是驾驶大土司的揽胜杀到公司，开始干活。
终于大功告成。什么样的技术问题在大土司手上都不是问题。又搞了一个通宵，还不错，宝刀不老。终于在12点左右弄好了，现在加载数据，预计今天肯定可以加载完成。

最大的表接近8000万的数据，得抽空清理一下了。普通的表，基本都是百万以上级别。大部分都是接近2000万。100多张表，目前还在增加。
哈德米对数据库要求是很高的，重点还在于设计者的水平。大土司的水平自然是很高的。重要的是高效，健壮，高可用。小概率例如停电啦，硬件损坏了。更不是问题了，可以通过资金投入更换硬件即可。
大土司已经采购了更可靠的ups。预计下周可以抵达。双电源，双ups，他妈的。停电简直是little case.
唯一的损失是一天的数据。不过问题不大。
所以你如果想要构建一个很强大的武器，软件必须很强大才行。非主流的数据库，大土司是不会去考虑的。数据量大了以后对技术的要求会很高。哈德米能在1秒以内实时计算出相关指标。除了硬件很强大意外，大土司的程序也很牛逼。
这就是水平。

@大土 大土可考虑nosql，我用mongodb很简单，数据表以文件保存，灵活可控，数据库挂了还文件还在，还human readable。[引用原文已无法访问]

谢@大土 回复。
比较了历史和当日实时分笔，数据一致性的问题终于找到了。原来是实时数据有冗余，看来得去重。
新浪的历史数据是ok的，看来是盘后进行了数据清洗。
本想换个web数据源自己实现分笔拉取，我看直接实时去重简单点。[引用原文已无法访问]

@大土 您这数据量可能太大了。大型数据库都有专门的数据库管理员管理和维护。您这技术真是太全面了。

@大土

哈德米是提醒大土司，屠杀马上要来了，该罢手休息一段时间了