Q&答:QuestDB的Nicolas Hourcard:时间序列数据库的优势

Q&答:QuestDB的Nicolas Hourcard:时间序列数据库的优势
科技类Forge媒体 的编辑。在全球技术会议上经常看到一只手握着咖啡,另一只手握着笔记本电脑。如果它令人讨厌,我可能会喜欢上它。

开发人员需要更高性能的数据库来释放令人兴奋但又需要更多数据的应用程序的全部潜力。

IDC预测,全球数据领域将从2019年的45 ZB增长到2025年的175 ZB。此外,分析师预计,全球约有30%的数据将需要实时处理。

“如今,每天有超过50亿消费者与数据交互-到2025年,这一数字将达到60亿,占世界的75%’的人口。到2025年,每个关联的人每18秒将至少进行一次数据交互” – 世界数字化.

瑞安(Ryan)与尼古拉斯·小时卡(Nicolas Hourcard)进行了交谈 (剩下)QuestDB的首席执行官兼联合创始人,使用时序数据库帮助实现满足此类需求所需的性能水平的优势。

开发人员:是什么促使您启动QuestDB的?

Nicolas Hourcard:我们的CTO在电子交易领域工作了10多年,并密切地与数据库联系以为此类系统提供动力。 2013年,由于其专有性质和价格,他的老板不允许他使用唯一适合处理时间序列数据的高性能数据库。

他的第一个目标是建立一个时间序列数据库,以使这种绩效民主化,直到那时,只有一小部分开发人员才能进行交易。

第二个目标是通过每个开发人员都可以使用的语言(SQL)使QuestDB变得非常易于访问。因此,QuestDB的支柱是极高的性能,开放源代码分发模型和本机SQL支持。 

开发人员:时间序列数据库有哪些优势?

NH:时间序列数据库会随着时间不断累积数据点。随着生成适用于时间序列分析的数据的用例呈指数增长,原始数据本身的数量也呈指数增长。

传统数据库缺乏有效存储和访问如此大量数据的能力。专门构建的时间序列数据库具有高性能的摄取率(WRITE操作),并且通常可以随时间有效地检索信息(READ操作)。 

除了性能方面的内容外,时序数据库还可以通过专用功能和语法轻松地随时间搜索数据。时间序列数据库应该能够进行下采样,时间序列联接以将不同序列随时间进行关联,进行间隔搜索,并能够通过专门的协议(例如InfluxDB线路协议)来摄取非结构化数据。

开发人员:QuestDB与常见的可疑对象(例如InfluxDB或TimescaleDB)有什么区别?

NH:总而言之:绩效。之所以能够实现这种性能,是因为我们是从头开始构建堆栈的。零依赖实际上,任何数据库的速度都与其最慢的组件一样快,并且我们不依赖于尚未设计为处理时间序列数据的平台。

此外,我们还一直在实施低延迟交易软件中的技术。我们将数据存储在列中并按时间对其进行分区,仅增加了所需的数据量,并且我们实现了SIMD指令以并行执行多个操作。

我们严重依赖于并行化,能够对来自多个块的数据进行切片并同时将其全部吸收。我们在我们的网站上放置了一个16亿行的数据集,其中包含10年的NYC出租车行驶时间和天气数据,供用户体验闪电般的毫秒级查询。 

开发人员:在r / programming上,我注意到QuestDB缺少Grafana的投诉。我的理解已得到支持。这是对需求的回应还是一直在酝酿中?

NH:一直都在准备中,但是我们的社区一直在要求它,因此我们根据反馈对这种集成进行了优先排序。现在,您可以通过Grafana的仪表板即时查看QuestDB上的数据。

开发人员:PostgreSQL Wire Protocol是另一个受欢迎的要求,此后已添加。您最近是否还有其他令您感到骄傲的新增功能?

NH:能够为我们的用户提供对整个Postgres生态系统的访问权限是我们的首要任务之一。例如,通过PostgreSQL连接,您可以连接到Grafana或从Kafka订阅主题。很快,将支持所有主要的BI工具。

我们认为对用户群至关重要的另一个集成是我们的本机InfluxDB Line Protocol–InfluxDB用户可以将相同的非结构化数据(遵循标记/集合模型)发送到QuestDB,而无需事先指定架构。这使得与InfluxDB并行尝试QuestDB并最终作为替代产品而最终从一个切换到另一个变得非常容易。

开发人员:您可能讨厌这个问题,但是随着以太坊2.0终于开始首次推出,您对区块链和分布式账本技术有何看法?

NH:我们的创始团队已经花了一些时间在加密上,我们相信QuestDB可以满足市场数据和机器学习目的的所有要求。我坚信比特币和以太坊等其他未经许可的网络,因为审查抵抗与众多用例非常相关。

但是,对于大多数企业用例而言,可扩展性很快就会成为一个问题,而且似乎企业区块链技术似乎无法与集中式数据库的性能相提并论。

开发人员:您在最近的一篇博文中说,摩尔定律即将终结,开发人员有责任尽快确保他们编写有效的代码,而不是依靠硬件的进步。您是否认为在未来几年内有足够的空间来提高软件效率,以处理数据的指数传播?

NH:与数据和硬件相关的成本激增,加上对环境的关注,将使人们更加重视通过精心编写的软件来提取性能。它’随着我们提高CPU处理能力变得越来越困难’实际接近硬件本身的物理极限。

向该问题投入更多的计算机或云资源不是可持续的解决方案。编写执行速度更快的代码是一个主要的答案。

我们相信,近几十年来,开发人员编写精益代码的动机也越来越少,这是计算能力进步的副作用。重用现有库以构建产品的心态可能还需要发展,这将需要一些时间。但是上述力量将推动这一变化。

开发人员:您在今年初极富挑战性的经济时期成功获得了230万美元的种子轮投资,这是一笔令人印象深刻的壮举,并证明了投资者对QuestDB的信心。公司下一步要做什么?

NH:我们正在建立我们的社区,并且看到企业采用率比预期的快。

随着我们不断建立这种势头,我们将在明年雇用更多开发人员,推出一些关键功能(例如复制),并为付费客户推出我们的企业服务。

您可以找到有关QuestDB的更多信息 这里.

(摄影者 李修恩不飞溅)

有兴趣听行业领导者讨论这样的话题吗? 参加同居 5G博览会, 物联网技术博览会, 区块链博览会, 人工智能 & 大数据 Expo网络安全&世界云博览会 即将在硅谷,伦敦和阿姆斯特丹举行的活动。

标签: , , , , , , , , , , , , , , , , ,

查看评论
发表评论

发表评论

您的电子邮件地址不会被公开。 必需的地方已做标记 *