场景为王! GBASE南大通用的向量数据库研发之道

article/2025/6/8 13:32:58

摘要

Summary

近期,向量数据库领域风起云涌,一系列重大事件接连发生,引起了业界的广泛关注。先是某科技巨头宣布推出全新的向量数据库产品,这款基于全导航图技术的黑马,在权威评测榜单ANN-Benchmarks上大放异彩,一举包揽6项数据集评测的桂冠;紧接着,又传出某知名电商平台通过引入向量数据库技术,成功提升了推荐系统的准确性和用户满意度。这些事件无疑将向量数据库推向了聚光灯下,成为了数据库领域的新宠。

那么,用户面对不断推出的向量数据库产品,以及他们眼花缭乱的性能优势广告时,如何选择适合自己业务需求的解决方案?近日,GBASE南大通用产品经理白军奎接受了国内专业数据库及架构技术社区ITPUB的特别采访,道出了GBASE向量数据库背后的“黑科技”与“避坑”之旅。

采访嘉宾:白军奎,南大通用8a产品经理,18年数据库从业经验,长期奋战在国产数据库一线,先后从事数据库的研发、测试、技术支持、L2支持经理、产品经理等工作。

对专业的数据库厂商来说,向量数据库的技术实现门槛并不算高,诸如通常要具备的高维度支持、相似度搜索、多向量字段支持、快速插入和更新、多模型联合分析与大模型结合等能力。但要将其应用于实际场景中并发挥出最大价值,却是一个不断“踩坑”和“填坑”的过程,从产品的工程化、产品化,到后续的功能完善、场景适配、性能优化、稳定性提升等方面,每一步都充满了挑战。

面对这些问题,GBASE南大通用在二十年的数据库研发过程中,积累了宝贵的工程经验,已经准备好了一套完善的解决方案来帮助客户应对挑战。

“我们通过与客户进行深入的沟通和交流,了解到具体需求和场景,然后基于自身的技术能力和经验,提供定制化的数据库解决方案。”

技术路线和架构设计思考

当前,向量数据库的技术路线主要分为两种:一种是在非传统关系型数据库上构建专用向量数据库,另一种是基于通用关系型数据库增加向量数据库的支持能力。GBASE南大通用选择了后者。

“我们选择在通用关系型数据库基础上增加向量数据库的支持能力,这主要基于我们深厚的OLTP、OLAP关系型数据库研发积累,以及对非结构化数据管理、分析领域的深入理解。”白军奎讲道。

这种技术路线的优势在于,它能很好地复用已有的SQL语法、开发接口、存储优化以及分布式计算能力。同时,向量数据库天然具备关系型运算能力,能够实现向量计算和关系运算的算法融合,为用户提供更高效、更灵活的解决方案。

在GBase向量数据库的架构设计中,南大通用采用了存算分离的架构。这种架构能够实现资源独立扩展,计算资源可以随需扩展,无需进行数据重分布,从而大大提高了系统的可用性和扩展性。

“存算分离架构的设计初衷主要是为了解决传统存算一体架构下的一系列问题,如单点故障、数据重分布性能损耗、数据冗余等。”白军奎表示。在这种架构下,计算和存储资源可以独立扩展,不仅提高了系统的灵活性,还降低了成本。同时,不同计算资源可以共享同一份数据,减少了数据冗余和一致性风险。

此外,存算分离架构还带来了更高的系统可用性和稳定性。由于避免了单点故障导致的服务降级,用户可以享受到更可靠的数据服务。同时,资源的弹性扩展也使得用户可以根据业务需求灵活调整计算或存储资源,满足不断增长的数据处理需求。

选型关注存算分离、易用性

在进行向量数据库选型时,用户应关注多个关键性能指标以确保其满足业务需求并具备高效、可靠的性能。

首先,考虑到向量数据的庞大量级,选择分布式、存算分离的向量数据库至关重要。这种架构能够提供弹性资源扩展,确保数据库能够轻松应对不断增长的数据量,并实现资源的高效利用。同时,存算分离的设计还能够实现数据共享存储,避免数据冗余,提高数据一致性。

其次,易用性是另一个关键指标。用户应优先选择采用标准SQL和开发接口的向量数据库,以降低开发使用难度,提高开发效率。这样的数据库能够提供更直观、更易于理解的操作方式,使开发人员能够更快速地掌握并运用数据库功能。

此外,支持向量数据和结构化数据联合分析也是一个明确的业务需求。用户应选择具备这一功能的向量数据库,以便能够同时处理和分析不同类型的数据,满足业务场景的多样化需求。

最后,高安全、高可靠、易管理的能力也是选型过程中不可忽视的因素。用户应选择具备完善的安全机制和可靠性保障的向量数据库,确保数据的安全性和可靠性。同时,易管理的数据库能够降低运维难度,提高运维效率,为用户带来更好的使用体验。

写在最后

当前,GBase向量数据库已完成了产品化和发布,正在和合作伙伴进行向量数据库应用场景的探索。下一步是基于业务和市场牵引,与更多的大模型厂商、应用厂商等合作伙伴进行对接,形成细致的行业大模型应用工具和方案,为客户的大模型应用提供价值和支撑。

“智能化运维和自动化优化将成为未来数据库发展的重要方向,而大模型技术将在这个过程中发挥关键作用。“”白军奎强调。

GBASE南大通用将利用大模型技术,实现对数据库运行信息、操作审计信息和数据访问信息的全面采集和分析。通过这些信息,针对不同业务场景、不同计算引擎和不同数据内容,采用最优的数据存储、计算和访问策略,从而大幅提升数据库的性能和效率。

同时,在数据应用方面,GBASE南大通用也将通过引入大模型技术,对库内海量数据进行特征提取、数据使用协助、SQL审核和优化等操作,帮助用户更好地理解和利用他们的数据,同时提高数据查询和处理的准确性和效率。

GBASE南大通用正积极地向数据云的方向演进和发展,采用云化的存算分离技术,以及元数据统一、计算调度统一、数据存储统一的湖仓一体技术,为用户打造一个坚实的数据云服务平台,帮助用户轻松管理和利用自己的数据资产,满足各种业务需求。


http://www.hkcw.cn/article/vuvjlXGmOE.shtml

相关文章

九旬老人遭儿女遗弃,流浪乞讨多年成“皮包骨”,警方:拘留

在2024年6月24日,成都市新都区大丰街道一名网民发布的虚假新闻《九旬老人遭儿女遗弃,流浪乞讨多年成“皮包骨”》迅速传播,引起了广泛的社会关注和同情。然而,这一引人瞩目的故事背后,却是一个利用AI技术编造谎言的网络谣言。张某,为了追求网络流量和个人关注,精心设计并…

靠小黄图火遍全球的APP,用一副墨镜击败了Google

去年有一段时间,各类APP靠着18禁内容博出位。王思聪投资的「17」凭借一场男女直播做爱火遍国内;「斗鱼」女主播脱衣露点让下载量翻倍;还有「快手」无数关于性的短视频……随着时间推移,这些APP都或多或少受到了约束和监管. 但有一款应用,不仅靠着小黄图发家,还一直都在发…

北大凌晨发讣告:“ 重大损失”

本文转自【中国青年报】; 4月15日0点,北京大学考古文博学院发布讣告—— 中国共产党党员、著名考古学家、北京大学哲学社会科学资深教授严文明先生因病医治无效,于2024年4月14日20时13分在北京逝世,享年92岁。严文明先生1932年10月出生于湖南华容,1958年9月毕业于北京大学…

乌媒曝画面:基辅传出爆炸声,大量居民前往地铁站避险

【环球网报道】据乌克兰《基辅独立报》等媒体报道,俄军26日对乌克兰境内目标发动大规模导弹和无人机袭击,基辅等乌克兰城市传出爆炸声。 乌克兰独立新闻社26日报道称,大量基辅居民前往地铁站避险。报道所配视频中的画面显示,基辅一个地铁站内挤满了人。

这部充满69体位的动画播出后,牛顿的棺材板快压不住了

好久没安利动画电影了。 今天来一部体位感人的动画电影,里面到处都是69体位! 看,说的就是它—— 《颠倒的帕特玛》这部动画播出于2013年,制作水准颇高,为制作方抱回了一堆大奖——展开全文内容也挺给力,豆瓣7.9,毫无疑问的精品之作——看封面里男上女下的69姿势就知道,…

2024微信视频号具体操作指南,适合新手收藏

微信视频号作为微信生态中的重要一环,越来越多的用户开始关注并尝试使用。本文将为您提供2024微信视频号具体操作指南,帮助新手更好地理解和掌握视频号的使用方法。 首先,打开微信APP,点击底部“发现”,然后点击朋友圈下面的“视频号”。在新页面点击右上角头像,出现如下…

元素周期表集锦,最后一个燃爆了!

1.经典元素周期表(初中人教版教材后)2.经典元素周期表(高中人教版教材后) 从此图中能看到诸多信息~同学们要记住0族元素的原子序数哦,做题时会用到的~3.繁体字元素周期表展开全文4.英文式正规元素周期表5.日文正规元素周期表6.第七周期已填满的元素周期表7.元素周期表轮廓图,…

杭州,对你爱爱爱不完!

杭州,对你爱爱爱不完! 三秋桂子香, 最忆是杭州。10月8日20:00, 第十九届亚洲运动会将正式落下帷幕。 从中国农历的秋分到寒露, 天气渐凉, 但杭州亚运会的“热度”始终不减。 时针拨回到9月23日的开幕式现场, 主火炬塔形如钱江大潮缓缓打开, 19根火炬象征着第19届亚运会…

山东东营警方通报恶性伤人事件:男子伤害妻女和外孙,已自杀身亡

央视网消息:据“东营公安”微信公众号消息,7月3日15时许,东营市公安局东营分局辖区一小区发生一起刑事案件,致马某某(女,60岁)、其女儿马某(女,25岁)、其外孙刘某某受伤。接警后,公安机关立即出警,搜捕犯罪嫌疑人,协助120对伤者进行救治。经查,犯罪嫌疑人赵某某(…

小蛮腰“学院派女神”阿斯彭.曼斯菲尔德,迷你裙写真照(25图)

小蛮腰“学院派女神”阿斯彭.曼斯菲尔德,迷你裙写真照(25图) 有人称她为“学院派女神”,但她却是货真价实的社交网红。 很多网友都觉得,她拥有一身性感的小蛮腰充满诱惑、一脸青春阳光的笑容迷倒无数网友。 这位小姐姐叫Aspen Mansfield(阿斯彭.曼斯菲尔德),1993年11月…

日本大叔秀肌肉,却显“丁丁大”!被网友调侃去做男优吧...

在一个以瘦为美的时代,许多人都认为健美的肌肉虽然很大,但它们的生殖器官可能相对较小。然而,一位来自日本的肌肉大叔却意外地展示了一个令人惊叹的“大”生殖器。这一惊人的发现引发了网友们的热议和调侃。 大辉,这位日本大叔,他的肌肉线条分明,力量感十足。当他露出腹肌…

汪海林吐槽年轻女演员:20到30岁的没有一个会演戏

哎呀,这世道真是变了!7月10日,咱们那位知名的编剧大佬汪海林,竟然在网上发了个大吐槽,说咱们20到30岁的女演员们,没一个会演戏的。这话一出,简直是炸了锅了,网友们纷纷表示:“真的假的?这么严重吗?”汪海林,那可是咱们中国内地编剧界的扛把子,写过《一起来看流星雨…

原创真没想到!河南00后女孩请假回家收麦,背后原因震撼人心!

5月30日,河南平顶山的00后女孩辛梦真,用她那双纤细却坚定的手,讲述了一段动人的麦田故事。她没有选择在城市的高楼大厦中度过青春,而是在广阔的田野里,和家人一起迎接丰收的喜悦和辛劳。这个故事可能会让你想起自己的青春岁月,那些为了家庭、为了梦想而不断努力的日子。回…

原创县委书记被曝性侵女下属!女方身份被扒,目前处境很糟,官方回应

前言: 近日,一起涉及江西省万年县县委书记毛奇的性侵案件引起了社会的高度关注,该案件中,毛奇被指控长期对女下属进行性侵和猥亵,而被害者的父亲则挺身而出,实名举报此事,希望能够为女儿讨回公道。这起案件的曝光,引发了社会对于性侵问题的深刻猜想和讨论,也让人们对于…

大熊猫电刺激采精伤害大?全面分析揭示真相

随着科技的不断进步,动物繁育技术也在不断发展。其中,电刺激采精作为一种现代繁育技术,被广泛应用于包括大熊猫在内的多种动物繁育中。然而,近年来关于大熊猫电刺激采精伤害大的说法甚嚣尘上,引发了广泛关注。本文将从多个角度进行全面分析,以揭示这一说法的真实性。 大熊…

丈夫因护妻把姐夫打成植物人,法院:防卫过当,网友评论炸锅!

6月1日,一则关于丈夫护妻华姐夫打成植物人,法院判决2年7个月的消息冲上热搜,事情曝光后,迅速引发网友的热议!此事还要从6年前说起,女子与姐夫因耕地引水灌溉和姐夫发生矛盾,姐夫用木棒击中了女子的头部,女子的丈夫看到这一幕,为了保护自己的妻子,用铁锹击打了姐夫的面…

原创广西北海取消城管,具有划时代的意义。

只有在人群中间,才能认识自己。近日,一则公告成为热搜。 北海市综合行政执法局被改革改没了,其职责分散回归到原部门。展开全文根据《北海市机构改革方案》和北海市机构改革实施意见有关精神,将市综合行政执法局的住房和城乡建设、自然资源、交通运输、生态环境、工业和信息…

原创闹大了!那个持棍击打女骑手的奔驰车主身份被扒!交警回应也来了

“你是不是想死!” 好家伙,估计张世豪都没敢这么嚣张! 奔驰车主恶意别车,无理挑衅,居然还随时携带棍棒凶器在车上。 一棍引发全民热议,身份被扒个底朝天! 奔驰车主持棍击打女骑手。近日,在湖北武汉,发生一起交通安全事故,其实也是小事故,但却迅速引起了网友们高度热…

李佳琦回应上《披哥》原因!自称学艺术的渴望舞台

搜狐娱乐讯 近日,李佳琦在女助理旺旺的视频里回应了自己参加《披哥》的原因,他表示:“因为我之前学艺术的,我还是有渴望那个舞台的感觉......虽然录综艺很累,也是热爱的......希望大家可以享受当下、享受生活吧,不要为工作,而失去你最纯粹的那个快乐。”5月21日,李佳琦…

Element UI快速入门:打造高效网页设计!

Element UI 是一套为开发者、UI/UX设计师和产品经理准备的采用Vue 2.0作为基础框架实现的组件库,提供配套的设计资源,可以帮助设计快速成型。即时设计也内置Element UI Kit资源,但有些小伙伴还是对此不太了解,接下来本文会详细带你了解。 一、Element UI 设计原则 在使用组…