肿瘤康复网,内容丰富有趣,生活中的好帮手!
肿瘤康复网 > 数据处理方法 装置 存储介质和处理器与流程

数据处理方法 装置 存储介质和处理器与流程

时间:2020-04-28 06:31:19

相关推荐

本发明涉及数据处理领域,具体而言,涉及一种数据处理方法、装置、存储介质和处理器。

背景技术:

目前,通常通过位图法(roaringbitmap)对数据进行处理,该方法可以完整地表示2^32个整型(int)整数,容量阈值为512mb。

但是,由于业务中收录的设备标识(identifierforadvertising,简称为idfa)都是经过32位的md5加密后的字符串,与int类型不相匹配,因而上述类型数据无法满足现有的亿级数据量的逻辑计算,并且在对上述数据进行处理时,所要花费的时间复杂度为o(n)^2,从而导致数据处理的效率低。

针对现有技术中的数据处理的效率低的问题,目前尚未提出有效的解决方案。

技术实现要素:

本发明的主要目的在于提供一种数据处理方法、装置、存储介质和处理器,以至少解决数据处理的效率低的问题。

为了实现上述目的,根据本发明的一个方面,提供了一种数据处理方法。该方法可以包括:获取设备的数据源集,其中,数据源集中的每个数据源用于标识设备,每个数据源为的量级相同,且量级大于目标阈值;将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据;对每个第一数据进行移位处理,得到多个第二数据;对每两个第二数据进行逻辑运算,得到结果集。

可选地,该方法还包括:将每个第一数据按照目标数据结构存储至集群缓存数据库中。

可选地,将每个第一数据按照目标数据结构存储至集群缓存数据库中包括:将每个第一数据按照键值对的形式存储至集群缓存数据库。

可选地,在对每两个第二数据进行逻辑运算,得到结果集之后,方法还包括:基于结果集在集群缓存数据库中反查数据源集。

可选地,对每个第一数据进行移位处理,得到多个第二数据包括:对每个第一数据进行移位处理,得到每个第一数据的第一数据位的第一子数据和第二数据位的第二子数据。

可选地,将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据包括:对每个数据源进行哈希运算,以将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据。

可选地,对每两个第二数据进行逻辑运算,得到结果集包括以下之一:对每两个第二数据进行或逻辑运算,得到结果集;对每两个第二数据进行与逻辑运算,得到结果集;对每两个第二数据进行非逻辑运算,得到结果集。

为了实现上述目的,根据本发明的另一方面,还提供了一种数据处理装置,其特征在于,包括:获取单元,用于获取设备的数据源集,其中,数据源集中的每个数据源用于标识设备;转化单元,用于将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据;移位单元,用于对每个第一数据进行移位处理,得到多个第二数据;运算单元,用于对每两个第二数据进行逻辑运算,得到结果集。

为了实现上述目的,根据本发明的另一方面,还提供了一种存储介质。该存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行本发明实施例的数据处理方法。

为了实现上述目的,根据本发明的另一方面,还提供了一种处理器。该处理器用于运行程序,其中,程序运行时执行本发明实施例的数据处理方法。

通过本发明,采用获取设备的数据源集,其中,数据源集中的每个数据源用于标识设备,每个数据源为的量级相同,且量级大于目标阈值;将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据;对每个第一数据进行移位处理,得到多个第二数据;对每两个第二数据进行逻辑运算,得到结果集。也就是说,针对多个同量级同单位数据,对数据类型进行转换、移位处理,再进行逻辑运算,时间开销约为o(n),将传统计算方案所要花费的o(n)^2的时间复杂度降低了一个维度,从而解决了数据处理效率低的技术问题,进而达到了提高数据处理效率的技术效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1是根据本发明实施例的一种数据处理方法的流程图;

图2是根据本发明实施例的另一种数据处理方法的流程图;以及

图3是根据本发明实施例的一种数据处理装置的示意图。

具体实施方式

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本发明实施例提供了一种数据处理方法。

图1是根据本发明实施例的一种数据处理方法的流程图。如图1所示,该方法可以包括以下步骤:

步骤s102,获取设备的数据源集。

在本发明上述步骤s102提供的技术方案中,数据源集中的每个数据源用于标识设备,每个数据源为的量级相同,且量级大于目标阈值。

在该实施例中,数据源集包括多个数据源,该多个数据源可以是企业或组织收集到的大量同类型数据,也即,多个同量级同单位数据,其量级可以达亿量级,包括用于标识设备的信息,比如,为广告业务中的idfa,还可以是国际移动设备识别码(internationalmobileequipmentidentity,简称为imei)等设备号,可以应用在广告计算的标签领域中。

步骤s104,将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据。

在本发明上述步骤s104提供的技术方案中,在获取设备的数据源集之后,可以遍历数据源集中的每个数据源,将每个数据源的数据类型由字符串类型转化为长整型,使得每个数据源对应长整型的第一数据,从而得到多个第一数据。

在该实施例中,每个数据源的数据类型可以是字符串类型,比如,idfa为经过32位md5加密后的字符串,这与位图法的int型整数不匹配,因而需要对其进行数据类型的转换,可以将每个数据源的数据类型由字符串类型转化为长整型(long),从而使得每个数据源都能对应上唯一的表示long类型的整数,比如,将加密后的数据个体idfa能对应上唯一的表示long类型的整数。

需要说明的是,该实施例的将每个数据源的数据类型由字符串类型转化为长整型存在一定的时间花费开销。

步骤s106,对每个第一数据进行移位处理,得到多个第二数据。

在本发明上述步骤s106提供的技术方案中,在将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据之后,对每个第一数据进行移位处理,得到多个第二数据。

在该实施例中,每个第一数据为long类型的整数,具有64个bit位,可以对每个第一数据进行移位处理,得到每个第一数据的第一数据位的第一子数据和第二数据位的第二子数据,其中,第一数据位的第一子数据可以为对每个第一数据进行移位处得到的数据的高32位数据,第二数据位的第二子数据可以为对每个第一数据进行移位处得到的低32位数据,从而与每个第一数据对应的一个第二数据包括每个第一数据移位处理取得的高32位数据和低32位数据。

可选地,该实施例使用map<高32位,roaringbitmap(低32位)>数据结构(以下统称map64)存储一个数据集,从而每个第一数据生成一个map64,得到多个map64,每个map64用于表示一个第一数据,比如,每个map64可以用于标识一个idfa。在数据量大的情况下,map64耗费的存储空间也会线性增大。其中,使用map<高32位,roaringbitmap(低32位)>数据结构可以将每个第一数据表示成一个idfa。

步骤s108,对每两个第二数据进行逻辑运算,得到结果集。

在本发明上述步骤s108提供的技术方案中,在对每个第一数据进行移位处理,得到多个第二数据之后,对每两个第二数据进行逻辑运算,得到结果集。

在该实施例中,可以对每两个第二数据进行逻辑运算,比如,对每两个第二数据进行或逻辑运算,得到结果集;对每两个第二数据进行与逻辑运算,得到结果集;对每两个第二数据进行非逻辑运算,得到结果集,从而在多个数据源之间快速地查找共同部分,互斥部分等。该实施例对每两个第二数据进行逻辑运算所得到的结果集是一个long型集合,可以有效地解决大数据量之间的逻辑筛选计算问题。

通过本发明上述步骤s102至步骤s108,采用获取设备的数据源集,其中,数据源集中的每个数据源用于标识设备,每个数据源为的量级相同,且量级大于目标阈值;将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据;对每个第一数据进行移位处理,得到多个第二数据;对每两个第二数据进行逻辑运算,得到结果集。也就是说,针对多个同量级同单位数据,对数据类型进行转换、移位处理,再进行逻辑运算,时间开销约为o(n),将传统计算方案所要花费的o(n)^2的时间复杂度降低了一个维度,从而解决了数据处理效率低的技术问题,进而达到了提高数据处理效率的技术效果。

作为一种可选的实施方式,该方法还包括:将每个第一数据按照目标数据结构存储至集群缓存数据库中。

在该实施例中,在将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据时,可以对多个第一数据按照目标数据结构进行存储,可以是使用map<高32位,roaringbitmap(低32位)>数据结构)存储一个数据集,将其存储至集群缓存数据库中,该集群缓存数据库可以是rocksdb、多节点redis集群、aerospike集群等。可选地,在机器资源充足或者资金代价足够大的话,集群缓存数据库还可以更换应用在ssd上的pika的数据库,理论上可以获得更高的时效。

作为一种可选的实施方式,该方法还包括:将每个第一数据按照目标数据结构存储至集群缓存数据库中包括:将每个第一数据按照键值对的形式存储至集群缓存数据库。

在该实施例中,在使用map<高32位,roaringbitmap(低32位)>数据结构(以下统称map64)存储每个第一数据移位处理取得的高32位数据和低32位数据时,还可以将其以键值对(key-value,简称为k-v)的形式存储至集群缓存数据库中,比如,键为684216861258721548,对应的值为12385b750c02556e3d5ecb7b65d78b6d。此操作可以采用多线程高并发执行,取决于运行遍历数据集的机器性能,也可部署在集群中运行此操作,此处的时间复杂度为o(n)。

作为一种可选的实施方式,在步骤s108,对每两个第二数据进行逻辑运算,得到结果集之后,该方法还包括:基于结果集在集群缓存数据库中反查数据源集。

在该实施例中,由于将每个第一数据按照目标数据结构存储至集群缓存数据库中,因而在对每两个第二数据进行逻辑运算,得到结果集之后,还可以在集群缓存数据库中进一步反查结果集相应的数据源集,比如,反查设备号,将得到的第二数据通过查询集群缓存数据库以获取到最开始的数据源,从而可以高效地解决数据反查的问题。

可选地,该实施例可以对每个第二数据进行(((long)high)<<32)|(low&0xffffffffl)运算,可以对每个第二数据包括的第一数据位的第一子数据和第二数据位的第二子数据进行(((long)high)<<32)|(low&0xffffffffl)运算,即可取得原来的第一数据,也即,取得原值,为一个long类型的第一数据,其中,第一数据位的第一子数据可以为将long类型的第一数据移位取得的高32位,第二数据位的第二子数据可以为将第一数据移位取得的低32位,再将得到的long类型的第一数据通过查询集群缓存数据库获取到最开始的数据源,其中,每个第二数据的取值和移位的逻辑操作都是非常迅速的,花费时间几乎可以忽略不计,取值的整体时间只会开销在遍历所有数据上,这取决于数据量的大小以及计算所使用的内存,因而时间总开销是趋近于o(n)。

可选地,该实施例的每个第二数据(单个map64)的遍历取值,只需要在遍历的同时将每个第二数据的压缩位图(roaringbitmap)取出来即可得到第一数据位的第一子数据,比如,得到低32位的数据,再将每个第二数据的key取出得到第二数据位的第二子数据,比如,得到高32位的数据。

作为一种可选的实施方式,步骤s104,将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据包括:对每个数据源进行哈希运算,以将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据。

在该实施例中,在实现将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据时,可以是对每个数据源进行哈希运算,比如,采用谷歌的murmur3_128.aslong()哈希算法对每个数据源进行哈希运算,以将每个数据源的数据类型由字符串类型转化为长整型,从而得到多个第一数据。

下面以对每两个第二数据进行或逻辑运算对该实施例的对每两个第二数据进行逻辑运算的方法进行举例说明。

作为一种可选的实施方式,对每两个第二数据进行或逻辑运算,得到结果集包括:将每两个第二数据中的第一目标数据加载至内存中;遍历每两个第二数据中的第二目标数据,得到第二目标数据的键和值;在第一目标数据的值为压缩位图的情况下,将第一目标数据的压缩位图与第二目标数据的压缩位图进行或运算,得到结果集。

在该实施例中,在每两个第二数据中确定第一目标数据map1,先将map1加载至内存中,其次遍历每两个第二数据中的第二目标数据map2,可以取得第二目标数据map2是所有键(key)和值(value=roaringbitmap),进而获取第一目标数据map1的值,也即,操作map1.get(key),其结果只会是空null或者是压缩位图(roaringbitmap)。如果第一目标数据的值为压缩位图,则将第一目标数据的压缩位图与第二目标数据的压缩位图进行或运算,得到结果集,比如,将map1.get(key)的roaringbitmap与map2.get(key)获得的roaringbitmap进行or()操作,时间消耗几乎为0,最终可获得结果集;如果第一目标数据的值为null,则可以将此key-value的结构添加至第一目标数据中,最终可获得结果集。

其它的逻辑或、逻辑与等逻辑运算可以上述方法类推。

该实施例通过上述数据处理方法,可以有效地解决大数据量之间的逻辑筛选计算的问题,特别是在广告计算的标签领域。举例而言,有2亿的phone标签为“男性”,又有8千万的phone标签为“有房”,通过使用上述数据处理方法,就可以实现最快速地计算出“有房的男性”这个phone标签的集合。

在该实施例中,具体的时间花费取决于数据量,因为只是在不同的遍历数据中进行操作,而真正的时间花费开销只会出现在类型转换以及在集群缓存数据库中反查这两步。经使用spark多次测试发现,737741029个32位md5加密后的字符串,类型转换上花费约200秒左右,逻辑计算操作上花费约60秒左右,从而该方案的总时间开销被控制在分钟级别,也即,时间复杂度约为o(n),进而提高了数据处理效率。

实施例2

下面结合优选的实施方式对本发明的数据处理方法进行进一步地举例说明。

图2是根据本发明实施例的另一种数据处理方法的流程图。如图2所示,该方法可以包括以下步骤:

步骤s201,获取到数据源集。

在该实施例中,数据源集也即数据源的集合,可以包括idfa、imei等设备号。

步骤s202,遍历数据源集,采用哈希算法,使得一个加密后的数据个体能对应上唯一的表示long类型整数,并将此k-v形式存入对应集群缓存数据库。

基于现有开发完善的位图压缩方法roaringbitmap技术,原理即位图法。它可以完整的表示2^32个int型整数,容量阈值为512mb,但此类型无法满足现有的亿级数据量的逻辑计算,因为广告业务中收录到的idfa都是经过32位md5加密后的字符串,与int类型并不相匹配,因而,需要对数据源集中的数据进行数据类型转换,可以遍历数据源集,采用哈希算法,使得一个加密后的数据个体能对应上唯一的表示long类型整数,并将此k-v形式存入对应集群缓存数据库。

在该实施例中,哈希算法可以是谷歌的murmur3_128.aslong(),k-v形式可以为1684216861258721548---------------12385b750c02556e3d5ecb7b65d78b6d,此处不做任何限制。该实施例的集群缓存数据库也即rockdb集群,包括多个集群节点,每个集群节点(rockdb1、rockdb2、rockdb3……)用于存储数据源集中的一个数据源。

在该实施例中,上述操作可以多线程高并发执行,取决于运行遍历数据集的机器性能,也可部署集群运行此操作,此处时间复杂度为o(n)。

步骤s203,在long类型整数的同时,使用map<高32位,roaringbitmap(低32位)>数据结构(以下统称map64)存储一个数据集,其中,将long类型(64个bit位)移位取得高32位和低32位,再存入上述map64中。

在该实施例中,一个数据集生成一个map64,可以表示一个idfa,数据量大的话,map64耗费的存储空间也会线性增大。

在该实施例中,单个map64的遍历取值只需要将roaringbitmap取出来即可得到低32位,再将map64的key取出得高32位,对其进行(((long)high)<<32)|(low&0xffffffffl)即可取得原值,其中,map64取值和移位逻辑操作都是非常迅速的,所以花费时间可以忽略不计,取值的整体时间只会开销在遍历所有数据上,取决于数据量的大小以及计算所使用的内存。

步骤s204,对任意两个数据集进行逻辑运算。

在将long类型(64个bit位)移位取得高32位和低32位,再存入上述map64之后,可以对其进行查找以及逻辑计算。

在该实施例中,两个数据集可以为map1、map2,以map1、map2进行逻辑或计算为例:首先,将map1加载到计算内存中;其次,遍历map2,可以取得map2的所有key和value(value=roaringbitmap);再次,操作map1.get(key),结果只会是null或者是roaringbitmap;进而进行判断,若map1.get(key)为null,将此key-value的结构添加至进map1,若为map1.get(key)为roaringbitmap,将map1.get(key)获得的roaringbitmap与map2.get(key)获得的roaringbitmap进行or()操作,此or()操作已技术实现,时间消耗几乎为0,最终可获得结果集。最终的结果就是两个亿量级数据的逻辑操作后的新数据集。

其它的逻辑操作可以上述类推。

步骤s205,反查结果集。

在该实施例中,逻辑操作得到的最终结果是一个long型集合,对于其相应的idfa查询,只需要在步骤s202进行哈希运算的时候,将对应的long整型数据存入多节点集群缓存数据库即可,从而可以最高效地解决反查的问题。

在该实施例中,在反查结果集时,单个map64的遍历取值只需要在遍历的同时将roaringbitmap取出来即可得到低32位,再将map64的key取出来集可得高32位,对其进行(((long)high)<<32)|(low&0xffffffffl)运算,即可取得原值,一个long类型的整数,其中,取值和移位逻辑操作花费时间几乎可以忽略不计,因而时间总开销趋近于o(n)。再将得到的long类型数据集合通过查询rocksdb集群,从而获取到最开始的数据源。

通过该实施例的上述方案,可以有效的解决大数据量之间的逻辑筛选计算,特别是在广告计算的标签领域。具体时间花费取决于它的数据量,因为只是在不同的遍历数据中进行操作,而真正的时间花费开销只会出现在类型转换以及rocksdb集群反查这两步。通过该实施例的上述方法,总时间开销被控制在分钟级别,即时间复杂度约为o(n),从而将传统计算方案所要花费的o(n)^2的时间复杂度给降低了一个维度。

需要说明的是,该实施例还可以将集群缓存数据库(上文中的rocksdb)更换为redis集群,或者aerospike集群等,进行测试选取最优方案。甚至在机器资源充足或者资金代价足够大的话,可以更换应用在ssd上的pika数据库,理论上可以获得更高的时效。

需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

实施例3

本发明实施例还提供了一种数据处理装置。需要说明的是,该实施例的数据处理装置可以用于执行本发明实施例的数据处理方法。

图3是根据本发明实施例的一种数据处理装置的示意图。如图3所示,该数据处理装置30可以包括:获取单元31、转化单元32、移位单元33和运算单元34。

获取单元31,用于获取设备的数据源集,其中,数据源集中的每个数据源用于标识设备。

转化单元32,用于将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据。

移位单元33,用于对每个第一数据进行移位处理,得到多个第二数据。

运算单元34,用于对每两个第二数据进行逻辑运算,得到结果集。

可选地,该装置还包括:存储单元,用于将每个第一数据按照目标数据结构存储至集群缓存数据库中。

可选地,存储单元包括:存储模块,用于将每个第一数据按照键值对的形式存储至集群缓存数据库。

可选地,该装置还包括:反查单元,用于在对每两个第二数据进行逻辑运算,得到结果集之后,基于结果集在集群缓存数据库中反查数据源集。

可选地,移位单元33包括:移位模块,用于对每个第一数据进行移位处理,得到每个第一数据的第一数据位的第一子数据和第二数据位的第二子数据。

可选地,转化单元32包括:第一运算模块,用于对每个数据源进行哈希运算,以将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据。

可选地,运算单元34包括以下之一:第二运算模块,用于对每两个第二数据进行或逻辑运算,得到结果集;第三运算模块,用于对每两个第二数据进行与逻辑运算,得到结果集;第四运算模块,用于对每两个第二数据进行非逻辑运算,得到结果集。

该实施例通过获取单元31获取设备的数据源集,其中,数据源集中的每个数据源用于标识设备;通过转化单元32将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据;移位单元33对每个第一数据进行移位处理,得到多个第二数据;通过运算单元34对每两个第二数据进行逻辑运算,得到结果集。也就是说,针对多个同量级同单位数据,对数据类型进行转换、移位处理,再进行逻辑运算,时间开销约为o(n),将传统计算方案所要花费的o(n)^2的时间复杂度降低了一个维度,从而解决了数据处理效率低的技术问题,进而达到了提高数据处理效率的技术效果。

实施例4

本发明实施例还提供了一种存储介质。该存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行本发明实施例中的数据处理方法。

实施例5

本发明实施例还提供了一种存储介质。该储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行本发明实施例的数据处理方法。

显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

技术特征:

1.一种数据处理方法,其特征在于,包括:

获取设备的数据源集,其中,所述数据源集中的每个数据源用于标识所述设备,每个所述数据源为的量级相同,且所述量级大于目标阈值;

将每个所述数据源的数据类型由字符串类型转化为长整型,得到多个第一数据;

对每个所述第一数据进行移位处理,得到多个第二数据;

对每两个所述第二数据进行逻辑运算,得到结果集。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

将每个所述第一数据按照目标数据结构存储至集群缓存数据库中。

3.根据权利要求2所述的方法,其特征在于,将每个所述第一数据按照目标数据结构存储至集群缓存数据库中包括:

将每个所述第一数据按照键值对的形式存储至集群缓存数据库。

4.根据权利要求2中任意一项所述的方法,其特征在于,在对每两个所述第二数据进行逻辑运算,得到结果集之后,所述方法还包括:

基于所述结果集在所述集群缓存数据库中反查所述数据源集。

5.根据权利要求1所述的方法,其特征在于,每个所述第二数据包括第一数据位的第一子数据和第二数据位的第二子数据,对每个所述第一数据进行移位处理,得到多个第二数据包括:

对每个所述第一数据进行移位处理,得到每个所述第一数据的第一数据位的第一子数据和第二数据位的第二子数据。

6.根据权利要求1所述的方法,其特征在于,将每个所述数据源的数据类型由字符串类型转化为长整型,得到多个第一数据包括:

对每个所述数据源进行哈希运算,以将每个所述数据源的数据类型由字符串类型转化为所述长整型,得到多个所述第一数据。

7.根据权利要求1所述的方法,其特征在于,对每两个所述第二数据进行逻辑运算,得到结果集包括以下之一:

对每两个所述第二数据进行或逻辑运算,得到所述结果集;

对每两个所述第二数据进行与逻辑运算,得到所述结果集;

对每两个所述第二数据进行非逻辑运算,得到所述结果集。

8.一种数据处理装置,其特征在于,包括:

获取单元,用于获取设备的数据源集,其中,所述数据源集中的每个数据源用于标识所述设备;

转化单元,用于将每个所述数据源的数据类型由字符串类型转化为长整型,得到多个第一数据;

移位单元,用于对每个所述第一数据进行移位处理,得到多个第二数据;

运算单元,用于对每两个所述第二数据进行逻辑运算,得到结果集。

9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的方法。

10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的方法。

技术总结

本发明公开了一种数据处理方法、装置、存储介质和处理器。该方法包括:获取设备的数据源集,其中,数据源集中的每个数据源用于标识设备,每个数据源为的量级相同,且量级大于目标阈值;将每个数据源的数据类型由字符串类型转化为长整型,得到多个第一数据;对每个第一数据进行移位处理,得到多个第二数据;对每两个第二数据进行逻辑运算,得到结果集。通过本发明,达到了提高数据处理效率的技术效果。

技术研发人员:郑文彪

受保护的技术使用者:北京深演智能科技股份有限公司

技术研发日:.11.13

技术公布日:.02.25

如果觉得《数据处理方法 装置 存储介质和处理器与流程》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。