LOADING

缓存加载中...

25-7-11

2025/7/11

 

实验

dqn5000轮跑出来一坨屎,我尝试跑一下原workbed中的数据集来看看是不是自己workload的问题,结果用原workbed跑了500轮还是依托。再检查一下代码尤其是Q网络逻辑。

swirl在自己的workload上跑的效果有点烂。

继续复现LIB但是wsl突然连不上了,就这样。

大数据

  • TODO list:
    BIGdata加图,顺便复习一下。
    今天总结JDBC,Geomesa,HBase的八股。

JDBC

说白了是Java管理DB的一个接口。

注册驱动——>JVM与数据库进程之间pipe打开->获取数据库操作对象->执行SQL->处理结果->释放资源。

  • 接口和类:
    DriverManager:驱动管理。都是静态方法,用来注册驱动。
    Statement:执行sql。
    ResultSet:查询结果集。

geomesa

用于在分布式计算系统上实现大规模地理空间分析。
时空数据durability

介于计算层(mapreduce,spark等)与存储层(hdfs)之间。

KV数据库(nosql),系统将位置存储为Z空间填充曲线表示访问所有地段的点。

  • 时空索引:点线面。
  • 流处理:kafka.
  • 分布式存储:HBase.

HBase

  • 扩展性:
    运算能力regionserver:提高上层处理能力。
    存储能力HDFS-datanode:存储扩容。

  • 海量存储:KV,快速随机访问,实施入库。

  • 列式:列族下面很多列。查询只需要少数字段时,能大大减少读取数据量。

  • 高可靠:WAL。HDFS本身备份。

  • 稀疏性:列族中可指定任意多的列,空的不占空间,表可以很稀疏。

广泛用于OLAP。