1、DM8 企业版安装 2、数据库和实例管理 3、DM8 客户端工具 4、DMSQL 5、DM体系结构 6、表空间管理 7、用户管理 8、模式和对象管理 9、数据字典和动态性能视图 10、数据库备份恢复 11、作业管理 12、DM8 开发
开发版: 除了不支持集群, 其他功能和企业版相同, 试用时间为一年 标准版: 为政府部门、中小型企业及互联网/内部网应用提供的数据管理和分析平台 企业版: 企业版是伸缩性良好、功能齐全的数据库, 为高端应用提供了数据复制、数据守护等高可靠性、高性能的数据管理能力, 完全能够支撑各类企业应用 安全版: 拥有企业版的所有功能, 并重点加强了其安全特性, 引入强制访问控制功能, 安全级别达到B1级, 适合于对安全性要求更高的政府或企业敏感部门选用
具体的版本不同请参数达梦手册 https://eco.dameng.com/docs/zh-cn/start/dm-version-differences.html
1、操作系统内核版本必须大于或等于 2.6
2、根据不同的CPU类型选择不同版本
3、磁盘空间检查, DM8安装时要求 /tmp 分区如果是单独分区则该分区大小必须大于1.5G
4、glibc版本要求大于等于 2.3
1、目录规划
2、创建转移用户和组
3、操作系统参数检查及配置
1、挂载数据库软件进行安装
2、图形化安装DM8
3、图形化安装数据库软件
1、图形化安装
上面的方式就是图形化安装
2、命令行安装
DM 的静默安装是依据xml文件自动安装, 具体配置信息可以参考官方手册 https://eco.dameng.com/docs/zh-cn/pm/install-uninstall.html#2-2-2-3-%E9%9D%99%E9%BB%98%E5%AE%89%E8%A3%85
初始化方式
1、图形化界面
2、命令行工具
– dminit 初始化的数据库实例, 不会执行注册服务脚本, 所以需要手动注册或者不使用服务管理
注册服务方式
1、图形化界面(dbca.sh)
2、命令行工具
启动和停止数据库方式
1、命令行启动
1.1、前台启动
1.2、后台启动
2、控制台启动
1、读取参数文件dm,ini, 对数据库参数进行初始化 2、根据 dm.ini 中配置的控制文件位置, 读取控制文件信息, 将数据库数据文件等调整到正常状态
manager 管理工具
$DM_HOME/tool/manager 主要功能: 和数据库进行交互、执行SQL语句、用户管理、权限管理、备份管理等一切日常工作都可以实现
dts迁移工具
$DM_HOME/tool/dts 主要功能: 数据库和数据库之间的数据迁移、异构数据库之间的迁移、导出数据等
monitor 监控工具
$DM_HOME/tool/monitor 主要功能: 对数据库和服务器的性能进行监控
console 控制台工具
$DM_HOME/tool/console 主要功能: 对数据库服务进行管理、日常的启动关闭
disql命令行交互工具
$DM_HOME/bin/disql 主要功能: 命令行的交互工具、对数据库进行日常管理
manager 管理工具简单使用
console 控制台工具简单使用
monitor 监控工具简单使用
disql 命令行交互工具简单使用
1、连接数据库
2、执行SQL
3、执行操作系统命令
4、导入数据
DML 数据操作语句
INSERT
用法
UPDATe
用法 UPDATE TB_NAME SET 更新字段=更新的值 WHERe …
DELETE
DELETE FROM TB_NAME WHERe …
SELECt 查询语句
WHERe 语句
GROUP BY
根据指定字段, 对数据进行分组显示, 常和聚集函数一起使用
HAVINg
对分组后的数据进行过滤
ORDER BY
根据指定字段进行排序
自然连接
自然连接: 根据两张表相同名的字段自动进行等值连接 自然连接写法
自连接
自己和自己进行关联 自连接写法
内连接
根据连接条件, 仅将满足条件的数据显示
左外连接: 以左表为准, 左表全部显示 匹配右表数据, 匹配不到得使用NULL补齐 根据ON条件进行等值连接,如果左表有数据,右表没有数据则右表以NULL补齐
右外连接
右外连接: 以右表为准, 右表全部显示 匹配左表数据, 匹配不到得使用NULL补齐 根据ON条件进行等值连接,右表没有数据则左表以NULL补齐
存储结构
逻辑存储结构
表空间
表空间是一个逻辑概念, 由多个段组成, 一个表空间可以包含多个数据文件, 默认数据库会自动出创建5个表空间 SYSTEM : 存储数据库的元数据信息 ROLL : 回滚段, 用于提供MVCC机制 MAIN : 如果创建的用户没有指定表空间, 则默认创建的数据库对象就存放在该表空间中, 相当于ORACLE的user表空间 TEMP : 存放临时数据, 例如SQL语句的执行结果 HMAIN : HTS表空间
表空间相关视图
段
段时逻辑概念, 由多个区组成 段的类型 数据段: 存放数据和索引的段 临时段: 临时结果集等, 临时段的分配和释放完全由系统自动控制，用户不能手工进行干预 回滚段: 用于存储多版本并发
簇
簇是一个逻辑概念, 由多个页组成, 主要用于当进行表空间扩展时, 一次性扩展多少空间 在进行数据库初始化时可以指定
页
数据库的最小存储单元, 也是最小的I/O操作单元 DM数据库页大小分为 4k 8k 16k 32k , 默认8k, 在数据库初始化时可以指定页大小, 一旦指定后就无法修改
页中存放内容
1、页的类型 2、记录 3、页的元数据信息
页大小的选择
页中存放的是真实的记录, 当一个表中的一行记录的总长度很大时, 则选择16k或者32k的页大小 因为数据库每次从磁盘读取都是根据数据页的大小进行读取可以减少磁盘IO
数据文件
用于存储真是数据的文件
控制文件
dm.ctl 该文件是二进制文件, 只能通过命令行工具dmctlcvt工具打开 控制文件中包含了 OGUID、数据库状态、数据库名称、最后启动时间等、表空间信息、数据文件信息、联机日志文件信息等
配置文件
dm.ini 每个数据库实例在数据目录下都会生成一个 dm.ini 配置文件
配置文件参数类型
参数修改方法
联机日志
在数据库运行过程中, 产生的一切写操作的日志记录
归档日志
对联机日志的备份
内存结构
数据缓冲区
存放数据和索引的区域, 根据LRU算法进行脏页的刷写 LRU 链表 FREE LIST 当前空闲页的数量 LRU LIST LRU列表中的数量 DIRTY LIST 脏页列表的数量, LRU LIST 包含脏页列表
DM 中存在一个叫做热区的概念, 防止热数据被刷写, 个人理解, 根据LRU算法热数据一般不会被刷写不理解这个存在的意义
系统试图
日志缓冲区
存储redo日志信息
配置参数
SQL 缓冲区
字典缓冲区
存储数据库的元数据信息, 采用LRU算法进行淘汰 DICT_BUF_SIZE 默认的配置大小为5M
数据库启动后想服务器申请的内存, 在运行过程中该内存区域会将内存分配给其他线程
相关参数
所谓运行时内存就是会话级别的内存, 当有连接时需要使用内存则会进行内存的申请
DM 是单进程多线程对称服务器架构
监听线程
用于监听客户端请求, 当有新的连接时, 分配一个线程接收客户端的数据
工作线程
负责将用户输入的SQL, 进行执行并将结果返回客户端
I/O线程
负责从磁盘读写数据到内存, 脏页的刷写 IO_THR_GROUPS用于配置IO线程的个数 DM使用的是aio
调度线程
负责处理系统中的定时任务, 调度线程每秒钟轮询一次 主要负责的任务有以下任务 1、检查系统级的时间触发器，如果满足触发条件则生成任务加到工作线程的任务队列由工作线程执行； 2、清理SQL缓存、计划缓存中失效的项，或者超出缓存限制后淘汰不常用的缓存项； 3、检查数据重演捕获持续时间是否到期，到期则自动停止捕获； 4、执行动态缓冲区检查。根据需要动态扩展或动态收缩系统缓冲池； 5、自动执行检查点。为了保证日志的及时刷盘，减少系统故障时恢复时间，根据INI参数设 6、会话超时检测。当客户连接设置了连接超时时，定期检测是否超时，如果超时则自动断开连接； 7、必要时执行数据更新页刷盘； 8、唤醒等待的工作线程
日志FLUSH线程
将日志缓冲区的数据, 写入redo日志 如果系统配置了实时归档，在FLUSH线程日志刷盘前，会直接将日志通过网络发送到实时备库。如果配置了本地归档，则生成归档任务，通过日志归档线程完成
归档线程
将redo日志进行归档
日志APPLAY线程
主要用于主备系统中, 相当于MySQL的SQL_THREAD
定时器线程
用于定义的定时任务, 每秒检测一次定时器链表
逻辑日志规定线程
主要用于复制环境
MAL系统线程
DM内部高速通道, 基于TCP/IP 主要用于和其他主机进行通信, 所有高可用环境都会用到
其他线程
完成某些特定功能的线程
线程信息的查看
DM 默认表空间
相关数据字典
表空间管理
创建表空间
表空间脱机
表空间重命名
删除表空间
修改表空间
向表空间中添加数据文件
修改表空间属性
修改数据文件大小
数据文件迁移
临时表空间管理
收缩临时表空间方法
1、重启数据库, 会自动重建临时表空间, 表空间大小等于配置文件中指定的参数 2、使用方法 SP_TRUNC_TS_FILE 方法
重做日志管理
系统视图
修改联机日志大小
添加联机日志
修改联机日志路径
开启归档方法
1、手动开启
2、配置文件配置
查看当前数据库归档状态
修改归档配置参数
关闭归档
###切换归档
删除归档
根据时间删除
根据LSN删除
相关视图
DM 多权分立
将用户分为多个角色 系统管理员 SYSDBA 身份验证, 资源限制, 数据加密, 访问控制, 客体重用 系统审计员 SYSAUDITOR 审计 系统安全员 SYSSSO 策略和标记管理 对象管理员 SYSDBO 访问对象控制
用户口令策略
PWD_POLICY = 设置密码口的策略 0: 无限制, 但总长度不得超过48个字节 1: 禁止与用户名相同 2: 口令长度需大于等于INI参数PWD_MIN_LEN设置的值 4: 至少包含一个大写字母 8: 至少包含一个数字 16: 至少包含一个标点符号, 英文输入法状态下, 除“和空格外的所有符号
PWD_POLICY 是隐藏参数, 只能通过函数或者语句进行修改, 配置文件中没有该参数
用户身份验证模式
数据库认证模式
使用创建用户时, 设置的密码登录
基于操作系统认证模式
开启操作系统认证参数 ENABLE_LOCAL_OSAUTH = 1 开启本地操作系统认证 ENABLE_REMOTE_OSAUTH = 1 开启远程操作系统认证 ENABLE_ENCRYPT = 1 表示使用ssl安全加密 上面的参数时静态参数, 需要重启数据库
用户管理示例
用户资源限制
相关视图
dba_profiles 可以定义的策略
LIMIT 语句
PROFILE 语句
授权和撤销
授权
GRANT 权限 TO username [WITH ADMIN OPTION]
回收
REVOKE 权限 FROM username
示例
权限相关系统表
查看权限
预定角色
管理类
审计类
安全类
创建角色
删除角色
禁用角色
模式
模式是一个特定的对象集合 类似MySQL中的database , 用户可以创建多个database, 在DM中表示为模式, 默认情况下当创建用户时, 则默认会创建一个同名的模式
模式和用户的关系 一个用户可以有多个模式, 一个模式只能属于一个用户
查看模式
创建模式
查看当前模式和用户
切换模式
删除模式
创建表
创建表方式
1、普通方式
2、基于某个表创建
3、CREATE TABLE AS SELECT
向表中添加字段
删除字段
修改字段
移动表到指定表空间
表相关视图
数据导入
约束管理
约束类型
向表上添加约束
NOT NULL
唯一约束
主键约束
外键约束
禁用约束
开启约束
删除约束
创建索引
删除索引
监控索引
重建索引
统计信息收集
由SQL语句组成的表, 视图不存储真实的数据, 只存储表的查询语句
DM 常用系统表
动态性能视图
资源管理
段簇页
数据库信息
数据库对象相关
数据库配置参数
日志管理
会话
SQL执行相关
事务和检查点
事件
进程和线程
系统信息
通讯
MPP
DSC
数据守护
系统包
捕获
审计与加密
备份恢复概念
备份: 从数据库文件中拷贝有效的数据页保存到备份集中 有效数据页指的是: 数据文件的描述页和被分配使用的数据页 还原: 将有效的数据页重新写入目标数据文件中的过程 恢复: 通过归档日志将数据恢复到备份结束时的状态, 也可以恢复到指定的时间或者LSN的位置 – 在恢复后数据库中的未提交数据在启动时会有DM自动进行回滚
备份类型
逻辑备份 通过dexp工具, 将指定对象的数据导出到文件, 逻辑备份针对的是数据内容, 不关系数据物理存储在什么位置
物理备份 直接扫描数据文件, 找出已经分配使用的数据页拷贝并保存到备份集, 物理备份不关心数据的内容只是通过数据库文件系统的藐视来挑选有效的数据页
联机备份 数据库处于运行状态并正常提供数据库服务的状态下进行备份
脱机备份 数据库处于关闭状态下进行数据库的备份
DM dmrman备份只能是关闭数据库下才可以进行脱机备份
联机备份
完全备份
1、完全备份, 备份时指定备份名称 并且 添加备份注释信息
2、完全备份, 备份时指定备份片最大大小
3、完全备份, 备份时进行压缩
4、完全备份, 采用并行备份, 并行数是8
增量备份
表空间备份
1、备份TBS_ITS表空间
2、增量备份, 没有指定基备份, 则在备份目录下搜索最近一次的完全备份或者增量备份作为基备份
3、增量备份, 基于某个备份做增量备份
4、增量备份, 基于某个备份
表备份
归档备份
归档备份参数
备份数据库
完全备份
增量备份
归档备份
备份集校验
删除备份集
逻辑备份
dexp 逻辑备份
示例
dimp 逻辑备份还原
FILE: 指定要导入的文件 DIRECTORY: 在导入过程中, 生成的日志文件会存放在该目录下
创建备份作业
全量备份
增量备份
JDBC 连接数据库
JDBC 接口编程
JDBC (Java Database Connectivity) 是 Java 应用程序与数据库的接口规范，旨在让各数据库开发商为 Java 程序员提供标准的数据库应用程序编程接口 (API) JDBC 定义了一个跨数据库、跨平台的通用 SQL 数据库 API。 DM JDBC 数据库驱动程序是一个能够支持基本 SQL 功能的通用应用程序编程接口， 支持一般的 SQL 数据库访问。通过 JDBC 驱动程序，用户可以在应用程序中实现对 DM 数据库的连接与访问，
JDBC 驱动程序的主要功能包括： 建立与 DM 数据库的连接。 转接发送 SQL 语句到数据库。 处理并返回语句执行结果。
JDBC 连接池
数据库连接池负责分配、管理和释放数据库连接。它允许应用程序重复使用一个现有的数据库连接， 而不是再重新建立一个；对空闲时间超过最大空闲时间的数据库连接能自动释放， 避免因数据库连接未释放而引起的连接泄露问题
JDBC常见连接池
1、C3P0：是一个开放源代码的JDBC连接池，实现jdbc3和jdbc2扩展规范说明的Connection 和Statement 池的DataSources 对象。 2、Proxool：是一个Java SQL Driver驱动程序，提供了对选择的其它类型的驱动程序的连接池封装。可以透明地为现存的JDBC驱动程序增加连接池功能。 3、Jakarta DBCP：DBCP是一个依赖Jakartacommons-pool对象池机制的数据库连接池。DBCP可以直接在应用程序中使用。 4、BoneCP：是一个快速、开源的数据库连接池。帮用户管理数据连接，让应用程序能更快速地访问数据库。比C3P0/DBCP连接池速度快25倍。 5、Druid：Druid不仅是一个数据库连接池，还包含一个ProxyDriver、一系列内置的JDBC组件库、一个SQL Parser。 6、Hikari：Hikari是一款非常强大，高效，并且号称“史上最快连接池”。在springboot2.0之后，采用的默认数据库连接池就是Hikari。
JDBC连接基础参数
jdbc.driver=dm.jdbc.driver.DmDriver jdbc.url=jdbc:dm://localhost:5236 jdbc.username=test jdbc.password=Test12345
ODBC 连接数据库
开放数据库连接, 为解决异构数据库间的数据共享而产生的, ODBC 为异构数据库访问提供统一接口, 允许应用程序以SQL 为数据存取标准, 存取不同DBMS管理的数据 使应用程序直接操纵DB中的数据, 免除随DB的改变而改变。用ODBC 可以访问各类计算机上的DB文件 DM ODBC 3.0 遵照 Microsoft ODBC 3.0 规范设计与开发, 实现了 ODBC 应用程序与 DM 数据库的互连接口 用户可以直接调 DM ODBC 3.0 接口函数访问 DM, 也可以使用可视化编程工具如 C++ Builder、PowerBuilder 等利用 DM ODBC 3.0 访问 DM 数据库