scx

网站标签

Acm竞赛、 java、 【java】、 scx、 white、

---

网站描述

scx_white擅长Acm竞赛,java,【java】,等方面的知识,scx_white关注spring,mysql领域.

---

上一篇：专业生产胎压计

下一篇：旅游景点

seo综合信息

SEO信息	百度来访IP：- | 移动端来访IP：- | 出站链接：0 | 站内链接：105
IP网速：	IP地址：220.185.184.15 [中国浙江台州 电信] | 网速：649毫秒
ALEXA排名	世界排名：18 | 预估IP：13140000 | 预估PV：70036200
备案信息	京ICP备19004658号-1 | 名称：北京创新乐知网络技术有限公司 | 已创建：25年9个月9天

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0

协议类型HTTP/1.1 200 OK 页面类型text/html;charset=utf-8 服务器类型WAF 是否压缩是 原网页大小185301 压缩后大小33928 压缩比81.69%

网站快照

s c x _ w h i t e C S D N 博 客 s c x _ w h i t e 码 龄 1 0 年 关 注 提 问 私 信 博 客 ： 2 , 9 1 7 , 9 1 4 社 区 ： 2 4 6 问 答 ： 2 1 , 5 8 3 动 态 ： 1 2 , 9 3 9 , 7 4 4 总 访 问 量 6 4 4 原 创 1 , 0 4 0 , 0 4 3 排 名 2 1 , 7 8 4 粉 丝 I P 属 地 以 运 营 商 信 息 为 准 ， 境 内 显 示 到 省 （ 区 、 市 ） ， 境 外 显 示 到 国 家 （ 地 区 ） I P 属 地 ： 浙 江 省 加 入 C S D N 时 间 ： 2 0 1 5 0 1 0 3 博 客 简 介 ： 苏 苏 爱 自 由 博 客 描 述 ： 生 如 夏 花 之 绚 烂 , 死 如 秋 叶 之 静 美 。 查 看 详 细 资 料 个 人 成 就 大 数 据 领 域 优 质 创 作 者 博 客 专 家 认 证 获 得 1 , 7 5 1 次 点 赞 内 容 获 得 7 6 8 次 评 论 获 得 3 , 4 5 6 次 收 藏 代 码 片 获 得 3 , 1 3 7 次 分 享 创 作 历 程 2 篇 2 0 2 3 年 4 篇 2 0 2 2 年 2 篇 2 0 2 1 年 1 1 篇 2 0 2 0 年 1 6 篇 2 0 1 9 年 1 8 篇 2 0 1 8 年 1 1 2 篇 2 0 1 7 年 2 4 6 篇 2 0 1 6 年 2 5 0 篇 2 0 1 5 年 成 就 勋 章 T A 的 专 栏 S p r i n g 框 架 1 6 篇 A c m 竞 赛 2 3 4 篇 菜 鸟 a n d r o i d 学 习 之 路 4 9 篇 j a v a 1 4 7 篇 数 据 湖 5 篇 h e r a 离 线 调 度 开 发 1 0 篇 D e l t a L a k e 1 篇 * * * * * * * * * * * * A C M * * * * * * * * * * * * 【 图 论 】 4 8 篇 【 D i j k s t r a 】 6 篇 【 拓 扑 排 序 】 5 篇 【 欧 拉 回 路 】 2 篇 【 s p f a 】 2 篇 【 强 连 通 图 】 3 篇 【 最 小 生 成 树 】 4 篇 【 并 查 集 】 1 0 篇 【 0 1 分 数 规 划 】 【 搜 索 】 5 9 篇 【 记 忆 化 搜 索 】 3 篇 【 贪 心 】 2 5 篇 【 动 态 规 划 】 3 7 篇 【 线 段 树 】 1 5 篇 【 线 段 树 】 【 R M Q 】 2 篇 【 哈 希 表 】 1 篇 【 数 据 结 构 】 3 4 篇 【 T r i e 】 4 篇 【 K M P 】 4 篇 【 二 分 匹 配 】 3 篇 【 字 符 串 】 1 0 篇 【 水 题 】 4 9 篇 【 河 南 省 第 八 届 a c m 程 序 设 计 大 赛 】 6 篇 * * * * * * * * * * * * 课 程 * * * * * * * * * * * * 【 m a t l a b 】 【 计 算 机 图 形 学 】 3 篇 【 c + + 】 1 篇 【 发 发 牢 骚 】 1 1 篇 * * * * * * * * * * * * J A V A E E * * * * * * * * * * * * 4 篇 【 j a v a 】 1 1 0 篇 【 s o c k e t 】 4 篇 【 框 架 】 3 6 篇 【 J A V A 小 游 戏 】 2 7 篇 【 坦 克 大 战 】 1 6 篇 * * * * * * * * * * * A n d r o i d * * * * * * * * * * * * 【 a n d r o i d 】 5 3 篇 * * * * * * * * * * * * 心 情 * * * * * * * * * * * * 【 无 聊 】 1 4 篇 【 服 务 器 】 3 篇 【 拓 展 欧 几 里 德 】 1 篇 【 b i t s e t 】 1 篇 【 尺 取 法 】 1 篇 f l o y e d 1 篇 数 论 1 篇 单 调 栈 2 篇 【 数 据 库 】 3 篇 【 l i n u x 】 1 篇 m y s q l 1 篇 分 布 式 3 篇 异 常 修 复 6 篇 设 计 模 式 3 篇 大 数 据 1 5 篇 兴 趣 领 域 设 置 大 数 据 m y s q l 后 端 s p r i n g 一 步 一 个 脚 印 关 注 公 众 号 随 时 获 取 最 新 文 章 关 注 公 众 号 随 时 获 取 最 新 文 章 赫 拉 分 布 式 任 务 调 度 系 统 ( 已 开 源 ) 创 作 活 动 更 多 如 何 做 好 一 份 技 术 文 档 ？ 无 论 你 是 技 术 大 神 还 是 初 涉 此 领 域 的 新 手 ， 都 欢 迎 分 享 你 的 宝 贵 经 验 、 独 到 见 解 与 创 新 方 法 ， 为 技 术 传 播 之 路 点 亮 明 灯 ！ 5 9 5 人 参 与 去 创 作 最 近 文 章 代 码 仓 资 源 问 答 帖 子 视 频 课 程 关 注 / 订 阅 / 互 动 收 藏 搜 T A 的 内 容 搜 索 取 消 关 于 如 何 在 G r a f a n a 绘 制 A p a c h e H u d i M e t r i c s 仪 表 盘 的 教 程 对 许 多 监 控 组 件 都 支 持 m e t r i c s 推 送 ， 如 J M X D a t a d o g P r o m e t h e u s 等 等 。 具 体 可 以 进 入 查 看 。 本 文 主 要 叙 述 下 如 何 将 接 入 P r o m e t h e u s ， 开 发 人 员 通 过 对 监 控 指 标 的 观 察 能 够 预 判 可 能 出 现 的 问 题 ， 从 而 对 潜 在 的 不 确 定 因 素 进 行 优 化 ， 使 我 们 的 数 据 湖 任 务 运 行 更 加 健 康 。 原 创 发 布 博 客   2 0 2 3 . 0 2 . 2 0   · 8 3 4   阅 读   · 0   点 赞   · 1   评 论   · 3   收 藏 基 于 A p a c h e H u d i 和 A p a c h e S p a r k S q l 的 近 实 时 数 仓 架 构 之 宽 表 建 设 无 论 是 在 l a m d a 架 构 还 是 k a p p a 架 构 中 ， 实 时 计 算 通 常 是 使 用 f l i n k + m q 来 实 现 的 ， 而 在 这 些 场 景 中 涉 及 到 多 张 表 j o i n 时 ， 一 般 我 们 的 使 用 方 法 是 多 张 流 表 j o i n ， 或 者 流 表 维 表 的 方 式 j o i n 。 但 无 论 是 那 种 方 式 都 会 存 在 一 些 问 题 ， 比 如 窗 口 开 的 过 小 ， 数 据 晚 到 导 致 数 据 丢 失 。 窗 口 开 的 过 大 ， 内 存 占 用 过 高 ， 成 本 高 ， 有 被 打 爆 的 风 险 。 上 篇 文 章 介 绍 了 我 们 使 用 做 的 近 实 时 数 仓 架 构 ， 在 这 里 主 要 讲 下 在 近 实 时 数 仓 建 设 时 遇 到 多 表 j o i n 怎 么 以 宽 表 部 分 列 更 新 的 方 式 解 决 离 线 数 仓 高 延 迟 j o i n 。 原 创 发 布 博 客   2 0 2 3 . 0 1 . 1 0   · 2 8 1 7   阅 读   · 1   点 赞   · 4   评 论   · 1 0   收 藏 基 于 A p a c h e H u d i 和 A p a c h e S p a r k S q l 的 近 实 时 数 仓 架 构 分 享 在 大 数 据 的 计 算 场 景 中 ， 根 据 数 据 的 延 迟 情 况 ， 数 据 的 时 效 性 一 般 分 为 离 线 、 准 实 时 、 实 时 。 离 线 计 算 一 般 是 以 天 （ T ） 为 界 限 ， 比 如 离 线 场 景 最 多 的 就 是 T 1 计 算 ， 也 就 是 今 天 计 算 昨 天 产 生 的 数 据 。 准 实 时 计 算 一 般 以 小 时 （ H ） 为 界 限 ， 比 如 H 1 的 计 算 ， 即 当 前 小 时 处 理 上 个 小 时 的 数 据 ， 当 然 某 些 业 务 场 景 下 也 有 （ 0 . 5 H 1 ） 计 算 的 存 在 。 而 实 时 计 算 一 般 是 以 秒 为 界 限 ， 即 数 据 的 延 迟 最 大 粒 度 为 秒 级 。 对 于 离 线 和 准 实 时 计 算 ， 我 们 可 以 在 调 度 系 统 中 通 过 不 同 的 调 度 周 期 实 现 ， 而 实 时 计 算 通 常 需 要 一 个 常 驻 的 任 务 来 进 行 。 原 创 发 布 博 客   2 0 2 2 . 1 1 . 0 4   · 1 1 8 0   阅 读   · 1   点 赞   · 0   评 论   · 4   收 藏 【 A p a c h e H u d i 】 一 种 基 于 增 量 日 志 文 件 数 的 压 缩 策 略 H u d i 提 供 了 一 种 新 的 表 类 型 ： M O R 表 。 该 表 在 每 次 的 u p s e r t 操 作 时 ， 并 不 会 实 时 的 和 基 础 数 据 文 件 进 行 合 并 ， 而 是 生 成 新 的 增 量 日 志 文 件 ， 而 增 量 文 件 和 基 础 文 件 的 合 并 就 叫 做 压 缩 （ c o m p a c t i o n ） 。 所 以 当 一 个 读 操 作 读 取 M O R 表 时 ， 此 时 会 读 取 该 表 的 基 础 数 据 文 件 和 所 有 的 增 量 日 志 文 件 ， 然 后 进 行 一 个 合 并 操 作 （ 比 如 根 据 主 键 聚 合 取 更 新 时 间 最 新 的 那 条 数 据 ） ， 最 后 将 合 并 后 的 结 果 返 回 给 终 端 。 原 创 发 布 博 客   2 0 2 2 . 0 9 . 2 1   · 1 0 1 9   阅 读   · 1   点 赞   · 0   评 论   · 2   收 藏 数 据 准 备 之 日 志 采 集 发 展 历 程 大 家 都 听 说 过 大 数 据 计 算 ， 可 能 大 家 没 想 过 大 数 据 计 算 的 数 据 来 源 自 哪 里 呢 ？ 是 怎 么 被 抽 取 到 数 据 仓 库 的 呢 ？ 实 际 上 数 仓 / 数 据 湖 的 数 据 主 要 来 源 于 日 志 、 业 务 数 据 、 第 三 方 接 口 、 和 等 其 它 存 储 。 大 数 据 这 边 有 专 门 的 数 据 集 成 工 具 （ 类 似 ： ， ， ， ） ， 就 像 一 只 八 爪 鱼 把 各 种 数 据 采 集 到 大 数 据 的 数 据 仓 库 来 。 由 于 我 们 公 司 的 日 志 数 据 在 国 外 分 散 于 多 个 可 用 区 ， 采 集 日 志 也 就 不 能 使 用 一 些 开 源 的 方 案 。 在 这 里 由 我 给 大 家 简 单 介 绍 下 我 们 公 司 大 数 据 的 数 据 准 备 之 日 志 采 集 的 发 展 历 程 。 应 该 是 在 年 之 前 ， 日 志 采 集 方 式 还 是 应 用 使 用 指 定 的 配 置 文 件 ， 该 配 置 除 了 指 定 日 志 原 创 发 布 博 客   2 0 2 2 . 0 7 . 0 4   · 4 9 7   阅 读   · 0   点 赞   · 0   评 论   · 0   收 藏 A p a c h e H u d i 数 据 湖 概 述 前 言 介 绍 本 文 之 前 ， 先 给 大 家 说 一 些 简 单 的 大 数 据 概 念 。 在 大 数 据 体 系 中 ， 我 们 常 用 的 存 储 是 H D F S ( H a d o o p D i s t r i b u t e d F i l e S y s t e m ) , 常 用 的 计 算 是 m a p r e d u c e 、 s p a r k 、 f l i n k 。 对 于 H D F S （ H a d o o p D i s t r i b u t e d F i l e S y s t e m ） , 是 一 个 分 布 式 的 文 件 系 统 ， 数 据 平 台 的 所 有 数 据 都 存 储 在 里 面 ， 最 佳 的 使 用 实 践 是 ： 一 次 写 入 ， 多 次 读 取 。 所 以 大 数 据 的 计 算 基 本 上 都 是 批 处 理 计 算 （ 对 有 界 的 、 确 定 数 据 范 围 的 数 据 进 行 计 算 ， 不 具 备 实 时 性 ） ， 也 就 是 T 1 的 计 算 ， T 原 创 发 布 博 客   2 0 2 2 . 0 4 . 0 2   · 3 1 2 0   阅 读   · 2   点 赞   · 0   评 论   · 6   收 藏 s p a r k 剖 析 ： s p a r k 读 取 p a r q u e t 文 件 会 有 多 少 个 t a s k 前 言 做 大 数 据 开 发 的 肯 定 都 知 道 小 文 件 的 弊 端 读 取 阶 段 ： s p a r k 在 读 取 文 件 时 会 根 据 文 件 的 数 量 以 及 文 件 的 大 小 来 切 分 文 件 生 成 t a s k 。 一 般 t a s k 数 是 大 于 等 于 文 件 数 的 ， 如 果 都 是 小 于 1 2 8 M 的 文 件 就 是 等 于 文 件 数 。 小 文 件 越 多 ， t a s k 数 越 多 ， 单 个 t a s k 处 理 的 数 据 量 就 少 ， 如 果 并 行 度 不 够 会 导 致 查 询 数 据 过 慢 。 写 入 阶 段 ： 如 果 你 的 数 据 是 存 储 到 类 似 于 c o s n 、 o s s 、 s 3 等 对 象 存 储 中 ， s p a r k 最 后 移 动 文 件 的 r e n a m e 阶 段 如 果 出 现 大 量 的 小 文 件 ， 性 能 低 的 会 让 你 疯 掉 （ 毕 竟 r e n a m e 在 这 些 对 象 存 储 底 层 分 两 步 c o 原 创 发 布 博 客   2 0 2 1 . 0 6 . 1 9   · 3 9 4 4   阅 读   · 1 8   点 赞   · 8   评 论   · 4 0   收 藏 定 时 任 务 的 实 现 原 理 ： 时 间 轮 算 法 前 言 最 近 在 思 考 实 现 定 时 任 务 的 几 种 方 式 ， 比 如 q u a r t z ， d e l a y q u e u e ， s c h e d u l e T h r e a d P o o l ， 时 间 轮 。 在 对 比 的 同 时 ， 也 了 解 了 下 其 简 单 原 理 ， 在 这 里 描 述 下 我 对 时 间 轮 算 法 实 现 定 时 任 务 的 理 解 。 时 间 轮 定 时 使 用 方 式 @ T e s t p u b l i c v o i d t e s t 3 ( ) t h r o w s I n t e r r u p t e d E x c e p t i o n { D a t e T i m e F o r m a t t e r f o r m a t t e r = D a t e T i m e F o r m a t t e r . o f P a t t e r n ( y y y y M M d 原 创 发 布 博 客   2 0 2 1 . 0 4 . 1 5   · 8 3 2 1   阅 读   · 1 7   点 赞   · 2   评 论   · 5 0   收 藏 深 入 剖 析 D e l t a L a k e : M y S Q L C D C 实 战 前 言 在 初 建 大 数 据 平 台 时 ， 我 想 大 家 都 遇 到 过 这 样 一 个 需 求 ， m y s q l 的 数 据 如 何 同 步 到 h d f s 中 供 数 仓 分 析 使 用 在 早 期 ， 业 务 可 能 对 实 时 性 的 要 求 还 不 高 ， 大 家 的 计 算 也 都 是 T + 1 的 离 线 计 算 ， 当 然 也 可 能 有 H + 1 的 准 实 时 计 算 。 大 家 的 选 型 可 能 是 s q o o p 、 d a t a x 等 工 具 。 此 时 只 需 要 在 离 线 调 度 平 台 上 配 置 每 天 / 每 小 时 拉 取 m y s q l 数 据 同 步 到 h i v e 的 任 务 即 可 。 但 该 方 式 也 有 一 些 弊 端 ， 如 ： 实 时 性 较 差 全 量 抽 取 、 尤 其 是 每 小 时 一 次 的 抽 取 对 m y s q l 的 压 力 很 大 . . . 原 创 发 布 博 客   2 0 2 0 . 1 1 . 0 6   · 1 9 2 9   阅 读   · 4   点 赞   · 5   评 论   · 8   收 藏 h e r a 源 码 剖 析 ： 一 次 任 务 触 发 的 执 行 流 程 文 章 目 录 触 发 任 务 w o r k 端 m a s t e r 端 r u n 方 法 在 h e r a 中 ， 任 务 被 触 发 的 方 式 有 多 种 ， 比 如 分 析 师 在 前 端 手 动 执 行 触 发 、 定 时 任 务 触 发 、 依 赖 任 务 触 发 、 重 跑 任 务 触 发 、 信 号 丢 失 的 触 发 等 等 。 但 是 不 管 是 哪 种 触 发 方 式 最 后 的 入 口 都 是 在 M a s t e r # r u n 方 法 （ 开 发 中 心 任 务 触 发 接 口 在 M a s t e r # d e b u g ) 。 这 里 就 讲 一 下 手 动 执 行 的 任 务 触 发 流 程 触 发 任 务 在 最 新 版 本 中 ， 任 务 手 动 触 发 类 型 分 为 手 动 执 行 、 手 动 恢 复 、 超 级 恢 复 三 种 ， 具 体 区 别 就 不 再 赘 述 ， 可 以 通 过 h e r a 操 作 文 档 查 看 ， 这 里 以 手 动 恢 复 为 例 当 我 们 点 原 创 发 布 博 客   2 0 2 0 . 0 9 . 3 0   · 1 0 3 6   阅 读   · 1   点 赞   · 0   评 论   · 3   收 藏 h e r a 源 码 剖 析 ： 项 目 启 动 之 分 布 式 锁 文 章 目 录 前 言 获 取 当 前 机 器 i p 分 布 式 锁 知 识 点 总 结 m a s t e r 服 务 w o r k 服 务 w o r k 连 接 m a s t e r 前 言 本 文 章 主 要 是 为 了 让 使 用 者 能 够 更 加 了 解 h e r a 的 原 理 ， 并 且 能 够 在 之 基 础 上 进 行 改 进 所 进 行 。 h e r a 是 一 款 分 布 式 任 务 调 度 与 开 发 平 台 ， 具 体 不 再 描 述 ， 开 源 地 址 ： h t t p s : / / g i t h u b . c o m / s c x w h i t e / h e r a 获 取 当 前 机 器 i p 在 h e r a 中 ， 有 一 些 静 态 代 码 块 ， 这 里 只 说 一 个 很 重 要 的 部 分 ， W o r k C o n t e x t 类 中 有 这 样 一 部 分 代 码 s t a t i c { h o s t 原 创 发 布 博 客   2 0 2 0 . 0 9 . 2 9   · 8 6 3   阅 读   · 0   点 赞   · 0   评 论   · 0   收 藏 深 入 剖 析 D e l t a L a k e : s c h e m a v a l i d a t i o n 介 绍 D e l t a L a k e 是 S p a r k 的 开 源 存 储 层 ， 可 提 供 A C I D 事 务 和 其 他 数 据 管 理 功 能 ， 用 于 机 器 学 习 和 其 他 大 数 据 工 作 ， 其 通 过 写 和 快 照 隔 离 之 间 的 乐 观 并 发 控 制 ， 在 写 入 数 据 期 间 提 供 一 致 性 的 读 取 ， 从 而 为 构 建 在 H D F S 和 云 存 储 上 的 数 据 湖 （ d a t a l a k e s ） 带 来 可 靠 性 。 D e l t a L a k e 内 置 数 据 版 本 控 制 ， 方 便 读 取 历 史 数 据 以 及 版 本 回 滚 。 S p a r k 的 每 一 个 D a t a F r a m e 都 包 含 一 个 s c h e m a ， 用 来 定 义 数 据 的 形 态 ， 例 如 数 据 类 型 、 列 信 息 以 及 元 数 据 。 在 D e l t a L a k e 中 ， 表 的 s 原 创 发 布 博 客   2 0 2 0 . 0 9 . 1 1   · 7 9 8   阅 读   · 2   点 赞   · 0   评 论   · 1   收 藏 a t l a s 初 体 验 a t l a s 是 由 a p a c h e 开 源 的 数 据 血 缘 解 析 平 台 布 拉 布 拉 2 0 2 0 0 8 2 7 T 0 6 : 1 1 : 2 1 , 9 7 8 E R R O R [ 3 c f 2 1 1 6 6 5 6 1 3 4 3 1 3 a 6 0 7 d 6 b 7 7 d 3 0 5 d e 3 m a i n ] h o o k . H i v e H o o k : H i v e H o o k . r u n ( ) : f a i l e d t o p r o c e o p e r a t i o n Q U E R Y j a v a . l a n g . N o S u c h M e t h o d E r r o r : o r g . a p a c h e . h a d o o p . h i v e . m e t a s t o r e . a p i . D a t a b a s e . g e t C a t a l o g N a m e 原 创 发 布 博 客   2 0 2 0 . 0 9 . 0 7   · 4 9 8 7   阅 读   · 6   点 赞   · 6   评 论   · 1 4   收 藏 s p a r k s q l 数 据 倾 斜 案 例 实 操 最 近 数 仓 同 学 有 个 离 线 任 务 跑 不 动 了 ， 问 题 是 总 是 出 现 M e t a d a t a F e t c h F a i l e d E x c e p t i o n 的 异 常 ， 最 后 导 致 任 务 被 k i l l 。 于 是 就 帮 忙 解 决 一 下 。 问 题 排 查 查 看 了 下 该 任 务 的 历 史 执 行 记 录 （ 如 下 图 ） ， 其 实 最 近 几 天 一 直 在 失 败 ， 只 是 在 重 试 后 偶 尔 会 成 功 一 下 查 看 具 体 的 报 错 日 志 ， 是 s h u f f l e 数 据 丢 失 导 致 的 任 务 失 败 ， 已 经 询 问 过 该 同 事 ， 已 经 对 该 s p a r k s q l 任 务 进 行 了 多 次 调 参 ， e x e c u t o r m e m o r y 很 大 了 任 务 也 是 同 样 的 错 误 。 A Y . h e r a . s p a r k . c o n f = m a s t e r 原 创 发 布 博 客   2 0 2 0 . 0 8 . 1 8   · 4 1 1 9   阅 读   · 1 1   点 赞   · 5   评 论   · 3 6   收 藏 记 一 次 s p a r k r d d 写 数 据 到 h b a s e 报 N P E 的 问 题 排 查 文 章 目 录 前 言 问 题 排 查 前 言 最 近 我 们 的 E M R 集 群 要 从 s p a r k 2 . 3 . 2 升 级 到 s p a r k 2 . 4 . 3 来 解 决 s p a r k 小 文 件 多 的 问 题 。 但 是 在 升 级 后 发 现 之 前 s p a r k r d d 写 h b a s e 正 常 的 任 务 报 错 了 ， 花 费 一 番 功 夫 才 解 决 ， 所 以 写 篇 文 章 记 录 下 。 首 先 看 下 报 错 内 容 C O N S O L E # 2 0 / 0 6 / 0 9 1 4 : 2 6 : 4 8 E R R O R S t a r t : 同 步 数 据 异 常 C O N S O L E # j a v a . l a n g . N u l l P o i n t e r E x c e p t i o n C O N S O L E # a t o r g . a p a c h e . 原 创 发 布 博 客   2 0 2 0 . 0 6 . 1 0   · 1 1 5 0   阅 读   · 2   点 赞   · 0   评 论   · 0   收 藏 记 一 次 大 数 据 跨 区 域 流 量 排 查 及 修 复 最 近 公 司 在 降 成 本 ， 发 现 了 欧 州 、 美 国 区 两 个 区 每 天 存 在 3 0 0 $ 的 跨 区 流 量 费 用 ， 经 过 运 维 同 学 定 位 后 发 现 绝 大 部 分 流 量 在 e m r 机 器 上 。 于 是 排 查 就 开 始 了 。 前 言 首 先 附 上 我 们 的 任 务 调 度 架 构 我 们 大 数 据 计 算 使 用 的 是 A W S 的 E M R （ E l a s t i c M a p R e d u c e ） 集 群 ， 由 于 A W S E M R 天 然 支 持 读 写 S 3 ， 并 且 S 3 相 比 较 硬 盘 尤 其 便 宜 ， 所 以 我 们 的 离 线 数 据 都 是 存 储 在 S 3 。 即 ： 计 算 . . . 原 创 发 布 博 客   2 0 2 0 . 0 4 . 2 2   · 1 1 3 9   阅 读   · 0   点 赞   · 0   评 论   · 3   收 藏 关 于 d u b b o 占 位 符 无 法 解 析 问 题 不 知 道 大 家 有 没 有 遇 到 过 ， 你 要 开 发 一 个 新 应 用 要 使 用 d u b b o 、 a p o l l o 等 组 件 ， 在 集 成 的 过 程 中 发 现 d u b b o 配 置 文 件 的 占 位 符 无 法 替 换 ， w t f ， 配 置 明 明 和 以 前 的 项 目 一 样 ， 为 啥 就 不 行 了 。 我 前 两 天 也 遇 到 了 这 个 问 题 ， 就 一 起 来 分 析 下 。 文 章 目 录 简 单 配 置 介 绍 问 题 复 现 排 查 a p o l l o 排 查 P r o p e r t y S o u r c e s P l a c e h o l d e r C o n f i g u r e r 排 查 d u b b o 思 考 验 证 想 法 两 个 项 目 为 什 . . . 原 创 发 布 博 客   2 0 2 0 . 0 3 . 2 8   · 4 9 3 9   阅 读   · 1 9   点 赞   · 1 3   评 论   · 1 6   收 藏 p r e s t o s q l 输 入 表 、 输 入 字 段 、 l i m i t 、 j o i n 操 作 解 析 前 言 一 段 时 间 没 有 写 文 章 了 ， 写 下 最 近 做 的 事 情 。 目 前 我 们 这 边 有 一 个 m e t a b a s e 查 询 平 台 供 运 营 、 分 析 师 、 产 品 等 人 员 使 用 ， 我 们 的 查 询 都 是 使 用 p r e s t o 引 擎 。 并 且 我 们 的 大 数 据 组 件 都 使 用 的 是 e m r 组 件 ， 并 且 涉 及 到 中 国 、 美 西 、 美 东 、 印 度 、 欧 洲 、 西 欧 等 多 个 区 域 ， 表 的 权 限 管 理 就 特 别 困 难 。 所 以 就 需 要 一 个 统 一 的 权 限 管 理 来 维 护 某 些 人 拥 有 那 些 表 的 权 限 ， 避 免 隐 私 的 数 据 泄 漏 。 于 是 我 们 就 需 要 一 款 s q l 解 析 工 具 . . . 原 创 发 布 博 客   2 0 2 0 . 0 3 . 1 8   · 5 3 7 0   阅 读   · 4   点 赞   · 0   评 论   · 9   收 藏 F l i n k 实 战 之 S t r e a m i n g F i l e S i n k 如 何 写 数 据 到 其 它 H A 的 H a d o o p 集 群 前 言 我 们 公 司 使 用 的 集 群 都 是 E M R 集 群 ， 于 是 就 分 别 创 建 了 一 个 f l i n k 集 群 专 门 用 户 实 时 计 算 ， 一 个 h a d o o p 集 群 专 门 用 于 s p a r k 、 h i v e 的 离 线 计 算 。 两 个 集 群 是 完 全 隔 离 的 。 但 是 有 一 些 实 时 数 据 的 采 集 需 求 ， 需 要 把 数 据 写 入 到 我 们 做 离 线 计 算 的 集 群 ， 有 人 说 我 只 需 要 在 S t r e a m i n g F i l e S i n k 需 要 传 入 的 h d f s 路 径 前 加 上 离 线 集 群 的 i p 就 好 了 ， 比 如 ： h d f s : / / o t h e r I . . . 原 创 发 布 博 客   2 0 1 9 . 1 2 . 0 3   · 5 1 2 7   阅 读   · 1 0   点 赞   · 3 6   评 论   · 2 3   收 藏 记 一 次 J A V A 使 用 P r o c e s s B u i l d e r 执 行 S h e l l 任 务 卡 死 问 题 分 析 背 景 最 近 由 于 某 些 原 因 需 要 把 一 些 原 本 l o c a t i o n 在 o s s ( 阿 里 云 云 对 象 存 储 ) 上 的 h i v e 数 据 迁 移 到 c o s n （ 腾 讯 云 对 象 存 储 ） 。 目 前 一 直 在 增 量 进 行 同 步 ， 在 迁 移 之 前 需 要 进 行 数 据 的 对 比 。 至 于 对 比 的 方 法 计 划 有 两 种 ， 一 种 是 对 比 o s s 和 c o s n 对 应 文 件 下 的 文 件 所 占 磁 盘 空 间 大 小 ， 即 使 用 h a d o o p f s d u s h 路 径 命 令 ， 然 后 对 比 相 应 表 l o c a t i o n 的 数 据 大 小 是 否 一 . . . 原 创 发 布 博 客   2 0 1 9 . 1 1 . 2 0   · 6 7 2 0   阅 读   · 2   点 赞   · 0   评 论   · 7   收 藏 加 载 更 多

站点概括

关于scx-white.blog.csdn.net说明：
scx-white.blog.csdn.net由网友主动性提交被百淘收录整理收录的，百淘收录仅提供scx-white.blog.csdn.net的基础信息并免费向大众网友展示，scx-white.blog.csdn.net的是IP地址：220.185.184.15 [中国浙江台州 电信]，scx-white.blog.csdn.net的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、scx-white.blog.csdn.net的备案号是京ICP备19004658号-1、备案人叫北京创新乐知网络技术有限公司、被百度收录的关键词有0个、手机端关键词有0个、该站点迄今为止已经创建25年9个月9天。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.100t.cn/links/72059.html，复制请保留版权链接！

---