<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>Victor</title>
    <description>blog &amp; blog theme🤘</description>
    <link>https://v-i-c-t-o-r.github.io/</link>
    <atom:link href="https://v-i-c-t-o-r.github.io/feed.xml" rel="self" type="application/rss+xml"/>
    <pubDate>Fri, 17 Nov 2023 07:41:44 +0000</pubDate>
    <lastBuildDate>Fri, 17 Nov 2023 07:41:44 +0000</lastBuildDate>
    <generator>Jekyll v3.9.3</generator>
    
      <item>
        <title>Flink提交批任务</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#前言&quot; id=&quot;markdown-toc-前言&quot;&gt;前言&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#解析可执行环境&quot; id=&quot;markdown-toc-解析可执行环境&quot;&gt;解析可执行环境&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;h4 id=&quot;前言&quot;&gt;前言&lt;/h4&gt;
了解一个框架，得首先了解它的执行过程。而源码追溯就是一个很好的学习方法，通过一层层的引用查看，可以很好的理解Flink在提交任务过程中做了什么。从经典WordCount程序出发，学习Flink。

&lt;h4 id=&quot;解析可执行环境&quot;&gt;解析可执行环境&lt;/h4&gt;
最经典的计算示例莫过于WorldCount，Flink中的示例提交方式很简单：bin/flink run examples/batch/WordCount.jar。即来到Flink的根目录，命令行输入以上指令便可进行简单的单词统计功能。打开源代码，可以看到bin/flink是一个shell脚本，用于预加载环境并启动Java程序。

</description>
        <pubDate>Mon, 01 Jun 2020 00:00:00 +0000</pubDate>
        <link>https://v-i-c-t-o-r.github.io/2020/06/01/flink-submit-batch-task/</link>
        <guid isPermaLink="true">https://v-i-c-t-o-r.github.io/2020/06/01/flink-submit-batch-task/</guid>
        
        <category>Flink</category>
        
        <category>大数据</category>
        
        
        <category>Flink</category>
        
      </item>
    
      <item>
        <title>Flink水印理解</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#水印的概念&quot; id=&quot;markdown-toc-水印的概念&quot;&gt;水印的概念&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;h4 id=&quot;水印的概念&quot;&gt;水印的概念&lt;/h4&gt;

水印简单的来说，就是衡量Event Time的一种机制，给定Event Time 减去一个可容忍的延迟时间，然后再触发窗口计算。对于存在延迟的元素，不能无限期的等下去，必须要有个机制来保证一个特定的时间后，触发Window去进行计算。

水印，用于告诉系统事件时间中的执行进度，时间戳的分配随着水印的生成。水印的依赖条件是窗口，水印只是决定了窗口的触发时间，watermark是用于处理乱序事件的。
有两种方式可以分配时间戳和生成水印：
&lt;ul&gt;
  &lt;li&gt;直接在数据流源中进行。标点水位线(Punctuated Watermark)-数据流中每一个递增的EventTime都会产生一个Watermark，只有在实时性要求非常高的场景才会选择Punctuated的方式进行 Watermark的生成。&lt;/li&gt;
  &lt;li&gt;通过timestamp assigner和watermark generator生成；定期水位线(Periodic Watermark)-周期性的（一定时间间隔或者达到一定的记录条数）产生一个 Watermark。在实际的生产中 Periodic 的方式必须结合时间和积累条数两个维度继续周期性产生 Watermark，否则在极端情况下会有很大的延时。
    &lt;blockquote&gt;
      注意：如果指定多次watermark，后面指定的会覆盖前面的值；多并行度的情况下，watermark对齐会取所有channel最小的watermark；
    &lt;/blockquote&gt;
  &lt;/li&gt;
&lt;/ul&gt;

</description>
        <pubDate>Thu, 28 May 2020 00:00:00 +0000</pubDate>
        <link>https://v-i-c-t-o-r.github.io/2020/05/28/flink-watermarks/</link>
        <guid isPermaLink="true">https://v-i-c-t-o-r.github.io/2020/05/28/flink-watermarks/</guid>
        
        <category>Flink</category>
        
        <category>大数据</category>
        
        
        <category>Flink</category>
        
      </item>
    
      <item>
        <title>Azkaban跨项目依赖</title>
        <description>
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。在数据领域，Azkaban非常流行，但是原生的Azkaban也存在不少缺陷。比如：跨项目依赖、自带用户管理功能弱、中文支持乱码等。

最近项目规划需要，又拾起了Azkaban调度器，首先遇到的便是跨项目调度问题。在官方的源代码中，是不支持跨项目调度依赖的。从代码工作量上来评估，短时间内个人完成源代码的二次开发有点困难。故而求其次，开始从数据库元数据开始入手。幸而Azkaban本身也有Restful接口可以直接调用。少年，躁动起来吧！

</description>
        <pubDate>Thu, 28 May 2020 00:00:00 +0000</pubDate>
        <link>https://v-i-c-t-o-r.github.io/2020/05/28/Azkaban-across-project/</link>
        <guid isPermaLink="true">https://v-i-c-t-o-r.github.io/2020/05/28/Azkaban-across-project/</guid>
        
        <category>Azkaban</category>
        
        
        <category>Azkaban</category>
        
      </item>
    
      <item>
        <title>Flink基础概念</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#flink概念&quot; id=&quot;markdown-toc-flink概念&quot;&gt;Flink概念&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

Apache Flink是一个分布式大数据流处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够对各种规模大小的数据进行快速计算。
&lt;h4 id=&quot;flink概念&quot;&gt;Flink概念&lt;/h4&gt;
&lt;ul&gt;
  &lt;li&gt;Streams，流，又分为有限数据流与无限数据流，二者的区别在于无限数据流的数据会随时间的推演而持续增加，计算持续进行且不存在结束的状态。而相对的有限数据流数据大小固定，计算最终会完成并处于结束的状态。&lt;/li&gt;
  &lt;li&gt;State，状态，在容错恢复和 Checkpoint 中有重要的作用。&lt;/li&gt;
  &lt;li&gt;Time，分为事件时间、摄入时间、处理时间。Flink 的时间是我们判断业务状态是否滞后，数据处理是否及时的重要依据。&lt;/li&gt;
  &lt;li&gt;API，API 通常分为三层，由上而下可分为 SQL/Table API、DataStream API、ProcessFunction 三层，API 的表达能力及业务抽象能力都非常强大，但越接近 SQL 层，表达能力会逐步减弱，抽象能力会增强。&lt;/li&gt;
&lt;/ul&gt;

</description>
        <pubDate>Wed, 27 May 2020 00:00:00 +0000</pubDate>
        <link>https://v-i-c-t-o-r.github.io/2020/05/27/flink-simple-define/</link>
        <guid isPermaLink="true">https://v-i-c-t-o-r.github.io/2020/05/27/flink-simple-define/</guid>
        
        <category>Flink</category>
        
        <category>大数据</category>
        
        
        <category>Flink</category>
        
      </item>
    
      <item>
        <title>孤身入户广州</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#引子&quot; id=&quot;markdown-toc-引子&quot;&gt;引子&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;引子&quot;&gt;引子&lt;/h3&gt;
在广州这几年，一直都是办理居住证来获取各种资格。末了居住证过期了，而正好又赶上需要想想迁户口的事儿，就有一回没一回的开始了了解入户步骤的日子。讲真，入户的流程在普通人看来是真复杂，没弄过的出岔子的几率大。这也就出现了代理入户的各种机构，了解到的各类机构在2020年上半年的代理费用大概是3000元左右，办理入户时间是两个月，期间只需要申请人到现场一次即可（最后我自己办也就去过一次现场，笑cry-_-）。

</description>
        <pubDate>Mon, 25 May 2020 00:00:00 +0000</pubDate>
        <link>https://v-i-c-t-o-r.github.io/2020/05/25/new-time/</link>
        <guid isPermaLink="true">https://v-i-c-t-o-r.github.io/2020/05/25/new-time/</guid>
        
        <category>感悟</category>
        
        <category>记录</category>
        
        
        <category>感悟</category>
        
      </item>
    
      <item>
        <title>一圈一圈又一圈之2019</title>
        <description>
机会不是人人都有，运气也不是时时都在，思虑太多涂添繁琐，顺势而为方为正途。&lt;br /&gt;
人需要有信仰，也需要有爱好，更需要有朋友。要想走得远，资源和环境必不可少，知道不该做什么的人才可怕。&lt;br /&gt;
人生短短几十年，莫等闲，善待双亲，享受责任与义务。&lt;br /&gt;
人生往往不是零和游戏，鹬蚌相争渔翁得利的事比比皆是，你我皆凡人，双赢的最值得争取的东西。&lt;br /&gt;
未来五年是最重要的五年，平凡还是炫目，都在此一搏。&lt;br /&gt;
二八原则，底层的人想要爬上中层乃至高层，必须要有更多的气运，比90年代更加勤奋才行。&lt;br /&gt;
天道酬勤，于人在势，顺势而为的势。

加油，一个生肖轮，一次破茧路。

</description>
        <pubDate>Tue, 31 Dec 2019 00:00:00 +0000</pubDate>
        <link>https://v-i-c-t-o-r.github.io/2019/12/31/year-total/</link>
        <guid isPermaLink="true">https://v-i-c-t-o-r.github.io/2019/12/31/year-total/</guid>
        
        <category>感悟</category>
        
        <category>记录</category>
        
        
        <category>感悟</category>
        
      </item>
    
      <item>
        <title>python logging日志正确的配置</title>
        <description>
之前用Flask写过python项目，关于日志部分使用了比较通用的配置方式——按天生成，大致观察它按天生成日志文件，有输出就没怎么在意。然而突然的有一天，发现貌似日志级别在记录上是不正确的，起初以为是我的打开方式不对，google了多方优秀人士的配置方式，具体配置大致长这样：
&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;import logging
import time,sys
from logging.handlers import TimedRotatingFileHandler

logger = logging.getLogger('yyx')
logger.setLevel(logging.DEBUG)
formatter = logging.Formatter(&quot;%(asctime)s - %(name)s - %(levelname)s - %(message)s&quot;)

log_file_handler = TimedRotatingFileHandler(filename=&quot;log&quot;, when=&quot;S&quot;, interval=2)
log_file_handler.setFormatter(formatter)
log_file_handler.setLevel(logging.DEBUG)
logger.addHandler(log_file_handler)

stream_handler = logging.StreamHandler(sys.stdout)
stream_handler.setFormatter(formatter)
logger.addHandler(stream_handler)
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

</description>
        <pubDate>Thu, 15 Aug 2019 00:00:00 +0000</pubDate>
        <link>https://v-i-c-t-o-r.github.io/2019/08/15/python-logging/</link>
        <guid isPermaLink="true">https://v-i-c-t-o-r.github.io/2019/08/15/python-logging/</guid>
        
        <category>Python</category>
        
        <category>日志</category>
        
        <category>配置</category>
        
        
        <category>Python</category>
        
      </item>
    
      <item>
        <title>Spark源码分析之初</title>
        <description>
彷徨过一段时间，可能是每个人工作一段时间之后都会产生一个瓶颈期，浑浑噩噩，感觉干不起什么大事儿，掀不出风浪来。打游戏，逛新闻，刷视频，一天转眼就过去了，实属惊心。渐渐的内心有个声音也提醒自己不能如此以往，想要提升影响力，没机遇的情况下只能提高实力。又突然受到友人打鸡血的激励，特有感恐须阅读优秀的源码来学习深层次的架构之美，故有此文章。

</description>
        <pubDate>Wed, 31 Jul 2019 00:00:00 +0000</pubDate>
        <link>https://v-i-c-t-o-r.github.io/2019/07/31/spark-source-code/</link>
        <guid isPermaLink="true">https://v-i-c-t-o-r.github.io/2019/07/31/spark-source-code/</guid>
        
        <category>Spark</category>
        
        <category>源代码</category>
        
        
        <category>Spark</category>
        
      </item>
    
      <item>
        <title>Flume数据插入Kudu</title>
        <description>

2019年过去大半，心境不悲不喜，机遇不痛不痒，心忧所惑。


接着上篇，数据的落地需要Kudu，继而做多数据源查询分析。之前的架构是从多数据源经过kafka,再spark streaming做处理，奈何此数据内容是运维场景，日志记录几十M都有可能存在。而通过spark
同时处理几十个Topic的上百个分区出现了数据不定时延期、数据倾斜等异常现象，不满足业务监控的时间差。从而从之前的状态中采取第二种可控的方案——重写flume sink直接插入Kudu(控制频次)。

</description>
        <pubDate>Wed, 31 Jul 2019 00:00:00 +0000</pubDate>
        <link>https://v-i-c-t-o-r.github.io/2019/07/31/flume-kudu-sink-plugin/</link>
        <guid isPermaLink="true">https://v-i-c-t-o-r.github.io/2019/07/31/flume-kudu-sink-plugin/</guid>
        
        <category>FLume</category>
        
        <category>Kudu</category>
        
        
        <category>FLume</category>
        
      </item>
    
      <item>
        <title>Flume增量采集DB数据</title>
        <description>

2019年过去大半，心境不悲不喜，机遇不痛不痒，心忧所惑。


业务场景比较杂，美其名曰是自动化运维，奈何数据不规范，跨部门太复杂，不得不采用二梯度的法子。说起关系数据库的数据采集，一般是Mysql的binlog,Sqlserver的CDC,Oracle的ogg等。
由于实时采集方案不满足现有业务的监控需要，退而求其次进行增量数据的抽取。面对多种数据源的增量抽取，同时时间戳规范不一致(时间戳,DateTime格式都有)，通用的方案有kafka connector,Logstash自定义，Flume自定义等。鉴于数据技术栈现有体系包含Flume的情况下，采用Flume增量抽取的方案。&lt;br /&gt;
Flume-ng本身对于增量抽取是没有适配，尤其是包含多种数据源的时间格式不规范的情况，针对&lt;a href=&quot;https://github.com/keedio/flume-ng-sql-source&quot;&gt;flume-ng-sql-source&lt;/a&gt;的开源项目进行修改,修改部分:
&lt;ul&gt;
  &lt;li&gt;更改输出格式为json&lt;/li&gt;
  &lt;li&gt;根据增量时间字段来进行增量查询数据,支持int型时间戳和1970-01-01 00:00:00字符串类型时间&lt;/li&gt;
  &lt;li&gt;增加全量和增量属性&lt;/li&gt;
&lt;/ul&gt;

</description>
        <pubDate>Tue, 30 Jul 2019 00:00:00 +0000</pubDate>
        <link>https://v-i-c-t-o-r.github.io/2019/07/30/flume-sql-souce-plugin/</link>
        <guid isPermaLink="true">https://v-i-c-t-o-r.github.io/2019/07/30/flume-sql-souce-plugin/</guid>
        
        <category>FLume</category>
        
        <category>增量</category>
        
        
        <category>FLume</category>
        
      </item>
    
  </channel>
</rss>
