<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	xmlns:series="https://publishpress.com/"
	>

<channel>
	<title>athena Archives - 아빠프로그래머의 좌충우돌 개발하기!</title>
	<atom:link href="https://www.daddyprogrammer.org/post/tag/athena/feed/" rel="self" type="application/rss+xml" />
	<link>https://www.daddyprogrammer.org/post/tag/athena/</link>
	<description>기저귀 갈면서 코딩해야 프로다!</description>
	<lastBuildDate>Thu, 17 Feb 2022 09:51:44 +0000</lastBuildDate>
	<language>en-US</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.1.4</generator>

<image>
	<url>https://www.daddyprogrammer.org/wp-content/uploads/2019/04/cropped-spring-bird-2295431_960_720-300x300.jpg</url>
	<title>athena Archives - 아빠프로그래머의 좌충우돌 개발하기!</title>
	<link>https://www.daddyprogrammer.org/post/tag/athena/</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>AWS Athena 살펴보기(Querying a text file using SQL)</title>
		<link>https://www.daddyprogrammer.org/post/14642/query-text-file-using-sql-by-aws-athena/</link>
					<comments>https://www.daddyprogrammer.org/post/14642/query-text-file-using-sql-by-aws-athena/#comments</comments>
		
		<dc:creator><![CDATA[happydaddy]]></dc:creator>
		<pubDate>Thu, 28 Jan 2021 15:15:57 +0000</pubDate>
				<category><![CDATA[AWS]]></category>
		<category><![CDATA[athena]]></category>
		<guid isPermaLink="false">http://3.36.120.4/?p=14642</guid>

					<description><![CDATA[<p>AWS에서 제공하는 Athena 서비스에 대해 간단히 알아보겠습니다. Athena는 파일에 저장된 텍스트 데이터를 SQL문으로 질의할 수 있도록 기능을 제공하는 AWS 서비스입니다. &#8220;텍스트 파일의 내용을 조회할 때 DB Table 조회하듯이 SQL문을 사용해 검색을 하면 편리하지 않을까?&#8221; 현실에서는 보통 이러한 작업을 할 때 awk, sed등의 linux command를 이용하여 파일 내의 문자열을 파싱하거나 복잡한 경우 shell script, regular expression등을 [&#8230;]</p>
<p>The post <a href="https://www.daddyprogrammer.org/post/14642/query-text-file-using-sql-by-aws-athena/">AWS Athena 살펴보기(Querying a text file using SQL)</a> appeared first on <a href="https://www.daddyprogrammer.org">아빠프로그래머의 좌충우돌 개발하기!</a>.</p>
]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">AWS에서 제공하는 Athena 서비스에 대해 간단히 알아보겠습니다. Athena는 파일에 저장된 텍스트 데이터를 SQL문으로 질의할 수 있도록 기능을 제공하는 AWS 서비스입니다. </p>



<p class="wp-block-paragraph">&#8220;텍스트 파일의 내용을 조회할 때 DB Table 조회하듯이 SQL문을 사용해 검색을 하면 편리하지 않을까?&#8221;</p>



<p class="wp-block-paragraph">현실에서는 보통 이러한 작업을 할 때 awk, sed등의 linux command를 이용하여 파일 내의 문자열을 파싱하거나 복잡한 경우 shell script, regular expression등을 조합하여 해당 작업을 수행하였을 것입니다.</p>



<p class="wp-block-paragraph">그런데 이런식으로 구성된 대량의 파일을 여러가지 조건으로 분석해야 할 경우는 어떻게 해야 할까요?</p>



<p class="wp-block-paragraph">대용량 DBMS를 구축하고 대용량의 파일을 읽어 저장하는 프로그램을 만들어야 할까요? </p>



<p class="wp-block-paragraph">AWS에서 제공하는 Athena를 이용하면 이러한 요구조건을 쉽게 충족할 수 있습니다. Athena는 여러 가지 제약이 있지만 고정된 규칙의 형태로 저장된(예를 들면 csv같은) 대량의 파일에 대해서 분석이 필요할 경우 유용하게 사용할 수 있는 서비스입니다.</p>



<h2 class="wp-block-heading">Athena 사용시 장점</h2>



<ul class="wp-block-list"><li>파일에 저장된 데이터를 분석하기 위해 DBMS를 추가적으로 구축할 필요가 없습니다. 데이터가 저장되는 스토리지 비용+쿼리당 비용만 지불하면 되므로 RDBMS에 비해 훨씬 많은 비용을 절감할 수 있습니다.</li><li>DBMS가 필요하지 않으므로 대용량 데이터를 다룰 인력과 인프라 관리에 필요한 시간 및 인적 자원을 아낄 수 있습니다.</li><li>Athena는 기본적으로 s3에 업로드된 파일을 읽어 분석할 수 있으므로, 거의 무제한에 가까운 데이터에 대한 분석이 가능합니다.</li><li>데이터 파티셔닝을 제공하기 때문에 대용량 데이터에서 요청한 데이터를 빠른 시간안에 조회할 수 있습니다.</li><li>athena를 사용하면 생성한 데이터베이스/테이블간에 Join을 통한 결과 조회가 가능합니다.</li></ul>



<h2 class="wp-block-heading"><meta charset="utf-8">Athena 사용시 단점</h2>



<ul class="wp-block-list"><li>질의 속도가 DBMS 보다는 느리므로 실시간 데이터를 다루는 Frontend에는 사용하기 어렵고 Backend에서 대용량 데이터 추출 및 분석하는 용도로 적합합니다.</li><li>대용량의 파일을 질의하는데 목적이 있으므로 SELECT, INSERT 기능만 사용가능하며 UPDATE, DELETE 기능은 제공하지 않습니다. 따라서 지속적으로 자주 변경되거나 삭제되는 데이터를 다루는데는 Athena가 적합하지 않습니다.</li></ul>



<h2 class="wp-block-heading">Athena 사용예시 &#8211; Accesslog 분석</h2>



<h3 class="wp-block-heading">alb log 활성화</h3>



<p class="wp-block-paragraph">aws elb를 사용중이라면 accesslog를 s3로 바로 보낼 수 있습니다.</p>



<p class="wp-block-paragraph">EC2 &#8211; Loadbalancers : 활성화할 elb선택 후 Description 탭에서 Configure access logs를 선택하여 s3로 로그를 쌓도록 설정합니다.</p>



<figure class="wp-block-image size-full is-resized"><img fetchpriority="high" decoding="async" src="http://www.daddyprogrammer.org/wp-content/uploads/2021/08/accesslog.png" alt="" class="wp-image-15062" width="671" height="467" srcset="https://www.daddyprogrammer.org/wp-content/uploads/2021/08/accesslog.png 1342w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/accesslog-1024x713.png 1024w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/accesslog-768x535.png 768w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/accesslog-150x104.png 150w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/accesslog-300x209.png 300w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/accesslog-696x484.png 696w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/accesslog-1068x743.png 1068w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/accesslog-603x420.png 603w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/accesslog-100x70.png 100w" sizes="(max-width: 671px) 100vw, 671px" /></figure>



<p class="wp-block-paragraph">위와 같이 생성을 하면 Interval 기간이 지난후에 s3의 아래위치에 데이터가 쌓인것을 확인할 수 있습니다.</p>



<p class="wp-block-paragraph">s3://[bucketName]/AWSLogs/[AccountId]/elasticloadbalancing/[year]/[month]/[day]/[로그파일].log</p>



<h3 class="wp-block-heading">athena database/table 생성</h3>



<p class="wp-block-paragraph">athena를 처음 사용하는 것이면 query result가 저장되는 s3 location을 지정해 줍니다.</p>



<h4 class="wp-block-heading"><strong>s3 &#8211; Settings</strong></h4>



<figure class="wp-block-image size-full is-resized"><img decoding="async" src="http://www.daddyprogrammer.org/wp-content/uploads/2021/08/settings.png" alt="" class="wp-image-15063" width="693" height="555" srcset="https://www.daddyprogrammer.org/wp-content/uploads/2021/08/settings.png 1386w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/settings-1024x820.png 1024w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/settings-768x615.png 768w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/settings-150x120.png 150w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/settings-300x240.png 300w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/settings-696x557.png 696w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/settings-1068x855.png 1068w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/settings-524x420.png 524w" sizes="(max-width: 693px) 100vw, 693px" /></figure>



<h4 class="wp-block-heading"><strong>Database 생성</strong></h4>



<p class="wp-block-paragraph">기존에 생성되어 있는 default db를 사용해도 됩니다. 하지만 데이터의 구분을 위해 database를 아래 명령으로 생성합니다.</p>



<pre class="EnlighterJSRAW" data-enlighter-language="generic" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">create database alb_db</pre>



<h4 class="wp-block-heading">Table 생성</h4>



<p class="wp-block-paragraph">CLB(Classic Load Balancer), ALB(Application Load Balancer)의 AccessLog 테이블 스키마가 다르므로 확인 후 테이블을 생성합니다.</p>



<h4 class="wp-block-heading">CLB</h4>



<p class="wp-block-paragraph"><a href="https://docs.aws.amazon.com/ko_kr/athena/latest/ug/elasticloadbalancer-classic-logs.html" target="_blank" rel="noreferrer noopener">https://docs.aws.amazon.com/ko_kr/athena/latest/ug/elasticloadbalancer-classic-logs.html</a></p>



<pre class="EnlighterJSRAW" data-enlighter-language="sql" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">CREATE EXTERNAL TABLE IF NOT EXISTS alb_db.elb_logs (
 
 timestamp string,
 elb_name string,
 request_ip string,
 request_port int,
 backend_ip string,
 backend_port int,
 request_processing_time double,
 backend_processing_time double,
 client_response_time double,
 elb_response_code string,
 backend_response_code string,
 received_bytes bigint,
 sent_bytes bigint,
 request_verb string,
 url string,
 protocol string,
 user_agent string,
 ssl_cipher string,
 ssl_protocol string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
 'serialization.format' = '1',
 'input.regex' = '([^ ]*) ([^ ]*) ([^ ]*):([0-9]*) ([^ ]*)[:-]([0-9]*) ([-.0-9]*) ([-.0-9]*) ([-.0-9]*) (|[-0-9]*) (-|[-0-9]*) ([-0-9]*) ([-0-9]*) \\\"([^ ]*) ([^ ]*) (- |[^ ]*)\\\" (\"[^\"]*\") ([A-Z0-9-]+) ([A-Za-z0-9.-]*)$' )
LOCATION 's3://your_log_bucket/prefix/AWSLogs/AWS_account_ID/elasticloadbalancing/';</pre>



<h4 class="wp-block-heading">ALB</h4>



<p class="wp-block-paragraph"><a href="https://docs.aws.amazon.com/athena/latest/ug/application-load-balancer-logs.html">https://docs.aws.amazon.com/athena/latest/ug/application-load-balancer-logs.html</a></p>



<pre class="EnlighterJSRAW" data-enlighter-language="sql" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">CREATE EXTERNAL TABLE IF NOT EXISTS alb_db.alb_logs (
            type string,
            time string,
            elb string,
            client_ip string,
            client_port int,
            target_ip string,
            target_port int,
            request_processing_time double,
            target_processing_time double,
            response_processing_time double,
            elb_status_code string,
            target_status_code string,
            received_bytes bigint,
            sent_bytes bigint,
            request_verb string,
            request_url string,
            request_proto string,
            user_agent string,
            ssl_cipher string,
            ssl_protocol string,
            target_group_arn string,
            trace_id string,
            domain_name string,
            chosen_cert_arn string,
            matched_rule_priority string,
            request_creation_time string,
            actions_executed string,
            redirect_url string,
            lambda_error_reason string,
            target_port_list string,
            target_status_code_list string,
            classification string,
            classification_reason string
            )
            ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
            WITH SERDEPROPERTIES (
            'serialization.format' = '1',
            'input.regex' = 
        '([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*):([0-9]*) ([^ ]*)[:-]([0-9]*) ([-.0-9]*) ([-.0-9]*) ([-.0-9]*) (|[-0-9]*) (-|[-0-9]*) ([-0-9]*) ([-0-9]*) \"([^ ]*) ([^ ]*) (- |[^ ]*)\" \"([^\"]*)\" ([A-Z0-9-]+) ([A-Za-z0-9.-]*) ([^ ]*) \"([^\"]*)\" \"([^\"]*)\" \"([^\"]*)\" ([-.0-9]*) ([^ ]*) \"([^\"]*)\" \"([^\"]*)\" \"([^ ]*)\" \"([^\s]+?)\" \"([^\s]+)\" \"([^ ]*)\" \"([^ ]*)\"')
            LOCATION 's3://your-alb-logs-directory/AWSLogs/&lt;ACCOUNT-ID>/elasticloadbalancing/&lt;REGION>/';</pre>



<h3 class="wp-block-heading">조회(clb)</h3>



<p class="wp-block-paragraph">해당 월에 쌓인 로그 개수 확인</p>



<pre class="EnlighterJSRAW" data-enlighter-language="generic" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">SELECT count(*) FROM "alb_db"."alb_logs" 
where year='2021'
and month='07';</pre>



<p class="wp-block-paragraph">해당 월에 가장 많이 호출된 api 확인</p>



<pre class="EnlighterJSRAW" data-enlighter-language="generic" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">SELECT request_verb, url_extract_path(url), count(*) 
FROM "alb_db"."alb_logs" 
where year='2021'
and month='07'
group by request_verb, url_extract_path(url)
order by count(*) desc
limit 10;</pre>



<figure class="wp-block-image size-large"><img decoding="async" width="2048" height="623" src="http://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-1-2048x623.png" alt="" class="wp-image-15064" srcset="https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-1-2048x623.png 2048w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-1-1024x311.png 1024w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-1-768x234.png 768w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-1-1536x467.png 1536w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-1-150x46.png 150w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-1-300x91.png 300w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-1-696x212.png 696w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-1-1068x325.png 1068w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-1-1381x420.png 1381w" sizes="(max-width: 2048px) 100vw, 2048px" /></figure>



<p class="wp-block-paragraph">해당월에 응답 실패한 api 확인</p>



<pre class="EnlighterJSRAW" data-enlighter-language="generic" data-enlighter-theme="" data-enlighter-highlight="" data-enlighter-linenumbers="" data-enlighter-lineoffset="" data-enlighter-title="" data-enlighter-group="">SELECT request_verb, url_extract_path(url), elb_response_code, count(*)
FROM "alb_db"."alb_logs" 
where year='2021'
and month='07'
and elb_response_code != '200'
group by request_verb, url_extract_path(url), elb_response_code
having count(*) > 1
order by count(*) desc
limit 5;</pre>



<figure class="wp-block-image size-large"><img loading="lazy" decoding="async" width="2048" height="322" src="http://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-2-2048x322.png" alt="" class="wp-image-15065" srcset="https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-2-2048x322.png 2048w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-2-1024x161.png 1024w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-2-768x121.png 768w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-2-1536x242.png 1536w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-2-150x24.png 150w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-2-300x47.png 300w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-2-696x110.png 696w, https://www.daddyprogrammer.org/wp-content/uploads/2021/08/apis-2-1068x168.png 1068w" sizes="auto, (max-width: 2048px) 100vw, 2048px" /></figure>
<p>The post <a href="https://www.daddyprogrammer.org/post/14642/query-text-file-using-sql-by-aws-athena/">AWS Athena 살펴보기(Querying a text file using SQL)</a> appeared first on <a href="https://www.daddyprogrammer.org">아빠프로그래머의 좌충우돌 개발하기!</a>.</p>
]]></content:encoded>
					
					<wfw:commentRss>https://www.daddyprogrammer.org/post/14642/query-text-file-using-sql-by-aws-athena/feed/</wfw:commentRss>
			<slash:comments>1</slash:comments>
		
		
			</item>
	</channel>
</rss>
