제목

소셜네트워크 데이터에서의 분산 그래프 파티션

학회 기간

2015.06.24. ~ 2015.06.26

역할

2저자, 하둡 환경 세팅, 번역

요약

(내용)

본 논문에서는 빅데이터 처리 기반의 Spark를 활용한 그래프 파티셔닝 알고리즘의 효율성을 제안한다. 이에 따라 Hadoop 클러스터에서 Spark를 구동하여 유사한 개체간의 그룹을 형성하는 그래프 파티셔닝 알고리즘을 구현하였으며, 결론적으로 본 논문에서 제안하는 알고리즘과 Hadoop에서 구현된 다른 알고리즘의 성능을 비교분석하였다. 실험에 사용된 데이터로써 페이스북 프로필의 그래프 구조를 사용하였으며 이를 통해 알고리즘의 실용성을 확인하였다. 실험에 사용된 소스코드는 Spark에서 지원하는 Scala로 구현하였고 빠른 처리를 위해 로컬 Hadoop 클러스터에서 진행하였다.

발표기관

한국정보과학회


석사과정 연구생 Wasiq라는 친구의 영어논문을 한글로 번역해주었다.

그리고 나도 Spark를 하게 되었다.

제목

지식기반 경로 빅데이터를 이용한 내비게이션 시스템

학회 기간

2015.06.24. ~ 2015.06.26

역할

2저자, 내비게이션 개발, 서버 개발

요약

(내용)

본 논문에서는 지식기반의 경로 빅데이터를 이용하여 길안내를 하는 내비게이션 시스템을 제안한다. 길안내를 위해 시간 소요에 영향을 줄 수 있는 정보 및 실제 소요된 시간과 경로 데이터를 수집하고, 대량의 경로 데이터를 분류 및 분석하여 소요시간이 가장 적은 경로를 추천하는 방식의 시스템이다. 사람의 경험과 지식이 담긴 경로 데이터로 안내하는 길은 기존 내비게이션에서 사용하는 기계적인 분석과 계산 이상의 결과를 기대할 수 있다. 이를 토대로 구체적인 내비게이션 시스템 구축에 대한 방법을 설명하고자 한다.

발표기관

한국정보과학회


연구과제 및 캡스톤 디자인 프로젝트를 개발하며 따라나오게 된 논문,,

이때 당시에는 오픈소스 내비게이션 OSMAND를 활용한 빅데이터 수집앱을 개발하고 있었다.

향후에 이와 관련된 논문이 여러편 나오게 됨.

제목

이미지 검색을 이용한 사진입력 게임 인터페이스 구현

역할

1저자, 게임 개발, 사진입력 인터페이스 개발, 서버 개발

학회 기간

2015.06.24. ~ 2015.06.26

요약

(내용)

시대의 흐름에 따라 게임 개발에 대한 패러다임 또한 변화하고 있다. 일반적인 게임은 사용자가 시스템에 내부적으로 정해진 선택지만을 이용하여 플레이를 할 수 있도록 설계 되고 있다. 미리 정해져 있지 않은 입력데이터를 분석하고 판별하여 게임을 진행할 수 있다면, 게임 내에서 사용자의 선택지는 제약이 없게 되며 따라서 게임 시나리오는 사용자의 다양한 입력데이터에 따라 다양하게 전개 될 수 있다. 본 논문에서는 기존의 네트워크 통신 및 API와 알고리즘을 게임에 접목함으로써 제약 없는 사용자의 입력에 따른 게임 시스템의 출력 방안을 제안한다. 실험을 위해 안드로이드 플랫폼 단말기 상에서 동작하는 게임을 구현하였다. 실험에서 선정한 사용자의 입력 데이터 포맷은 이미지 파일이며, 서버는 네이버 이미지 검색 API를 이용하여 입력 받은 이미지 파일과 획득한 참조 이미지와의 유사도 검사를 수행한다. 그에 따른 결과를 분석하여 판정 결과를 게임 단말기로 반환한다. 실험을 통해 게임 개발 프레임워크를 기초로 다른 분야의 컴퓨팅 기술 접목의 활용가치를 확인하였으며 또한 제안한 방식은 향후 다양한 게임 인터페이스로의 발전 가능성이 있음을 입증하였다.

발표기관

한국정보과학회


장인정신(?)으로 한땀한땀 정성들여 쓴 논문이다.. ㅠㅠ

시간도 넉넉치 않아 집에도 못들어가고 졸린 눈 비벼가며 작성했던 논문..

이 논문을 기반한 게임을 실제로 개발하였으며

한국정보과학회 제 32회 학생논문경진대회에서 네이버 특별상 (게임부분)을 입상했다!


제목

대용량 경로데이터 분류에 기반한 경험적 최선 경로 추천

역할

3저자, PHP 개발

학회 기간

2015.02 논문지 등재

요약

(내용)

위치를 수집할 수 있는 모바일 기기의 확산에 따라 다양한 위치기반서비스들이 개발되어 사용되고 있다. 본 논문에서는 위치기반서비스가 일반화됨에 따라 수집되고 저장되는 경로 데이터의 양이 기하급수적으로 커지고 결국 빅데이터가 될 것이기 때문에 수집된 대용량 경로데이터에서 최선 경로를 찾아 추천해주는 시스템을 제안한다. 대용량 경로 데이터에서 실제 운행 시간 등의 정보를 바탕으로 기존 내비게이션보다 좋은 경로를 추천할 수 있게 된다. 대용량 경로 데이터 처리를 위해 하둡 맵리듀스를 이용해서 분류하고 분류된 경로를 데이터베이스에 저장하여 사용자의 요청에 빠르게 반응할 수 있도록 하였다. 사용자의 요청에 지도상의 최단 경로가 아닌 수집된 경로 기록을 바탕으로 최선 경로를 찾게 되는 것이다. 구현된 전체 시스템은 실제 경로를 수집하기 위한 안드로이드 응용프로그램, 하둡 맵리듀스를 이용해 수집된 경로를 미리 분류해 놓기 위한 분류 엔진, 사용자의 출발지-도착지 요청에 따라 분류된 경로에서 최선 경로를 찾아 사용자에게 돌려주는 웹서버와 안드로이드 클라이언트 서비스 시스템이다. 실제 운행 실험을 제안한 방법과 시스템이 실효성이 있음을 보인다.

발표기관

한국정보과학회

PHP 관련된 지원을 통해 참여저자로 이름이 들어갔다.

제목

Classifying Big Trajectory Data using K-means Clustering Algorithm with MapReduce

학회 기간

1저자, Hadoop 환경 세팅, K-Means 개발, 통계

날짜

2014.07.09. ~ 2014.07.10

요약

(내용)

Recently, the size of trajectory data for location-based services is getting bigger and bigger. Many algorithms have been developed for classifying data. K-means algorithm is popularly used and it is a method to grouping data into K clusters. K-means algorithm is intuitive and easy to implement. However, it is hard to directly apply K-means algorithm to classify big trajectory data. In this paper, we aim to discover some possibilities of classifying big trajectory data using MapReduce framework. MapReduce is a programming model to process big data with distributed environment on cloud computing. We focus on validating our idea of classifying big trajectory data using MapReduce; we adopted an open-source K-means clustering algorithm and ran it on our Hadoop cluster. With the experimentation, we verified that classifying big trajectory data using MapReduce is efficient and useful approach.

발표기관

MITA 2014


난생 처음으로 써본 논문ㅋㅋ 그것도 영어로 쓰는거라 광민이와 애먹으며 썼던 기억이 난다.

교수님의 많은 첨삭을 거친 작품이다.(정말 많이..)

빅데이터와 처음으로 연을 쌓았을 때 만든 논문인데 더 좋은 방법을 강구하지못해 아쉬움이 많이 남는 논문이다. ㅠㅠ

주된 내용은 K-Mean를 기반으로 빅경로데이터를 분석함으로써 얻을 수 있는 다양한 의미있는 결과물에 대해 다루고 있다.

썼던 논문은 한국멀티미디어학회에서 주최하는 MITA2014 국제학회에서 포스터 발표를 진행했다.




논문형식으로 작성했던 최종 개발 보고서이다.

최종보고서 이태호 장준식.docx




이걸 업로드하는 컴퓨터에 폰트가 없어서 다소 안예쁘게 보인다..

발표시간이 너무 짧게 느껴질 정도로 할 말이 많았던 프로젝트..

어떤 기능들이 있는지, 어떤 알고리즘이 사용되었고, 어떤 어려운 점을 해결하졌는지

모든 것을 기록한 프레젠테이션 ㅋㅋ


01234567891011121314151617





프로젝트를 시작 할 때 처음으로 잡았던 컨셉..

이 텀프로젝트가 얼마나 많은 일을 안겨줄지 이 때는 몰랐다 ㅠㅠ


프로젝트명

호식이 맛집추천

본인역할

서버 개발  

개발인원

2  

관련전공

모바일 프로그래밍

수강학기

3-1  

개발기간

5

진행사유

모바일 프로그래밍 과목 텀 프로젝트

프로젝트 소개

사용자로부터 식당들에 대한 평점을 입력 받고, 이를 기반으로 사용자와 같은 식당들에 유사한 평점을 준 다른 사용자가 높게 평가한 식당을 사용자에게 추천해주는 시스템이다. 사용자들의 축적된 식당 평가 데이터에 User based recommend 알고리즘을 접목시켰다. 이에 따라 클라이언트의 추천 식당 요청이 들어오면 피어슨 상관계수 방식의 연산에 의거하여 다른 유사한 입맛의 사용자가 높게 평가한 맛집을 제공해준다. 식당 정보에 대한 데이터는 Google place API를 사용하였으며 서버가 사용자의 GPS좌표를 수신 받아 자동적으로 수집한다.

개발내용

(본인 구현부분)

HTTP통신에 필요한 서버(APM, Tomcat)를 구축하였다. 또한 요구되는 DB 스키마를 작성하고 이를 구축하였다. 사용자가 평가한 내용은 서버의 CSV(comma-separated values)파일에 파일입출력을 통해 저장된다. 파일의 텍스트 한 줄은 한 레코드로서의 역할을 하며 사용자ID, 식당ID, 평가값이 저장된다. 협업 필터링을 위해 머하웃을 활용하였으며 이를 JSP로 구현하여 사용자의 요청에 즉시 실행되어 협업 필터링이 동작하고 그 결과를 사용자에게 반환한다. 사용자에게 평가 및 추천을 위한 식당 정보 수집을 위해 사용자가 어플리케이션을 처음 실행 한 순간 GPS좌표를 서버에 전송하여 해당 좌표를 기반으로 서버 측이 자동적으로 Google place API로 데이터를 요청하고 반환된 XML 문서를 Parsing을 통해 기존 서버에 없는 식당에 대한 정보를 판별하여 DB에 저장하도록 하였으며 안드로이드 부분에서는 XML Parsing, 식당 평가탭, 사용자의 GPS정보 전송 등을 HTTP통신을 활용하여 구현하였다.

프로젝트

어려움/해결방안

첫 번째 문제는 어떤 방식으로 유사한 사용자를 판별하는가에 대한 문제이다. 이에 대해서 우리는 사용자가 평가한 데이터를 선형적으로 표현하고 이에 대한 정보를 다른 사용자와 대조 할 시 선형적인 구조의 차이 정도를 분석하고자 하였다. 이에 따라 피어슨 상관계수 방식을 사용하고자 하였으며 머하웃을 활용하고자 한 계기가 되었다. 둘째는, 머하웃 자체가 자바로 구성되어 있으므로 이를 웹으로 서비스하기 위한 방안이 필요하였는데 이는 머하웃 라이브러리를 JSP상에 구현함으로써 요청에 따라 자바 프로그램이 동작하고 해당 결과가 클라이언트에 즉각적으로 반환 할 수 있도록 함으로써 해결하였다.

시연 영상


http://wpclab.smuc.ac.kr/~taeho/pf/hosigi.avi

 



주로 서버 개발과 협업필터링 처리를 개발하였고 안드로이드에서는 서버 통신 모듈 및 XML파싱 부분을 도맡아서 진행했다.

기억에 남는 부분은 머하웃 라이브러리를 활용하고자 했기에 협업필터링은 자바로 구현이 되어있다.

단지 이것을 웹서비스로 만들기위해서 JSP를 제대로 공부하고 개발환경을 꾸렸다.

거기에다가 일반적인 웹호스팅으로는 톰캣을 지원하지 않기 때문에 KT 유클라우드 비즈 쿠폰을 활용해서 처음으로

클라우드 서비스를 사용해보았다는 점..

작은 것을 하기위해서 큰 것을 많이 공부했기에 애착이 가는 프로젝트인듯



+ Recent posts