'Data Analysis' 카테고리의 글 목록

2023. 8. 27. 22:11

[LLM] Langchain으로 AI E2E 애플리케이션 개발해보기

ChatGPT가 화두가 된지 어느덧 3개월이 지나가고 있습니다. GPT 모델이 3 버전 이후로 굉장히 많은 변화를 보이면서 ChatGPT의 등장은 사용자에게 아주 인기를 얻게 되면서 필자인 저도 다시 한 번 머신 러닝에 관심을 보이게 되었습니다. 하지만 여러 논문, 글을 읽어보고 공부만 해서는 잘 정리가 되지 않는 듯하여 최근에 공부한 내용을 정리하다보니 Langchain에 대해 블로그에 정리해보면 머신 러닝을 모르는 개발자들도 쉽게 머신 러닝 모델을 이용하여 애플리케이션을 쉽게 개발해 볼 수 있다면 흥미가 있을 것 같아 글을 쓰게 되었습니다. 그래서 Langchain이 무엇인가요? Langchain은 LLM을 이용하여 애플리케이션을 개발하기 위한 프레임워크입니다. 간단히 얘기하자면 모델을 이용하여 애플..

2019. 11. 6. 11:09

Google Colaboratory를 이용한 머신 러닝

안녕하세요. 오늘은 머신 러닝 환경 구축을 좀 더 쉽고, 더 좋은 환경을 다름 아닌 무료로 사용해보는 시간을 가져보겠습니다. 머신 러닝을 내 PC의 환경에서 구축하는 일이란, 사실 쉽지 않습니다. 제가 꽤 오래 전에 TensorFlow를 GPU 환경에서 돌릴 수 있도록 Python의 Virtualenv에서 TensorFlow를 구축하는 방법을 올렸었는데요. 리눅스를 설치하고, Python을 설치하고, 또 그에 필요한 TensorFlow, Virtualenv를 구축하고 나면 이제는 GPU 드라이버를 설치해야 하는데, 오류도 많이 나고, 여간 쉽지 않은 과정들이 벌어지게 됩니다. 만약, 여러분들이 정말로 고급 장비를 가지고, 이를 테면 Tesla 8개를 SLI로 묶는다던지, 이렇게 한다면 위 과정을 정말로 ..

[GP] R에서 코드를 병렬처리 하는 방법

이 글은 N.K Dev Lab에서 작성된 글입니다. 오늘은 R 코드를 병렬 처리하는 방법에 대해서 알아보겠습니다. 병렬 처리? 많이 들어보셨던 말씀이겠지만 병렬 처리가 일단 무엇인지 먼저 알아보고 진행해보도록 하겠습니다. Parallel Processing병렬 처리 혹은 계산은 컴퓨터를 이용해서 동시에 많은 계산을 하도록 하는 처리 방법 중에 하나입니다. 과거에는 프로세서 성능이 하나당 코어 한 개를 가지고 있기 때문에 병렬 처리라는 것은 사실상 불가능한 것에 가까웠습니다. 하지만 이를 가능하도록 한 것은 멀티태스킹 방식이 있었기 때문이죠. 이 방법은 하나의 계산을 여러 개로 쪼개서 나눠 처리하는 방식으로 동시에 많은 계산을 한꺼번에 처리하는 것이랑은 약간의 차이가 있었습니다. 하지만 현대 프로세서에는 ..

[GP] R에서 데이터베이스(RDBMS)와 연결하는 3가지 방법

이 글은 N.K Dev Lab에서 작성된 글입니다. 안녕하세요. 이제 2018년도 이틀밖에 남지 않았네요. 오늘은 R에서 관계형 데이터베이스 서버와 연결하는 3가지 방법에 대해 설명드리고자 합니다. R을 사용하여 데이터 처리를 할 때는 이를 보관할 보조 기억 장소가 필요합니다. 물론 R에서 제공하는 RDS 포맷의 파일 형식이 있지만 이는 싱글 형태로 사용하거나 혹은 R 내에서만 사용할 수 있는 아주 제한적인 요소를 담고 있습니다. 그에 반해 관계형 데이터베이스에 보관하게 되면 다른 프로그래밍 언어에서도 자유로이 호환이 제공되고 여러 사람이 공유해서 사용할 수가 있죠. 오늘은 R에서 처리한 데이터를 RDBMS에 어떻게 insert하고 read할 수 있는지에 대해 알아보도록 하겠습니다. R에서 제공하는 DB..

[GP] R의 다양한 자료구조들

이 글은 N.K Dev Lab에서 작성된 글입니다. 이제 거의 8월 달도 끝나가는군요. 간만에 비오는 주말입니다. 태풍 솔록이 지나가면서부터 드디어 대한민국에 2018년 첫 여름비가 내린 것 같은 느낌이네요. (혹시 정말 첫 여름비일지도 모르겠군요…) Data Structure in R 프로그래밍을 하게 되면 자연스럽게 만날 수 있는 것은 바로 자료구조입니다. 처음 학부시간에 자료구조를 배웠을 때는 ‘왜 이것을 배워야하지?’라는 의문을 잔득 가졌었습니다. 그 때는 프로그래밍에 대해서 관심이 많지도 않았고 대학에서 가르쳐주는 그저 영어 같았습니다. 본론으로 넘어가서 자료구조는 컴퓨터에서 자료를 보관하기 위한 한 방법입니다. 코딩을 하게 되면 우리는 필요한 데이터를 저장해야 합니다. 하지만 그것은 우리가 생..

[GP] R 프로그래밍과 데이터-처리

이 글은 N.K Dev Lab에서 작성된 글입니다. 안녕하세요. 요 몇 개월 간 제 블로그의 포스팅이 없었죠?.. 요즘 데이터와 씨름하느라고 정신이 없었습니다. 이제 프로그래밍을 넘어서 데이터에 대한 작업을 조금씩 배워나가고 있습니다만 SQL 모델링은 조금 해봤으면서도 가장 기초적인 데이터처리 등은 서툴러서 작업을 하는 내내 생각하는 것은 국가에서 제공하는 커리큘럼을 조금 익혀볼까 라는 생각도 많이 하곤 합니다. 저는 은근 My-way 스타일이면서도 가끔씩은 이게 맞나 싶은 고민이 생길 때는 가이드라인을 타곤 합니다. 하지만 그 가이드라인을 보면서도 “비효율적이다”, “내 스타일은 아니다.”, “더 깔끔하게”라는 욕심을 가지게 되는데, 그러다보면 한참을 고민하다가도 진도 진행이 되지 않아서 요즘에는 짜다..

2017. 6. 29. 16:01

Virtualenv를 사용한 Tensorflow 설치

Tensorflow를 0.8 버전부터 사용했었지만, 어느새 와서 보니 벌써 정식 릴리즈 1.0 버전을 출시하고, 이제는 CPU 버전이 1.2까지 온 상태더군요. 새삼스럽게도 정말 시간이 빨리 가고 있다는 느낌입니다. What is Tensorflow ?이 시점에서 Tensorflow를 모르시는 분들은 아마 없을 것이라 생각되지만, 혹시라도 이 분야에 처음 해보시고, 막상 처음해보는데, 또 뭔지 모르면 곤란하겠죠? 그래서 간단한 이야기를 해보면서 시작해보겠습니다. Tensorflow: 텐서플로우는 Google에서 개발해서 내놓은 딥러닝/기계학습 라이브러리입니다. 본래 이 라이브러리는 Python 언어만을 지원하였지만, 정식 버전인 1.0 버전을 공개한 이후에는 Java, C, Go 언어에서도 사용할 수 있..

CCL

Open Source

Discuss

What is N.K LAB ?

카테고리

블로그메뉴

공지사항

인기글

태그 클라우드

최신댓글

글 보관함

링크

방문자수

티스토리툴바