본문 바로가기
728x90

데이터13

[EC2]certbot으로 SSL 인증서 받기(도메인 없을 때 해결 방법) 다음 명령어를 통해 certbot을 다운받는다. apt-get install python3-certbot-nginx 그리고 다음 명령어를 통해 해당 주소에 대한 SSL 인증서를 받을 수 있다. certbot certonly --nginx -d {도메인 주소} 나는 SSH로 접속하면서 IP 주소밖에 갖고 있지 않았기 때문에, 도메인 주소가 없어서 SSL 인증서를 받을 수 없는 상황에 놓였다. 아무리 찾아봐도 도메인 주소 없이는 인증서 발급이 안됐고, 결국 도메인을 만들었다. https://www.duckdns.org/ Duck DNS Duck DNS free dynamic DNS hosted on AWS news: login with Reddit is no more - legal request suppor.. 2023. 7. 31.
[AWS]SSH로 EC2 인스턴스 jupyter notebook 접속하기 인스턴스가 이미 있고, 인증키 pem 파일이 있다면 SSH를 통해 인스턴스에 접속할 수 있다. 아무 터미널에서나 가능하지만 이용 편의성을 위해 MobaXterm을 사용하면 좋다. https://mobaxterm.mobatek.net/download-home-edition.html MobaXterm free Xserver and tabbed SSH client for Windows The ultimate toolbox for remote computing - includes X server, enhanced SSH client and much more! mobaxterm.mobatek.net 나는 오른쪽에 있는 installer edition으로 설치했다. exe파일로 설치 후 실행하면 mobaXterm이.. 2023. 7. 26.
[AWS]Rekognition과 Comprehend를 이용한 텍스트 정보 추출 애플리케이션 앞서 pipenv --three가 실행되지 않던 문제는 버전 등 pipenv에 어떤 복잡한 문제가 있기 때문에 많이 사용되지 않는 추세라고 하기도 해서 일단은 스킵했다. 대신 pipenv --python 3.7과 같은 방식으로 원하는 파이썬 버전을 골라 가상환경을 구축할 수 있다. 텍스트 정보 추출에서 각 AWS 서비스들은 S3 - 스토리지, Rekognition - 인식, Comprehend(Medical) - 추출, DynamoDB - 저장소의 역할을 도맡아서 서비스 구현부를 구성한다. Chalice는 마찬가지로 boto3의 도움을 받아 오케스트레이션 계층을 형성하고 각 서비스를 UI 계층으로 내보내는 엔드포인트의 역할을 수행한다. 프로젝트 구조는 다음과 같다. 노란 글씨들은... 색깔이 이쁘니까 무.. 2023. 4. 4.
[AWS]웹 UI 기반 객체 탐지 애플리케이션 앞서 만들어놨던 로컬 기반의 애플리케이션을 html과 javascript를 이용해 간단(나한테는 안 간단)하게 웹 상에서 구현할 수 있다. 이 과정에서 문제가 조금 있었는데, 일단 쌩으로 html 파일을 열었을 때 페이지 자체가 나타나지 않던 것. 저번에 설정해두었던 가상환경이 실행되지 않고 chalice가 돌아가고 있지 않기 때문이었다. 똑같이 가상환경 실행 및 chalice 실행을 하면 웹 페이지가 제대로 나타난다. 두번째는, 모든게 잘 돌아가는데 이미지가 엑박으로 뜨는 것이었다. 왜 그런고 하니, S3의 버킷 상에서 퍼블릭 사용자의 접근 권한이 없기 때문이었다. 대충 이런식으로 엄청 겁주고 있지만 퍼블릭 액세스 차단을 풀어주고 개별 파일들에 대해서도 읽기 권한을 부여해주면 웹사이트 상에서 정상적으로.. 2023. 3. 29.
[AWS]Chalice를 이용한 로컬 AI 애플리케이션 ObjectDetector 루트 프로젝트 디렉터리 생성 + 웹 전단부 html, javascript 파일 저장할 Website 디렉터리 생성 mkdir ObjectDetector cd ObjectDetector mkdir Website touch Website/index.html touch Website/scripts.js pipenv로 파이썬3 가상환경 생성 책에서는 pipenv --three를 이용하라고 하지만, 난 뭔가 오류가 계속 떠서 python -m venv venv 명령어로 생성했다 SDK인 boto와 서버리스 마이크로 프레임워크 aws chalice 설치 sudo apt install python3.10-venv python3 -m venv venv pipenv shell pipenv in.. 2023. 3. 28.
[AWS]AWS CLI 개발환경 구축 & 객체감지(Rekognition) 연습 우분투 환경에서 개발하는 것을 전제로 한다. 패키지 목록 업데이트, 파이썬 및 pip, AWS CLI 설치 sudo apt update sudo apt install python3 sudo apt install python3-pip sudo apt install awscli AWS 사용자 권한을 CLI에 부여하기 위해 IAM 서비스에서 액세스 키와 비밀 액세스 키를 붙여넣는다. 리전은 미국 동부 버지니아, 출력 포맷은 JSON으로 한다. aws configure AWS Access Key ID [None]: AWS Secret Access Key [None]: Default region name [None]: us-east-1 Default output format [None]: json CLI로 Rek.. 2023. 3. 26.
[SQLD]230308-09 SQLD SQL 활용 서브쿼리 하나의 쿼리 안에 존재하는 또 다른 쿼리 SELECT 절: 스칼라 서브쿼리 주로 SELECT 절에 위치하지만 컬럼이 올 수 있는 대부분의 위치에 사용 가능 반드시 하나의 값만을 반환(괄호 안의 내용) SELECT M.PRODUCT CODE, (SELECT S.PRODUCT_NAME FROM PRODUCT S WHERE S.PRODUCT_CODE = M.PRODUCT_CODE) AS PRODUCT_NAME, M.MEMBER_ID, M.CONTENT FROM PRODUCT_REVIEW M; FROM 절: 인라인 뷰 테이블명이 올 수 있는 위치에 사용 가능(괄호 안의 내용) SELECT M.PRODUCT_CODE, S.PRODUCT_NAME, S.PRICE, M.MEMBER_ID, M.C.. 2023. 3. 10.
[SQLD]230306 SQLD SQL 기본 GROUP BY, HAVING 절 GROUP BY 데이터를 그룹별로 묶을 수 있도록 해주는 절 그룹핑의 기준이 되는 컬럼(들)과 함께 사용 집계 함수 COUNT(*): 전체 Row를 Count하여 반환 COUNT(컬럼): 컬럼값이 NULL인 Row를 제외하고 Count하여 반환 COUNT(DISTINCT 컬럼): 컬럼값이 NULL이 아닌 Row에서 중복을 제거한 Count를 반환 SUM(컬럼), AVG(컬럼), MIN(컬럼), MAX(컬럼) HAVING 데이터를 그룹핑한 후 특정 그룹을 골라낼 때 사용 SELECT문의 논리적 순서: FROM - WHERE - GROUP BY - HAVING - SELECT - ORDER BY ORDER BY 절 ORDER BY SELECT한 데이터를 정렬 A.. 2023. 3. 7.
[SQLD]230305 sqld SQL 기본 WHERE절 원하는 데이터만 골라 수행할 수 있도록 해주는 구문 비교 연산자 SELECT FIRST_NAME, LAST_NAME, CITY FROM MEMBER WHERE CITY = 'Paris'; 부정 비교 연산자 !=, ^=, , not 컬럼명 =, not 컬럼명 > SELECT PLAY_ID, NAME, FAVORITES FROM PLAY_LIST WHERE FAVORITES 'Y'; SQL연산자 BETWEEN A AND B A 이상 B 이하 LIKE ‘비교 문자열’ 비교 문자열을 포함 IN (LIST) LIST 중 하나와 일치 IS NULL NULL 값 SELECT PLAY_ID, NAME, FAVORITES FROM PLAY_LIST WHERE PLAY_ID BETWEEN 1 AN.. 2023. 3. 6.
[SQLD]230301 sqld 데이터 모델링의 이해 데이터 모델링의 이해 모델링: 현실 세계를 단순화하여 표현하는 기법 모델링이 갖춰야 할 조건 현실 세계를 반영해야 한다 단순화하여 표현해야 한다 관리하고자 하는 데이터를 모델로 설계한다 모델링의 특징 추상화, 단순화, 명확화 모델링의 세 가지 관점 데이터 관점: 어떤 데이터들이 업무와 얽혀있는지, 데이터 간에 어떤 관계가 있는지 모델링 프로세스 관점: 업무가 실제로 처리하고 있는 일과 앞으로 처리해야 할 일이 무엇인지 모델링 데이터와 프로세스의 상관 관점: 프로세스에 따라 데이터가 어떤 영향을 받는지 모델링 모델링의 세 가지 단계 개념적 데이터 모델링: 추상화 best. 업무 중심적이고 포괄적인 수준의 모델링 논리적 데이터 모델링: 재사용성 best. DB 모델에 대한 키, 속성, .. 2023. 3. 1.
Week_3 이클립스 기본 형태 package study; public class Feb13 { public static void main(String[] args) { System.out.println("Hello World"); } } 숫자와 문자 //사칙연산 System.out.println(1+2); //3 System.out.println(1.2+1.3); //2.5 System.out.println(2*5); //10 System.out.println(6/2); //3 //문자와 문자열 System.out.println('자'); //자 System.out.println("자바"); //자바 System.out.println("생"); //생 //이스케이프 System.out.println("JAVA is.. 2023. 2. 22.
Week_2 빅데이터의 기초 지식 분산 시스템의 발전과 클라우드 서비스의 보급에 따라 대량의 데이터를 효율적으로 처리하는 일이 점차 어려워짐. ‘빅데이터’라는 단어가 퍼질 때까지의 역사 빅데이터의 정착 빅데이터 기술 데이터 처리에 분산 시스템(여러개의 컴퓨터를 이용한 시스템)을 도입한 후로 빅데이터가 대두됨 Hadoop: 다수의 컴퓨터에 방대한 데이터를 저장할 스토리지와 데이터를 순차적으로 처리할 수 있는 구조를 관리하기 위한 다수의 컴퓨터를 관리하는 프레임워크 Hive: 자바 언어로 동작하는 Hadoop에서 SQL과 같은 쿼리 언어를 실행하기 위한 소프트웨어 → 사용자 확대에 기여 NoSQL 데이터베이스: 전통적인 RDB의 제약을 제거하는 것을 목표로 등장. 빈번한 읽기/쓰기 및 분산 처리가 강점이며 KVS(Key.. 2023. 2. 8.
Week_1 Database 1 데이터를 가공해 소식과 지식을 전파, 대규모 데이터로부터 통찰력 있는 분석 결과 도출 가능 데이터를 저장하고 꺼낼 수 있는 수단 → 배우기가 쉽고 어디에서나 사용 가능, 전송 가능한 file file은 성능, 보안, 편의성의 한계 → 한계를 극복하기 위한 전문화된 SW인 DB DB의 data를 어떻게 입/출력할지 파악하는 것이 가장 중요 Input: Create, Update, Delete Output: Read CRUD → data를 다루는 데 핵심적인 작업 파일 내의 정보(ex. 작성자, 작성일시, 작성자 정보 등)를 분류하여 보고 싶을 때 단순 검색 기능을 이용할 경우 원치않는 데이터가 검색(노이즈 발생)될 수 있음 스프레드시트를 이용하면 ID, title, description.. 2023. 1. 30.
728x90

티스토리툴바