David Cancino Blog

script para cargar log squid a base de datos

dcancino — Tue, 20 Sep 2011 22:13:54 +0000

Les dejo este script, lo utilizo para subir el archivo access.log que te genera 
squid a una base de datos...
se que se puede mejorar mucho, es apenas la version 1
espero les sirva...
Saludos

#!/usr/bin/env ruby

#require 'csv'
require 'pg'
require 'uri'
require 'digest/md5'

def agrega(linea,con)

  t = Time.now
  hoy = t.strftime("%Y%m%d")+".log"  

  fh = linea.slice(0..14)
  if linea.slice(23,1) == " "
     tiempo = linea.slice(15,8)
     lin = linea.slice(24..linea.length)
  else
     if linea.slice(22,1) == " "
        tiempo = linea.slice(15,7)
        lin = linea.slice(23..linea.length)
     else
        tiempo = linea.slice(15,6)
        lin = linea.slice(22..linea.length)
     end
  end

#  puts fh,tiempo, Time.at(fh.to_f)

  alinea = lin.split(/ /)
  i = 1

  dfh     = Time.at(fh.to_f).to_s
  dtiempo = tiempo.lstrip
  dtiempo = dtiempo.to_f/1000
  dtiempo = dtiempo.to_s
  dhost   = alinea[0]
  dcode   = alinea[1]
  dbytes  = alinea[2]
  dmetodo = alinea[3]
  durl    = alinea[4]
  dpeer   = alinea[6]
  ddato   = alinea[7]
  drfc    = alinea[5]
  did     = digest = Digest::MD5.hexdigest(linea)

  begin
   vurl    = URI.split(durl)
   dsitio = vurl[2]
  rescue
     dsitio = durl
  end

  if dsitio == nil
     dsitio = durl
  end

  if durl.length>250
     durl = durl.slice(0,250)
  end

  inserta = "insert into sistemas.squid  values ('" +
            dfh+"','"+
            dtiempo+"'::interval,'"+
            dhost+"','"+
            dcode+"',"+
            dbytes+",'"+
            dmetodo+"','"+
            dsitio,"','"+
            durl+"','"+
            dpeer+"','"+
            ddato+"','"+
            did+"','"+
            drfc+"');"

 begin
   res  = con.exec(inserta.to_s)
 rescue
   log = File.open(hoy,  "a")
   log.puts fh
   log.puts inserta.to_s
   log.puts $!
   log.close()

   puts fh
   puts inserta.to_s
   puts $!

 end
# conn.close

end

# carga el archivo a postgres
def cargaarchivo(archivo)

   conn = PGconn.connect("servidor", 5432, "", "", "db","usuario","passw")

   File.open(archivo, 'r') do |f1|
     while linea = f1.gets
       agrega(linea,conn)
     end
   end

   conn.close

end

## Inicio de script
## se pasa de parametro el archivo a cargar 

archivo = 'nofile'
ARGV.each do|a|
  # puts "Argument: #{a}"
   archivo = a
end

puts archivo
cargaarchivo(archivo) if File::exist?(archivo)

Instalar LanSafe de PowerWare en debian

dcancino — Wed, 01 Jun 2011 16:31:45 +0000

Estos son los pasos que seguí para la instalación de lansafe en un servidor con sistema operativo GNU/Debian 6.0. Este servidor es un “member” de un “controller” que tengo en win2003 que a su vez tengo conectado via puerto serie a un UPS Eaton 9155.

1.- Descargar lanSafe 3x del sitio de EATON en download seleccionamos legacy sofware (descargué esta version porque las mas actuales me daba un error de instalacion) descargué el archivo ls3_416_linux.tar

2.- Descompactamos el archivo

3.- ejecutamos el ./install.sh que nos deja despues de descompactar el archivo

4.- Cuando nos pregunta que si queremos continuar con la instalacion le decimos que si (y)

5.- Cuando nos pregunta que si estamos instalando desde CD-ROM le decimos que no (n)

6.- Enseguida nos pregunta de que dispositivo o tarfile vamos a hacer la instalacion, en este punto le decimos que de nuestro archivo tar que descargamos en el paso 1. Para mi caso ls3_416.linux.tar

7.- dejar el default en las siguientes preguntas de instalacion

8.- cuando nos pregunte si esta maquina formara parte de un grupo le decimos que si. (En mi caso, ya que recuerden que mi “controller” es un win2003)

9.- Despues nos pregunta el hostname o la ip del controller

10.- establecer parametros de shutdown por default o modificar segun sea el caso

11.- Por ultimo nos aparece un letrero diciendo que se instalo “ok”, pero tenemos que hacer unas adecuaciones manualmente

12.- Editar el archivo rc.local que nos deja la instalacion en el directorio /etc

mover la linea ”exit 0″ al final del archivo

con esto nos aseguramos que al reiniciar la maquina se carga el daemon que controla el apagado automático si se tiene una falla de energía y el “controller” envía la señal

Ejemplos hpacucli

dcancino — Tue, 29 Mar 2011 18:40:10 +0000

Aqui les dejo unos ejemplos de uso de hpacucli, la utileria utilizada para administrar controladoras raid HP, espero les sea de utilidad

Mostrar logicaldrives :

hpacucli controller slot=1 logicaldrive all show

Smart Array E200 in Slot 1

array A

logicaldrive 1 (30.0 GB, RAID 5, OK)

logicaldrive 2 (5.0 GB, RAID 5, OK)

logicaldrive 3 (48.8 GB, RAID 5, OK)

Mostrar physicaldrives:

hpacucli controller slot=1 physicaldrive all show

Smart Array E200 in Slot 1

array A

physicaldrive 1I:1:1 (port 1I:box 1:bay 1, SATA, 500 GB, OK)

physicaldrive 1I:1:2 (port 1I:box 1:bay 2, SATA, 500 GB, OK)

physicaldrive 1I:1:3 (port 1I:box 1:bay 3, SATA, 500 GB, OK)

physicaldrive 1I:1:4 (port 1I:box 1:bay 4, SATA, 500 GB, OK)

Borrar logicaldrive:

hpacucli controller slot=1 logicaldrive 3 delete

Warning: Deleting the specified device(s) will result in data being lost.

Continue? (y/n) y

Mostrar status del arreglo:

hpacucli controller slot=1 array A show

Smart Array E200 in Slot 1

Array: A

Interface Type: SATA

Unused Space: 1059844 MB

Status: OK

Crear logicaldrive: (de 600GB)

hpacucli controller slot=1 array A create type=ld raid=5 size=600000

Instalación de Debian desde USB

dcancino — Thu, 17 Feb 2011 22:06:05 +0000

Pasos para crear una USB par instalacion de Debian

1.-Descargas la imagen ISO de la version que desees… (para mi caso debian squeeze netinstall)

2.-Descargas boot.img.gz de la version a instalar

3.- Inserta la memoria usb en el equipo y detectar que /dev le asignó el sistema (ejemplo/dev/sde). Esto lo revisas con un dmesg

4.- Crear el boot.img…. con el comando zcat boot.img.gz > /dev/sdX (la /dev que asigno el sistema)

5.- Montar la usb creada en el paso 4….. mount /dev/sdX /mnt

6.- Copiar el iso que descargamos en el paso 1 a la USB. Ej cp *.iso /mnt

7.- desmontar usb

Listo…ya tienes una usb para instalar debian es tu netbook

Puedes copiarle el iso del live-cd para probar o traer tu debian portable

Postgresql compilado en debian

dcancino — Tue, 01 Jun 2010 21:31:41 +0000

Hoy les escribo los pasos que seguí para compilar postgresql 8.2 (Es la que tengo en producción) en un debian lenny.

Lo configure con soporte para tcl, por una función que tengo de envío de correos por smtp.

Primero descargo la ultima version fuente de postgres, para el ejemplo descargue la 8.2.17

Después instalo las dependencias necesarias para la compilación:

aptitude install libreadline-dev, zlib1g-dev, tcl-dev

ahora en el directorio donde tenemos el source de postgres ejecutamos lo siguiente:

./configure –prefix=/usr/local –with-tcl

con esto le estoy diciendo que el directorio de instalación sera /usr/local y que agregue soporte para tcl

una vez terminado el proceso, ejecutamos (no root)

make

make check

por ultimo ejecutamos (como root)

make install

dotProject autentificado contra Active Directory (Parte 2)

dcancino — Tue, 23 Feb 2010 00:48:37 +0000

Hoy comentaré los pasos que seguí para transferir datos encriptados entre un browser, un servidor apache y un servidor windows 2003…

Lo primero que hice fue cifrar la comunicación entre los browser y el servidor apache, esto se hace activando el modulo ssl y reescribiendo todas las peticiones al puerto https.

Para activar el modulo ssl en apache, simplemente ejecuta a2enmod ssl en tu linea de comandos. Una vez realizado tienes que reiniciar tu servidor apache (/etc/init.d/apache2 force-reload). Ahora si ya tenemos activada la comunicación segura,lo que resta es hacer que una petición normal al puerto http, se redirija al puerto https.

Esto se hacer activando el modulo rewrite de apache, lo hacemos igual que el modulo ssl, es decir a2enmod rewrite y después volvemos a reiniciamos apache.

Ahora tenemos que agregar las siguientes lineas a nuestro archivo de configuración de apache

RewriteEngine on

RewriteCond %{SERVER_PORT} ^80$

RewriteRule ^(.*)$ https://%{SERVER_NAME}$1 [L,R]

con esto lo que estamos indicando es que todo el trafico hacia el puerto 80, lo redirija al https….

Vamos ahora a asegurar las peticiones al Active Directory, lo primero que tenemos que hacer es generar un certificado para nuestro equipo windows, esto lo hacemos utilizando una utileria que se encuentra en el IIS 60. Resource Kit Tools, entonces nos vamos al sitio oficial para descargar e instalar esta utileria en el controlador de dominio contra el que vamos a autentificar los usuarios de LDAPS.

Una vez instalado ejecutamos lo siquiente:

selfssl.exe /T /N:CN= /K:1024 /V:365 /P:636

Esto crea un certificado para el para el puerto 636 que es donde escucha el LDAPS.

Para validar que el certificado esta instalado abrimos el MMC y verificamos que este un certificado en el equipo local carpeta Personal para Autentificacion de servidor

El siguiente paso es exportar el certificado, esto lo hacemos seleccionando el certificado dar click derecho/Todas las tareas/Exportar. Del asistente seleccionamos no exportar llave privada y que lo deje en BASE64

El archivo que obtenemos lo copiamos a un directorio de la maquina debian donde el servidor apache puede leero, por ejempo /etc/ssl/certs/

hasta aqui tenemos nuestro certificado listo para usarse, ahora le decimos a apache que lo use agregando esta directiva al archivo de configuracion de apache

LDAPTrustedGlobalCert ‘CA_BASE64′ /etc/ssl/certs/certificado.pem

Donde “certificado.pem” es el archivo que copiamos del servidor windows…

reiniciamos apache

y por ultimo vamos decirle a dotproject que utilice puerto seguro para LDAP…y ya

Bueno, espero les sirva de guia para autentificar contra AD puerto seguro….

Esto no solo aplica, para dotProject, con esta implementacion puedes autentificar cualquier aplicacion contra tu Active Directory por puerto seguro….

Saludos

dotProject autentificado contra Active Directory (Parte 1)

dcancino — Fri, 29 Jan 2010 04:19:51 +0000

Hola, en esta ocasión les comento que instalé DotProject en un servidor Debian con el propósito de evaluarlo y proponerlo como herramienta para seguimiento de proyectos, el entorno de implementación es una organización con servidores windows con Active Directory contra el cual se tienen que autentificar los usuarios para evitarl la doble administración de cuentas….

El entorno es una instalación basica de debian con apache2, php5 con soporte para MySql y LDAP, MySql, y phpMyAdmin (Todos instalados de los paquetes de debian lenny) despues de tener estos paquetes instalados seguí la guia oficial de instalación de dotproject que la encuentras aquí, una ves instalado seguí esta guia para autentificar conta ActiveDitectory…
Al final obtuve una herramienta opensource que convive 100% con un entorno Windows….
Me falta por hacer la autentificación por puerto seguro contra el Active Directory.
Bueno, seguiré escribiendo como me fue con esto
Saludos !!!

Instalar vmware tools en debían lenny

dcancino — Mon, 18 Jan 2010 16:37:29 +0000

Esto es una pequeña guia de como instalar vmwaretools en 10 pasos…

1.- instalar headers de kernel + utilerías para compilar

aptitude install linux-headers-$(uname –r) make psmisc autoconf automake

2.- Seleccionar Install/Upgrade Vmware tools en el menu de la maquina virtual, esto te monta un cd con lo necesario para la instalacion de las vmwaretools

3.- Montar la unidad de cd

mount /dev/cdrom /mnt

4.- Copiar archivos de trabajo a directorio temporal

tar –C /tmp –zxvf /mnt/*.gz

5.- Desmontar unidad de cd

umount /mnt

7.- establecer la variable de entorno CC para que tome la versión del compilador con la que se genero el kernel

export CC=gcc-4.1

8.- ejecutar ./vmware-install.pl que esta en /tmp/vmware-tools-distrib

9.- aceptar el default de todas las preguntas que nos hace el instalador

10.-Listo!!!

**Nota.- estos pasos los realice después de hacer un netinstall de debian lenny seleccionando el sistema base