17 Mart 2014 Pazartesi

PC-BSD GRUB loader

PC-BSD 10 sürümünde Linux'deki GRUB boot loader kullanılmaktadır.
Eski sürümlerde(FreeBSD,PC-BSD) /boot/loader.conf dosyasındaki değerlerin açılşta etkin olmasını için makineyi reboot etmek yetiyordu. Fakat GRUB ile birlikte loader.conf daki değişikliklerin etkin olması için grub-mkconfig komutunu kullanmak  gerekiyormuş.
 
#grub-mkconfig -o /boot/grub/grub.cfg

25 Şubat 2014 Salı

PostgreSQL sorgusunu CSV formatında dosyaya yazma

PostgreSQL'de bir sorgunun çıktısını CSV olarak dosyaya yazmak için COPY komutu kullanılır.

db=# COPY (SELECT remoteip,retval FROM mailrecs WHERE retval >0 ) TO '/tmp/log.txt' With CSV;
COPY 427571

Çıktı , ile ayrılmış olarak aşağıdaki formatta dosyaya yazılacaktır.

# more /tmp/log.txt
192.168.1.10,2
10.0.0.100,4
..

 ',' ayracı yerine başka bir ayraç kullanmak isterseniz DELIMITER parametresi kullanılır.


db=# COPY (SELECT remoteip,retval FROM mailrecs WHERE retval >0 ) TO '/tmp/log.txt' With DELIMITER ';' CSV;  
Tüm tabloyu kopyalamak için ise aşağıdaki sorgu kullanılır.

db=# COPY mailrecs TO '/tmp/tablodump';

Aşağıdaki adresten diğer örnekleri de görebilirsiniz.


http://www.gistutor.com/postgresqlpostgis/10-intermediate-postgresqlpostgis-tutorials/39-how-to-import-or-export-a-csv-file-using-postgresql-copy-to-and-copy-from-queries.html

3 Şubat 2014 Pazartesi

UNIX domain sokete komut satırından bağlanma

Test amaçlı olarak bir unix domain sokete başarılı bağlantı kurulup kurulmadığını öğrenmek isteyebilirsiniz. Bunun için FreeBSD işletim sisteminde telnet komutunu kullanabilirsiniz. telnet komutuna parametre olarak soket yolunu vermeniz yeterlidir.


freebsd# $ telnet /var/run/clamav/clamd
Trying /var/run/clamav/clamd...
Connected to /var/run/clamav/clamd.
Escape character is '^]'.
SCAN /tmp/dosya
/tmp/dosya: OK
Connection closed by foreign host.


Linux işletim sistemi kullanıyorsanız telnet komutu ile bu işi yapamazsınız. Bunun yerine socat komutunu kullanmalısınız. socat paketi RPM dağıtımlarında EPEL deposunda bulunmaktadır. EPEL deposunu kurduktan sonra aşağıdaki komutla kurabilirsiniz.

linux# yum -y install socat

Debian tabanlı sistemlerde aşağıdaki komutla kurabilirsiniz.

linux#apt-get install socat


Aşağıdaki komutla test edilebilir.

 linux# socat - UNIX-CONNECT:/var/run/clamav/clamd
SCAN /tmp/dosya
/tmp/dosya: OK


Ayrıca nc komutu ile de sokete bağlanabilirsiniz.(Teşekkürler Volkan Yazıcı)

linux# nc -U /var/run/clamav/clamd
SCAN /tmp/dosya
/tmp/dosya: OK


6 Mart 2013 Çarşamba

svn'de silinen dizini/dosyayı kurtarma

SVN'de tüm işlemlerin kaydı tutulduğu için bir sorun olduğunda geçmişteki kayıtlardan sorunu çözebilirsiniz. En çok karşılaşılan hatalardan biri de yanlışlıkla bir dizini veya dosyayı silmek.

Silenen bir dizin/dosyayı geri getirmek için bir kaç yöntem var.

1. Eski sürmü checkout etme.
Bu en hızlı geri alma yöntemidir. İlgili dosyayı içeren eski bir revizyonu ayrı bir dizini checkout yaparak dosyaları ulaşabilirsiniz. Sonrasında bu silinen dosyaları en güncel revizyonun olduğu dizine taşıyabilirsiniz. Örneğin silinen testdir dizinimiz projemizin 6. revizyonunda oldugunu biliyorsak.
Aşağıdaki komutla bu sürümü checkout edebiliriz.


$ svn co -r 6  http://192.168.1.100/svn/surgate/trunk surgaterev6
A    surgaterev6/test2.txt
A    surgaterev6/test.txt
A    surgaterev6/testdir
A    surgaterev6/testdir/b.txt
A    surgaterev6/testdir/a.txt
Checked out revision 6.


İlgili dizini en güncel sürümün oldugu dizine atalım.

$ cp -pr surgaterev6/testdir surgate-trunk/testdir
$ cd surgate-trunk
$ svn add testdir
$ svn ci

2. Yöntem: Yapılan güncellemeyi geri alma

Yerelde bulunan en güncel proje dizininde iken yapılan işlemi(change) geri alabilirsiniz.
Eğer silme işlemini 8 revizyonda yaptıysanız svn merge ile bu değişikliği geri alabilirsiniz.

$ svn merge http://192.168.1.100/svn/surgate/trunk/   -c -8
--- Reverse-merging r8 into '.':
A    testdir
A    testdir/b.txt
A    testdir/a.txt
--- Recording mergeinfo for reverse merge of r8 into '.':
 U   .
--- Eliding mergeinfo from '.':
 U   .


Not: revizyon numarası verirken 8'in başındaki "-" ye dikkat ediniz.
Bu işlem sonucunda bazı tutarsızlıklar(conflicts) olabilir. bunların elle düzeltilmesi gerekir.





22 Şubat 2013 Cuma

svn diff

svn diff parametresi sayesinde bir dosyanın sizdeki yerel kopyası ile sunucudaki kopyası arasındaki farkları veya iki farklı revizyon numarası arasındaki farkları görebilirsiniz. Komutun çıktısı klasik UNIX diff komutu ile aynıdır.


Örnek bir komut ve çıktısı aşağıdaki gibidir:

# svn diff KERNELCONF |more
Index: KERNELCONF
===================================================================
--- KERNELCONF  (revision 144)
+++ KERNELCONF  (working copy)

@@ -192,48 +192,48 @@
 #device                puc

 # PCI Ethernet NICs.
-#device                de              # DEC/Intel DC21x4x (``Tulip'')
+device         de              # DEC/Intel DC21x4x (``Tulip'')
 device         em              # Intel PRO/1000 Gigabit Ethernet Family
 device         igb             # Intel PRO/1000 PCIE Server Gigabit Family
 device         ixgbe           # Intel PRO/10GbE PCIE Ethernet Family
 #device                le              # AMD Am7900 LANCE and Am79C9xx PCnet
-#device                ti              # Alteon Networks Tigon I/II gigabit Ethernet
-#device                txp             # 3Com 3cR990 (``Typhoon'')
-#device                vx              # 3Com 3c590, 3c595 (``Vortex'')
+device         ti              # Alteon Networks Tigon I/II gigabit Ethernet
+device         txp             # 3Com 3cR990 (``Typhoon'')
+device         vx              # 3Com 3c590, 3c595 (``Vortex'')




Yukarıda görüldüğü gibi +++ ile ifade edilen kısımlar sizdeki çalışan kopya(working copy) ---- ile gösterilen ise svn'deki 144 nolu revizyona ait kayıtları gösterir.


Herhangi bir revizyon numarası ile çalışan kopya arasındaki farklı görmek için -r revizyon numarası parametresi eklenir.


# svn diff -r 110 KERNELCONF 
Index: KERNELCONF
===================================================================
--- KERNELCONF  (revision 110)
+++ KERNELCONF  (working copy)
@@ -192,48 +192,48 @@
 #device                puc

 # PCI Ethernet NICs.
-#device                de              # DEC/Intel DC21x4x (``Tulip'')
+device         de              # DEC/Intel DC21x4x (``Tulip'')
 device         em              # Intel PRO/1000 Gigabit Ethernet Family
 device         igb             # Intel PRO/1000 PCIE Server Gigabit Family




21 Şubat 2013 Perşembe

subversion(svn) 1.6 sürümünden 1.7 sürümüne güncelleme

Burada Centos 6.X üzerinde subversion 1.6'dan 1.7 ye geçiş anlatılacaktır. Subversion sunucu tarafında 1.7 sürümü  ile 1.6 sürümü aynı repo formatını kullandığı için sadece subversion paketlerinin güncellenmesi yeterli olacaktır.

Fakat istemci tarafında yeni format kullanıldığı için istemci tarafındaki 1.6 sürümüne ait projenin 1.7 sürümüne güncellenmesi gerekir. Veya en güncel kodlar svn sunucusunda ise istemcideki mevcut 1.6 dizini silinip sunucudan sıfır bir svn checkout yapılması gerekir.



Öncelikle mevcut kurulu subversion versiyonunu bulmak için svn sunucusunda aşağıdaki komutlardan herhangi birini kullanabilirsiniz.

Mevcut sürümü öğrenme:


# rpm -qa |grep subver
subversion-1.6.11-7.el6.x86_64

# svn --version
svn, version 1.6.11 (r934486)
   compiled Jun 23 2012, 00:44:03


Subversion yazılımı ile subversion'daki bir projenin sürüm formatı aynı olmayabilir. Proje eski  sürüm subversion ile oluşturulmuş olabilir. svn'deki projemizin hangi subversion sürümü formatında olduğunu bulmak için projenin altındaki db/format dosyasına bakabilirsiniz.

Daha önceki dökümanımda örnek svn projeleri oluşturmuştum. Örnek surgate projesi için format dosyasına aşağıdaki değerler bulunmaktadır.

 # cat /var/svn/surgate/db/format
4
layout sharded 1000

Yukarıdaki birinci satırdaki sayı değeri bize projenin hangi subversion sürümü ile oluşturulduğunu  veya hangi sürüme kadar desteklendiğini gösterir.
Format numaraları ve farkları:

  Format 1: Subversion 1.1+ tarafından tanınıyor.
  Format 2: Subversion 1.4+ tarafından tanınıyor.
  Format 3:  Subversion 1.5+ tarafından tanınıyor.
  Format 4: Subversion 1.6+ tarafından tanınıyor.
  Format 5: Subversion 1.7-dev ve sonrası tarafından tanınıyor.
  Format 6: Subversion 1.8 tarafından tanınıyor.


Kurulu SVN paketlerinin listesi öğrenilmelidir. Bunun için aşağıdaki komut verilebilir.

# rpm -qa |egrep 'svn-|subversion-'
subversion-1.6.11-7.el6.x86_64
mod_dav_svn-1.6.11-7.el6.x86_64


Güncelleme yapmadan önce Apache servisini kapatmamız gerekir. Bu sayede güncelleme sırasında bir bağlantı isteğinin gelmeyeceğinden emin oluruz.

# /etc/init.d/httpd stop

Şu andaki en güncel sürüm 1.7.8. Aşağıdaki komutlarla yeni RPM paketleri çekilebilir.


# wget http://opensource.wandisco.com/rhel/6/svn-1.7/RPMS/x86_64/mod_dav_svn-
1.7.8-1.x86_64.rpm
# wget http://opensource.wandisco.com/rhel/6/svn-1.7/RPMS/x86_64/subversion-1.7.8-1.x86_64.rpm

Not: Yukarıdaki paketler 64 bit paketleridir. 32 bit işletim sistemi kullanıyorsanız yukarıdaki siteden 32 bit sürümlerini çekmeniz gerekir.

Paketler aşağıdaki komutla güncellenir.

# rpm -Uvh mod_dav_svn-1.7.8-1.x86_64.rpm subversion-1.7.8-1.x86_64.rpm
warning: mod_dav_svn-1.7.8-1.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 3bbf077a: NOKEY
Preparing...                ########################################### [100%]
   1:subversion             ########################################### [ 50%]
1q       2:mod_dav_svn            warning: /etc/httpd/conf.d/subversion.conf created as /etc/httpd/conf.d/subversion.conf.rpmnew ########################################### [100%]



Yeni paketin sürüm numarası kontrol edilir.

# svn --version
svn, version 1.7.8 (r1419691)
   compiled Dec 11 2012, 17:01:48


Herşey normal gözüküyor. Şimdi SVN erişimi için web sunucusunu tekrar açalım.

 # /etc/init.d/httpd start
 


Sunucu tarafındaki işlemler tamamlandı. İstemci tarafında ise svn çalışma dizinimize gidip aşağıdaki komutu verelim.
# cd /home/ismail/projects/surgate
# svn info
svn: E155036: Please see the 'svn upgrade' command
svn: E155036: Working copy '/home/ismail/projects/surgate' is too old (format 10, created by Subversion 1.6)


Gördüğünüz gibi işlemci tarafındaki veritaba formatımız eskide kaldı. Çıktıda belirtildiği gibi proje dizininde iken svn upgrade komutu vererek bu sorunu çözebiliriz.


# svn upgrade
Upgraded '.'


 Not: svn upgrade komutu sunucu tarafında kesinlikle bir operasyon yapmamaktadır. Sadece istemcideki yerel dizinin svn formatını güncellemektedir.

Diğer bir çözüm ise proje dizinini tamamen silin(tabii en güncel kodların svn sunucuda olduğundan emin olun.


 # cd /home/ismail/projects/surgate
# rm -fr surgate
# svn checkout https://192.168.1.10/svn/surgate/trunk surgate 




SVN dahili dizin yapısı

Bir SVN projesinde aşağıdaki dizin ve dosyalar bulunmaktadır.

# ls -al /var/svn/surgate
total 36
drwxr-xr-x 7 apache apache 4096 Feb 12 01:22 .
drwxr-xr-x 5 apache apache 4096 Feb 13 05:57 ..
drwxr-xr-x 2 apache apache 4096 Feb 12 00:47 conf
drwxr-xr-x 3 apache apache 4096 Feb 12 01:22 dav
drwxr-sr-x 7 apache apache 4096 Feb 14 23:32 db
-r--r--r-- 1 apache apache    2 Feb 12 00:47 format
drwxr-xr-x 2 apache apache 4096 Feb 12 00:47 hooks
drwxr-xr-x 2 apache apache 4096 Feb 12 00:47 locks
-rw-r--r-- 1 apache apache  229 Feb 12 00:47 README.txt

Buradaki en önemli dizinler db,hooks ve conf dizinidir. db dizinin hiyerarşisi aşağıdaki gibidir:


db dizini

  db/revs:             revizyonları içerir. Buradaki alt dizindeki her bir dosya bir commit işlemini içerir.

Örnek bir dizi yapısı aşağıdaki gibidir.

# ls  -al /var/svn/surgate/db/revs/
total 12
drwxr-sr-x 3 apache apache 4096 Feb 12 00:47 .
drwxr-sr-x 7 apache apache 4096 Feb 14 23:32 ..
drwxr-sr-x 2 apache apache 4096 Feb 12 01:28 0
# ls  -al /var/svn/surgate/db/revs/0
total 28
drwxr-sr-x 2 apache apache 4096 Feb 12 01:28 .
drwxr-sr-x 3 apache apache 4096 Feb 12 00:47 ..
-rw-r--r-- 1 apache apache  115 Feb 12 00:47 0
-rw-r--r-- 1 apache apache  281 Feb 12 01:22 1
-rw-r--r-- 1 apache apache  321 Feb 12 01:27 2
-rw-r--r-- 1 apache apache  342 Feb 12 01:28 3
-rw-r--r-- 1 apache apache  664 Feb 12 01:28 4

Buradaki en son sayı 4. Bu da en güncel revision numarasının 4 olduğu anlamına gelir. Bunuda svn info komutu ile görebilirsiniz.


# svn info
Path: .
URL: http://192.168.1.100/svn/surgate/trunk
Repository Root: http://192.168.1.100/svn/surgate
Repository UUID: eeb80374-687f-47f5-a93c-3ad0b907a178
Revision: 4
Node Kind: directory
Schedule: normal
Last Changed Author: ismail
Last Changed Rev: 4
Last Changed Date: 2013-02-12 01:28:43 +0200 (Tue, 12 Feb 2013)


db/current

# cat /var/svn/surgate/db/format
4
layout sharded 1000

Yukarıdaki birinci satırdaki sayı değeri bize projenin hangi subversion sürümü ile oluşturulduğunu  veya hangi sürüme kadar desteklendiğini gösterir.
Format numaraları ve farkları:

  Format 1: Subversion 1.1+ tarafından tanınıyor.
  Format 2: Subversion 1.4+ tarafından tanınıyor.
  Format 3:  Subversion 1.5+ tarafından tanınıyor.
  Format 4: Subversion 1.6+ tarafından tanınıyor.
  Format 5: Subversion 1.7-dev ve sonrası tarafından tanınıyor.
  Format 6: Subversion 1.8 tarafından tanınıyor.

db/uuid: Dosyanın UUID(universally unique identifier) değerini gösterir.

Bu değer diğer doğrulama formlarının(URL kontrolu vs) yeterli olmadığı zaman depo kimliğini doğrulamak için Subversion istemcileri tarafından kullanılır.

# cat /var/svn/surgate/db/uuid
eeb80374-687f-47f5-a93c-3ad0b907a178

Bu değer svn info çıktısındaki Repository UUID değerine karşılık gelir.

Repository UUID: eeb80374-687f-47f5-a93c-3ad0b907a178


db/current
En güncel svn revizyon numarasını belirtir.

# cat /var/svn/surgate/db/current
4

svn info çıktısındaki Revision değerine karşılık düşer.


db/fs-type

SVN dosya sistemi formatını belirtir. Default olarak fsfs'dir. Bunun dışında bdb formatı da kullanılabilr.

# cat /var/svn/surgate/db/fs-type
fsfs

db/revprops: revision properties ifadesinin kısaltılmasıdır. Her bir commit işlemindeki güncelleme işlemine ait bilgiler tutar. Örnek bir kayıt aşağıdaki gibidir:

# ls  /var/svn/surgate/db/revprops/0
0  1  2  3  4  5

# cat /var/svn/surgate/db/revprops/0/5
K 10
svn:author
V 6
ismail
K 8
svn:date
V 27
2013-02-21T18:24:37.346410Z
K 7
svn:log
V 20
ikinci test dosyasi

END



hooks dizini

Her bir commit öncesi veya sonrası alınacak aksiyonları belirleyen dosyaları içerir. Ön tanımlı içeriği aşağıdaki gibidir.

# ls -al /var/svn/surgate/hooks/
total 44
drwxr-xr-x 2 apache apache 4096 Feb 12 00:47 .
drwxr-xr-x 7 apache apache 4096 Feb 12 01:22 ..
-rw-r--r-- 1 apache apache 1977 Feb 12 00:47 post-commit.tmpl
-rw-r--r-- 1 apache apache 1638 Feb 12 00:47 post-lock.tmpl
-rw-r--r-- 1 apache apache 2289 Feb 12 00:47 post-revprop-change.tmpl
-rw-r--r-- 1 apache apache 1567 Feb 12 00:47 post-unlock.tmpl
-rw-r--r-- 1 apache apache 3426 Feb 12 00:47 pre-commit.tmpl
-rw-r--r-- 1 apache apache 2410 Feb 12 00:47 pre-lock.tmpl
-rw-r--r-- 1 apache apache 2786 Feb 12 00:47 pre-revprop-change.tmpl
-rw-r--r-- 1 apache apache 2100 Feb 12 00:47 pre-unlock.tmpl
-rw-r--r-- 1 apache apache 2780 Feb 12 00:47 start-commit.tmpl

Yukarıdaki dosyalar  birer template (.tmpl) dosyasıdır. Dosyaların aktif olması için .tmpl uzantısı olmadan dosya oluşturulması gerekir. Örneğin post-commit operasyonu(commit sonrası yaplacak işler) uygulamak için dosya adı post-commit olmalı ve dosya çalıştırılabilir haklara(755) sahip olmalıdır.

post-commit ile genelde şu işler yapılır.
  • Her commit sonrası ilgili kişilere e-posta gönderimi
  • Commit sonrasında mantis hata takip sistemine kayıt girilmesi

pre-commit ise commit svn'e kabul edilmeden önce yapılacak kontroller için kullanılır. Biz bu özelliği svn commit yapan kişilerin commit mesajında JIRA'daki bir iş numarası girmediğinde commit işleminin reddedilmesi için kullandık. Bununla ilgili yazıyı buradan okuyabilirsiniz.

Yukarıdaki diğer dosyalardaki post ve pre ile benzer şekilde işlemin öncesinde ve sonrasında belli aksiyonlar alınabiliyor. En çok kullanılan dosyalar ise yukarıda bahsettiğim pre-commit ve post-commit dosyasıdır.

conf dizini

Bu dizinde ön tanımlı olarak 3 adet dosya bulunur.
 # ls /var/svn/surgate/conf/
authz  passwd  svnserve.conf

Buradaki authz ve passwd dosyaları yetkilendirme ve kullanıcı parolası tanımlamak için kullanılır. Fakat birden fazla svn projeniz varsa bu dizini kullanmak yerine daha önceki subversion kurulum yazımda bahsettiğim gibi global bir yapılandırma dosyası kullanmak daha sağlıklı olacaktır. Aksi halde her proje dizininde ayrı ayrı authz ve passwd dosyaları tanımlamanız gerekecek.

svnserve.conf dosyası ise svnserve servisinin yapılandırma dosyasıdır. Eğer Apache üzerinden svn yetkilendirmesi yapıyorsunuz bu dosyanın bir anlamı yoktur.




http://svn.apache.org/repos/asf/subversion/trunk/subversion/libsvn_fs_fs/structure adresinden dizin yapısı hakkında detaylı bilgi alabilirsiniz.