Multidimensional Environmental Data Resource Brokering on Computational Grids and Scientific Clouds

Komputasi grid telah banyak berkembang selama beberapa tahun terakhir, dan kemampuannya telah menemukan cara mereka bahkan menjadi produk bisnis dan tidak lagi diturunkan ke aplikasi ilmiah. Saat ini, teknologi komputasi grid tidak terbatas pada satu set kotak khusus open source atau produk industri, melainkan terdiri dari serangkaian capabil-kegiatan hampir dalam setiap jenis perangkat lunak untuk membuat dan berbagi sangat kolaboratif lingkungan produksi. Lingkungan ini difokuskan pada kemampuan komputasi (beban kerja) dan integrasi informasi (data) ke orang-orang kemampuan komputasi. Grid kolom aplikasi komputasi aktif adalah virtualisasi sepenuhnya instrumen ilmiah dalam rangka meningkatkan ketersediaan dan mengurangi biaya opera-sional dan memelihara. Komputasi grid dan informasi memungkinkan untuk mengelola objek dunia nyata dalam cara berorientasi layanan menggunakan standar dunia penyebaran industri.Didorong oleh kemajuan pesat dalam teknologi multi-core, pendekatan komputasi grid telah berubah dan telah berkembang ke arah konvergensi yang tepat antara stabilitas, efektivitas, manajemen mudah, nyaman, dan perilaku, di atas semua, rasio taruhan-ter antara biaya dan manfaat. Teknologi ini memimpin dunia komputasi terdistribusi ke generasi ketiga dari grid ditandai dengan peningkatan daya komputasi situs intra, karena teknologi multi-core, dan terabyte hingga petabyte ketersediaan penyimpanan skala. Pendekatan ini membuat nyaman perkembangan teknik virtu-penginstitusian dan memungkinkan eksploitasi efektif pabrik server yang besar. Canggih perangkat lunak mesin virtual memiliki dampak sedikit terhadap kinerja, misalnya menggunakan teknik sebagai paravirtualization (Youseff, Wolski, Gorda, & Krintz, 2006), dan izin untuk menyebarkan, start, pause, bergerak, berhenti dan un-menyebarkan mesin virtual dalam kinerja tinggi, lingkungan yang aman dan kolaboratif. Perangkat lunak technolo-strategi yang mendasari pendekatan grid, biasanya didefinisikan sebagai komputasi awan (Fosteret al., 2006), sangat mirip dengan yang dikembangkan untuk generasi kedua dari grid menawarkan fitur dalam perangkat lunak sebagai cara pelayanan. Hal baru yang benar adalah penyebaran dinamis mesin virtual penuh dikemas sekitar perangkat lunak yang berjalan di situs lokal atau remote. Pengguna meminta broker sumber daya untuk layanan. Layanan ini bisa bahkan tidak digunakan, tetapi tersedia dalam katalog dan kemudian dikemas ke dalam mesin virtual yang tepat dan akhirnya membuat siap untuk digunakan. Selain itu, penurunan yang cepat dari biaya cluster sangat terintegrasi telah mendorong munculnya pusat data sebagai platform yang mendasari untuk kelas tumbuh aplikasi data-intensif (Llorente,2008a, 2008b).Dalam skenario ini metadata augmented data, baik disimpan atau diproduksi oleh sebuah on line sistem akuisisi, memiliki peran penting dalam mengatasi apa yang kuno grid computing dan grid data di masa lalu. Secara khusus, di lingkungan awan sumber daya dipandang sebagai entitas tingkat tinggi, sementara percaloan pada kebutuhan aplikasi dilakukan secara otomatis dengan menggunakan pendekatan pelayanan menggambarkan diri.Kami mengembangkan komponen menyadari grid yang didasarkan pada Sumber Daya Layanan Broker menerapkan bungkus selama OpenDAP (Open Project sumber untuk Jaringan Data Access Protocol) (Gallagher, Potter, & Sgouros, 2004) akses data ilmiah proto-col dan memastikan efektif dan efisien distribusi konten di grid. Dalam pekerjaan sebelumnya (Montella, Giunta, & Riccio, 2007) kita menggambarkan perilaku Grads Layanan Data Distribusi (GDDS) yang bisa dianggap sebagai nenek moyang Dimensi Data Service Distribusi Lima (FDDDS) disajikan dalam karya ini. Layanan ini mengandalkan warisan mesin OpenDAP berbeda dan menyediakan kemampuan format data lingkungan yang lebih luas dan kinerja yang lebih baik.Sebagian besar implementasi middleware jaringan menganggap instrumen sebagai sumber data. Instrumen dapat dianggap off-line dan hanya data yang diolah biasanya pub-likasikan, memanfaatkan pada fasilitas penyimpanan umum seperti Replica Lokasi, Reliable File Transfer dan teknologi GridFTP. Dengan pendekatan semacam ini, data yang diperoleh adalah terkonsentrasi, bukan didistribusikan, dengan manfaat miskin dalam hal akses yang seimbang beban dinamis.Dalam bidang akuisisi data lingkungan, isu yang terakhir dapat menjadi sangat penting ketika sejumlah besar pengguna membutuhkan akses ke data selama peristiwa cuaca ekstrim, seperti badai, banjir atau bencana alam seperti letusan gunung berapi, gempa bumi dan tsunami.Tantangan mengintegrasikan instrumen ke dalam lingkungan grid strategis yang relevan dan dapat menyebabkan penggunaan yang lebih efisien dan efektif dari instrumen sendiri, pengurangan overhead umum dan perbaikan dari throughput. Biasanya instrumen menghasilkan sejumlah besar data yang bisa disimpan elastis menggunakan layanan penyimpanan cloudily tersedia, mengurangi biaya manajemen dan pengisian pengguna hanya untuk sumber daya yang mereka gunakan. Dari sudut pandang ini, data yang pro-diproduksi oleh instrumen, dan disimpan pada layanan komputasi awan, dapat diiklankan di indeks kotak dilayani dan ditetapkan on-demand menggunakan layanan berbasis OpenDAP.Berikut ini kita membahas implementasi dan integrasi di Globus Toolkit 4 dari FDDDS dan kami menjelaskan bagaimana FDDDS dan Broker Sumber Daya (RBS) jasa pekerja. Kami juga fokus pada pelaksanaan komponen pemetaan antara sumber daya terpapar oleh layanan indeks GT4 dan CondorClassAd representasi, dan kami menyediakan beberapa contoh yang berkaitan dengan cuaca model evaluasi.RB kami dapat menjawab pertanyaan seperti yang berikut (mencari yang terbaik 5Ddataset lingkungan persyaratan yang ditentukan pas):

[

Rank=other.ConnectionSpeed; Requirements=other.Type="dataset"; other.Time>=’03:07:2008 00:00:00’ && other.Time<=’09:07:2008 00:00:00’ && other.Lat>=36 &&

other.Lat<=42 && other.Lon>=8 && other.Lon<=20 &&

other.Variables=u10m,v10m; &&

other.DataOrigin=="wrf"

]

Dalam permintaan data berorientasi ClassAd, pengguna mencari dataset yang berisi timur-komponen dan utara-komponen dari vektor angin pada 10 m dari permukaan laut (u10m dan v10m, masing-masing). Data yang diminta harus diproduksi oleh cuaca dan Model Prakiraan dan terkait dengan wilayah Italia domain Selatan, dinyatakan sebagai lintang dan bujur rentang. Penyedia dataset terbaik dipilih dengan peringkat yang ConnectionSpeed ​​dari host memproduksi layanan web. Karena itu, jika penyedia dua atau lebih data yang ditemukan, yang berkinerja terbaik dipilih. Akhirnya, pengguna mengajukan permintaan khusus untuk FDDDS untuk sub-pengaturan (yaitu penggalian sub-kubus dari kubus data) data yang diinginkan. Mempertimbangkan Data kebijakan manusia pengelolaan lokal, data sub-set dapat dibuat tersedia sebagai sumber daya diiklankan, didistribusikan, direplikasi, cache atau bahkan akhirnya dihapus jika tidak digunakan dalam ambang waktu. Dalam grid yang didasarkan pada lingkungan cloud, contoh FDDDS bisa dinamis dikerahkan dalam rangka untuk memenuhi kebutuhan pengguna yang sebenarnya.
Jika data langsung dihasilkan oleh instrumen dan disimpan menggunakan penyimpanan yang tersedia secara lokal disediakan atau awan, Instrumen Layanan dikembangkan (INS) iklan sumber data pada layanan indeks grid, sehingga permintaan ClassAd seperti berikut ini mungkin:

[

Type="DataConsumer"; Rank=1/gis.getDistance(

14.22,40.85,other.Longitude,other.Latitude

); Requirements=

other.Type=="Instrument" &&

other.Desc=="WeatherStation" &&

other.Sensor=="windDir,windSpeed"

]

 

Dalam query ini pengguna mencari instrumen stasiun cuaca yang disediakan oleh saluran data memperoleh arah dan kecepatan angin sedekat mungkin ke titik yang terletak di bujur dan lintang 14.22 ◦ ◦ 40.85.
Dalam Bagian 20.2, desain dan perilaku RBS kami secara singkat dijelaskan. Dalam Bagian 20.3 pelaksanaan GDDS dan isu-isu terkait kinerja, fleksibilitas dan portabilitas dibahas. Dalam Pasal 20.4 arsitektur FDDDS diperkenalkan sebagai evolusi sistem yang dikembangkan sebelumnya. Bagian 20.5 menggambarkan desain Layanan Instrumen dan implementasi. Bagian 20.6 menggambarkan pendekatan untuk cuaca evaluasi perkiraan berfokus pada algoritma baru berdasarkan waktu ansambel bergeser. Bagian 20.7 didedikasikan untuk integrasi data yang diberikan oleh FDDDS dan data yang disediakan oleh INS. Akhirnya Bagian 20.8 berisi beberapa kesimpulan dan highlight pada pekerjaan di masa depan.