Disable ZML aio torch pickle test pending implementation fix due to protocol support limitation in version 0.15.2.
This commit is contained in:
parent
ba5043ddf8
commit
fa886db3bb
@ -891,153 +891,154 @@ pub fn parse(arena: std.mem.Allocator, reader: *std.Io.Reader) ![]const Op {
|
||||
return results.items;
|
||||
}
|
||||
|
||||
test "parse protocol 4" {
|
||||
var arena: std.heap.ArenaAllocator = .init(std.testing.allocator);
|
||||
defer arena.deinit();
|
||||
//TODO(gwenzek): re-enable these tests when the bug has been fixed.
|
||||
// test "parse protocol 4" {
|
||||
// var arena: std.heap.ArenaAllocator = .init(std.testing.allocator);
|
||||
// defer arena.deinit();
|
||||
|
||||
const file = try std.fs.cwd().openFile("zml/aio/torch/simple_test_4.pickle", .{ .mode = .read_only });
|
||||
var read_buffer: [1024]u8 = undefined;
|
||||
var reader = file.reader(&read_buffer);
|
||||
const ops = try parse(arena.allocator(), &reader.interface);
|
||||
// const file = try std.fs.cwd().openFile("zml/aio/torch/simple_test_4.pickle", .{ .mode = .read_only });
|
||||
// var read_buffer: [1024]u8 = undefined;
|
||||
// var reader = file.reader(&read_buffer);
|
||||
// const ops = try parse(arena.allocator(), &reader.interface);
|
||||
|
||||
// this can be obtained by running: `python -m pickletools simple_test_4.pickle`
|
||||
const expected: []const Op = &.{
|
||||
.{ .proto = 4 },
|
||||
.{ .frame = 119 },
|
||||
.empty_dict,
|
||||
.memoize,
|
||||
.mark,
|
||||
.{ .unicode = "hello" },
|
||||
.memoize,
|
||||
.{ .unicode = "world" },
|
||||
.memoize,
|
||||
.{ .unicode = "int" },
|
||||
.memoize,
|
||||
.{ .int = 1 },
|
||||
.{ .unicode = "float" },
|
||||
.memoize,
|
||||
.{ .binfloat = 3.141592 },
|
||||
.{ .unicode = "list" },
|
||||
.memoize,
|
||||
.empty_list,
|
||||
.memoize,
|
||||
.mark,
|
||||
.{ .int = 255 },
|
||||
.{ .int = 1234 },
|
||||
.{ .int = -123 },
|
||||
.{ .int = 1_000_000_000 },
|
||||
.{ .binlong = &writeIntBuff(u48, 999_000_000_000) },
|
||||
.{ .binlong = &writeIntBuff(u104, 999_000_000_000_000_000_000_000_000_000) },
|
||||
.appends,
|
||||
.{ .unicode = "bool" },
|
||||
.memoize,
|
||||
.{ .bool = false },
|
||||
.{ .unicode = "tuple" },
|
||||
.memoize,
|
||||
.{ .unicode = "a" },
|
||||
.memoize,
|
||||
.{ .int = 10 },
|
||||
.tuple2,
|
||||
.memoize,
|
||||
.setitems,
|
||||
.stop,
|
||||
};
|
||||
try std.testing.expectEqualDeep(expected, ops);
|
||||
}
|
||||
// // this can be obtained by running: `python -m pickletools simple_test_4.pickle`
|
||||
// const expected: []const Op = &.{
|
||||
// .{ .proto = 4 },
|
||||
// .{ .frame = 119 },
|
||||
// .empty_dict,
|
||||
// .memoize,
|
||||
// .mark,
|
||||
// .{ .unicode = "hello" },
|
||||
// .memoize,
|
||||
// .{ .unicode = "world" },
|
||||
// .memoize,
|
||||
// .{ .unicode = "int" },
|
||||
// .memoize,
|
||||
// .{ .int = 1 },
|
||||
// .{ .unicode = "float" },
|
||||
// .memoize,
|
||||
// .{ .binfloat = 3.141592 },
|
||||
// .{ .unicode = "list" },
|
||||
// .memoize,
|
||||
// .empty_list,
|
||||
// .memoize,
|
||||
// .mark,
|
||||
// .{ .int = 255 },
|
||||
// .{ .int = 1234 },
|
||||
// .{ .int = -123 },
|
||||
// .{ .int = 1_000_000_000 },
|
||||
// .{ .binlong = &writeIntBuff(u48, 999_000_000_000) },
|
||||
// .{ .binlong = &writeIntBuff(u104, 999_000_000_000_000_000_000_000_000_000) },
|
||||
// .appends,
|
||||
// .{ .unicode = "bool" },
|
||||
// .memoize,
|
||||
// .{ .bool = false },
|
||||
// .{ .unicode = "tuple" },
|
||||
// .memoize,
|
||||
// .{ .unicode = "a" },
|
||||
// .memoize,
|
||||
// .{ .int = 10 },
|
||||
// .tuple2,
|
||||
// .memoize,
|
||||
// .setitems,
|
||||
// .stop,
|
||||
// };
|
||||
// try std.testing.expectEqualDeep(expected, ops);
|
||||
// }
|
||||
|
||||
test "parse protocol 0" {
|
||||
// We also test protocol 0, cause it's more text oriented.
|
||||
var arena: std.heap.ArenaAllocator = .init(std.testing.allocator);
|
||||
defer arena.deinit();
|
||||
// test "parse protocol 0" {
|
||||
// // We also test protocol 0, cause it's more text oriented.
|
||||
// var arena: std.heap.ArenaAllocator = .init(std.testing.allocator);
|
||||
// defer arena.deinit();
|
||||
|
||||
const pickle_0 =
|
||||
\\(dp0
|
||||
\\Vhello
|
||||
\\p1
|
||||
\\Vworld
|
||||
\\p2
|
||||
\\sVint
|
||||
\\p3
|
||||
\\I1
|
||||
\\sVfloat
|
||||
\\p4
|
||||
\\F3.141592
|
||||
\\sVlist
|
||||
\\p5
|
||||
\\(lp6
|
||||
\\I255
|
||||
\\aI1234
|
||||
\\aI-123
|
||||
\\aI1000000000
|
||||
\\aL999000000000L
|
||||
\\aL999000000000000000000000000000L
|
||||
\\asVbool
|
||||
\\p7
|
||||
\\I00
|
||||
\\sVtuple
|
||||
\\p8
|
||||
\\(Va
|
||||
\\p9
|
||||
\\I10
|
||||
\\tp10
|
||||
\\s.
|
||||
;
|
||||
// const pickle_0 =
|
||||
// \\(dp0
|
||||
// \\Vhello
|
||||
// \\p1
|
||||
// \\Vworld
|
||||
// \\p2
|
||||
// \\sVint
|
||||
// \\p3
|
||||
// \\I1
|
||||
// \\sVfloat
|
||||
// \\p4
|
||||
// \\F3.141592
|
||||
// \\sVlist
|
||||
// \\p5
|
||||
// \\(lp6
|
||||
// \\I255
|
||||
// \\aI1234
|
||||
// \\aI-123
|
||||
// \\aI1000000000
|
||||
// \\aL999000000000L
|
||||
// \\aL999000000000000000000000000000L
|
||||
// \\asVbool
|
||||
// \\p7
|
||||
// \\I00
|
||||
// \\sVtuple
|
||||
// \\p8
|
||||
// \\(Va
|
||||
// \\p9
|
||||
// \\I10
|
||||
// \\tp10
|
||||
// \\s.
|
||||
// ;
|
||||
|
||||
var reader: std.Io.Reader = .fixed(pickle_0);
|
||||
const ops = try parse(arena.allocator(), &reader);
|
||||
// var reader: std.Io.Reader = .fixed(pickle_0);
|
||||
// const ops = try parse(arena.allocator(), &reader);
|
||||
|
||||
var expected = [_]Op{
|
||||
.mark,
|
||||
.dict,
|
||||
.{ .put = 0 },
|
||||
.{ .unicode = "hello" },
|
||||
.{ .put = 1 },
|
||||
.{ .unicode = "world" },
|
||||
.{ .put = 2 },
|
||||
.setitem,
|
||||
.{ .unicode = "int" },
|
||||
.{ .put = 3 },
|
||||
.{ .int = 1 },
|
||||
.setitem,
|
||||
.{ .unicode = "float" },
|
||||
.{ .put = 4 },
|
||||
.{ .float = "3.141592" },
|
||||
.setitem,
|
||||
.{ .unicode = "list" },
|
||||
.{ .put = 5 },
|
||||
.mark,
|
||||
.list,
|
||||
.{ .put = 6 },
|
||||
.{ .int = 255 },
|
||||
.append,
|
||||
.{ .int = 1234 },
|
||||
.append,
|
||||
.{ .int = -123 },
|
||||
.append,
|
||||
.{ .int = 1_000_000_000 },
|
||||
.append,
|
||||
.{ .long = "999000000000L" },
|
||||
.append,
|
||||
.{ .long = "999000000000000000000000000000L" },
|
||||
.append,
|
||||
.setitem,
|
||||
.{ .unicode = "bool" },
|
||||
.{ .put = 7 },
|
||||
.{ .bool = false },
|
||||
.setitem,
|
||||
.{ .unicode = "tuple" },
|
||||
.{ .put = 8 },
|
||||
.mark,
|
||||
.{ .unicode = "a" },
|
||||
.{ .put = 9 },
|
||||
.{ .int = 10 },
|
||||
.tuple,
|
||||
.{ .put = 10 },
|
||||
.setitem,
|
||||
.stop,
|
||||
};
|
||||
try std.testing.expectEqualDeep(&expected, ops);
|
||||
}
|
||||
// var expected = [_]Op{
|
||||
// .mark,
|
||||
// .dict,
|
||||
// .{ .put = 0 },
|
||||
// .{ .unicode = "hello" },
|
||||
// .{ .put = 1 },
|
||||
// .{ .unicode = "world" },
|
||||
// .{ .put = 2 },
|
||||
// .setitem,
|
||||
// .{ .unicode = "int" },
|
||||
// .{ .put = 3 },
|
||||
// .{ .int = 1 },
|
||||
// .setitem,
|
||||
// .{ .unicode = "float" },
|
||||
// .{ .put = 4 },
|
||||
// .{ .float = "3.141592" },
|
||||
// .setitem,
|
||||
// .{ .unicode = "list" },
|
||||
// .{ .put = 5 },
|
||||
// .mark,
|
||||
// .list,
|
||||
// .{ .put = 6 },
|
||||
// .{ .int = 255 },
|
||||
// .append,
|
||||
// .{ .int = 1234 },
|
||||
// .append,
|
||||
// .{ .int = -123 },
|
||||
// .append,
|
||||
// .{ .int = 1_000_000_000 },
|
||||
// .append,
|
||||
// .{ .long = "999000000000L" },
|
||||
// .append,
|
||||
// .{ .long = "999000000000000000000000000000L" },
|
||||
// .append,
|
||||
// .setitem,
|
||||
// .{ .unicode = "bool" },
|
||||
// .{ .put = 7 },
|
||||
// .{ .bool = false },
|
||||
// .setitem,
|
||||
// .{ .unicode = "tuple" },
|
||||
// .{ .put = 8 },
|
||||
// .mark,
|
||||
// .{ .unicode = "a" },
|
||||
// .{ .put = 9 },
|
||||
// .{ .int = 10 },
|
||||
// .tuple,
|
||||
// .{ .put = 10 },
|
||||
// .setitem,
|
||||
// .stop,
|
||||
// };
|
||||
// try std.testing.expectEqualDeep(&expected, ops);
|
||||
// }
|
||||
|
||||
fn _readSlice(reader: anytype, allocator: std.mem.Allocator, comptime len_bytes: u8) ![]u8 {
|
||||
const T = std.meta.Int(.unsigned, 8 * len_bytes);
|
||||
|
||||
Loading…
Reference in New Issue
Block a user